Ne işe yarar (iş diliyle)
Çoğu AI ürünü her istek için bir bulut API’sine para öder; hacim büyüyünce maliyet patlar ve veri dışarıya gider. Bu yaklaşım yapay zekayı kendi sunucunuzda veya ev makinenizde çalıştırır: aday/istek başına ücret yoktur, veriniz dışarı çıkmaz (gizlilik), ve maliyet öngörülebilir kalır. İş değeri: yüzlerce/binlerce değerlendirmeyi ekonomik biçimde ölçeklemek; “bir kez kur, sınırsız kullan” modeliyle hacim-hassas veya veri-gizliliği önemli müşterilere güçlü bir teklif sunmak.
Hangi müşteri/projelerde işe yarar
Yüksek hacimli AI işlemi olan (toplu değerlendirme, içerik üretimi, sınıflandırma), bütçesi dar, veya KVKK/gizlilik gereği veriyi dışarı vermek istemeyen her müşteri. Kamu, sağlık, hukuk, İK gibi veri-hassas dikeylerde özellikle değerli. İhtiyaç anında ücretli bir sağlayıcıya (OpenRouter vb.) geçiş de açık kalır.
Nasıl çalışır (kısa, sade)
Açık kaynaklı bir model (ör. Qwen3) kendi makinenizde bir LLM sunucusunda (Ollama) çalışır; güvenli bir tünelle (Cloudflare Tunnel + erişim anahtarı) uygulamadan erişilir. Uygulama bu modele tıpkı bir bulut API’siymiş gibi istek atar. Ev/sunucu çevrimdışı olursa iş kaybolmaz: kuyruk yeniden dener.
Olgunluk
canlida-kanitlanmis — Aday’ın mülakat raporları self-hosted Qwen3 (Ollama, Cloudflare Tunnel + CF Access)
ile; bağımsız video modülü esnek/ucuz seçenek için OpenRouter (Gemini Flash Lite) ile çalışıyor. Önemli ders:
Qwen3’te think:false zorunlu (yoksa dakikalarca “düşünür”); format:"json" + şema doğrulama küçük modelde
bozuk çıktıyı önler.
Teknik (geliştiriciler için)
aday · worker/llm.py (Ollama native /api/chat, think:false, format:json, CF-Access başlıkları),
worker/attitude.py (OpenRouter alternatifi). Env: OLLAMA_BASE_URL, OLLAMA_MODEL, CF_ACCESS_CLIENT_*,
OPENROUTER_*. Girdi: system+user prompt. Çıktı: doğrulanmış JSON. Sınır: ev altyapısı çevrimdışıysa rapor
gecikir (Celery retry’a güven, kritik yolda olmasın); küçük modelde kompozit JSON şeması düz tutulmalı.
Tüm AI yetenekleri bunu kullanır: onyargi-azaltici-cv-degerlendirme, video-tavir-triyaj-analizi,
transkript-temizleme-konusmaci-ayristirma.