Ne işe yarar (iş diliyle)
Bir kişinin videosundan, sözlerinin ötesinde “nasıl göründüğünü” ölçer: hangi duygular baskın (mutlu, üzgün, kızgın, şaşkın, korku, iğrenme, nötr), yüz kameraya dönük mü, göz teması/bakış nasıl, el-jest hareketi var mı. Bu, “ne söylediği” (transkript) ile birleşince çok daha zengin bir değerlendirme sağlar. İş değeri: insan tepkisini öznel izlenimden çıkarıp ölçülebilir veriye dönüştürür.
Hangi müşteri/projelerde işe yarar
İnsan tepkisinin ölçülmek istendiği her senaryo: mülakat/sunum değerlendirme, müşteri deneyimi/UX araştırması, eğitim videosu katılım ölçümü, reklam/ürün tepkisi testi, görüşme kalite analizi. Mahremiyet gerektiğinde kendi sunucunuzda çalıştığı için avantajlı.
Nasıl çalışır (kısa, sade)
Videodan belirli aralıklarla kareler alınır → her karede yüz bulunur, 7 temel duygu olasılığı, baş yönü ve el varlığı hesaplanır → tüm karelerin ortalaması alınıp baskın duygu ve zaman çizelgesi çıkarılır; konuşma segmentleriyle eşlenir.
Olgunluk
canlida-kanitlanmis — Aday’ın mülakat ve video tavır raporlarında kullanılıyor. Önemli ders: zayıf yüz
dedektörü (Haar) gerçek görüntülerde yüzü kaçırıyordu → FER mtcnn=True ile çok daha güvenilir; arm64’te
tensorflow-cpu yok, tensorflow kullanılmalı.
Teknik (geliştiriciler için)
aday · worker/vision.py (MediaPipe FaceMesh: yaw + EAR/blink; FER: 7 duygu; MediaPipe Hands),
worker/frames.py (kare örnekleme), worker/aggregate.py (timeline ortalama + segment eşleme). Girdi:
kare görüntüleri. Çıktı: per-frame + özet (baskın duygu, yüz görünürlük oranı, jest aktivitesi). Sınır:
CPU yoğun (Whisper + MediaPipe + FER aynı anda RAM yer); ışık/poz kötüyse FER zayıflar. Çıktısı genelde
video-tavir-triyaj-analizi LLM’ine girdi olur; pipeline için async-medya-analiz-pipeline.