Halüsinasyon tespiti

Bir istek, modelin yanıtlamak için kullanması gereken pasajları verdiğinde CID222 yanıtı bunlara karşı puanlar ve desteklenip desteklenmediğini kaydeder. Denetim, yanıt kullanıcıya ulaştıktan sonra çalışır.

Sorun

Erişimle zenginleştirilmiş bir uygulama modele kaynak pasajlar verir ve ondan bunlara dayanarak yanıtlamasını ister. Model bazen başka bir şeye dayanarak yanıtlar. Ne istekte ne yanıtta hangisinin olduğunu söyleyen bir şey vardır ve tam da yanıtı bilmediği için soruyu soran okuyucu, bunu anlayabilecek en son kişidir.

CID222 bunu nasıl yapar

Ne puanlanır ve ancak ne zaman

Denetim 2. katmandır: yanıt istemciye akıtıldıktan sonra arka planda çalışır. Yanıtı asla geciktirmez ve asla değiştirmez.

Yalnızca istek bir contexts dizisi taşıdığında çalışır — yani yanıtın kullanması gereken pasajları. Bağlam yoksa karşılaştırılacak bir şey de yoktur ve denetim hiçbir şey yazmadan hemen döner.

cid-hallucination-guard yanıtı bağlamlarla karşılaştırır ve iki sayı döndürür: yanıtın desteklenmediğine dair model olasılığı olan halüsinasyon puanı ve yanıtın dayanaklı olduğuna dair tümleyen olasılık olan desteklenme oranı.

Kararı ağ geçidi verir

Hizmet karar vermez. Ağ geçidi, bu iki sayıyı kiracının Hallucination (halüsinasyon) çıkış filtresi satırıyla karşılaştırır: puan o satırın eşiğini aştığında ya da desteklenme oranı asgari değerinin altına düştüğünde yanıt halüsinasyon sayılır. Bağlam türüne göre kapsamlanmış üç satır tohumlanmış olarak gelir; böylece tıbbi ya da hukuki bir soru, genel bir sorudan daha katı bir çıtaya tabi tutulabilir.

Kullanıcının ve yöneticinin gördükleri

İki dil, tek yönlendirme kuralı

Hizmet, ikisi de imaja gömülü bir İngilizce ve bir Türkçe model taşır; çalışma zamanında hiçbir şey indirilmez. Yönlendirme, çağıranın gönderdiği lang alanına göredir.

Sınırlar ve bilinen eksikler

• Engelleyemez. Tohumlanmış katı satır bir reject eylemi taşır ve kod bu eylemi reddedilmiş bir tespit durumuna eşler — ama yanıt, denetim çalışmadan önce ağ geçidinden çıkmıştır. Hiçbir şey alıkonmaz. Buradaki reject ifadesini bir zorlama olarak değil, "bunu ret düzeyinde bir bulgu olarak kaydet" biçiminde okuyun.
• Bağlam yoksa denetim de yok. Sıradan bir sohbet isteği bağlam vermez; bu yüzden trafiğin ezici çoğunluğu hiç puanlanmaz. Bu, genel bir doğruluk denetleyicisi değil, erişimle zenginleştirilmiş çağıranlar için bir denetimdir.
• Puan kalibre edilmemiştir. İki kontrol noktası, dizi sınıflandırıcı olarak yüklenen token sınıflandırma modelleridir; bu yüzden desteklenme oranı, adının düşündürdüğü gibi yanıtın bir kesri değil, havuzlanmış bir olasılıktır. Bariz uydurmayı bariz başka sözcüklerle anlatımdan ayırır; bir ölçüm değildir.
• Uzun yanıtlar başlangıçlarına göre puanlanır. Girdiler 512 token'a kırpılır; bu yüzden uzun bir bağlama karşı verilen uzun bir yanıt, başlangıcına bakılarak değerlendirilir.
• Erişilemez olmak dayanaklı olmak değildir. Model yüklenemediğinde ya da çağrı başarısız olduğunda hizmet açık biçimde başarısız olan bir sonuç döndürür ve bunu işaretler. Ağ geçidi bu durumu algılar ve hiçbir şey yazmaz — temiz bir satır, yanıtın denetlendiğini iddia ederdi. Dolayısıyla bir tespitin yokluğu ya "dayanaklı" ya da "denetlenmedi" demektir ve bunları yalnızca işaretler ayırır.
• Oturum uyarısının panel görünümü yoktur. Oturum kaydına yazılır ve oturumlar API'si üzerinden okunabilir; hiçbir sayfa onu göstermez. Bir yöneticinin bulguyu gördüğü yer tespit satırıdır.
• Arka plan tespiti bir oturum gerektirir. Denetim, tespitini bir oturum kimliğine bağlar; bu yüzden oturum vermeyen bir çağıran hiçbir kayıt almaz.

İlgili

• İçerik güvenliği hattı — yanıt tarafı katmanları ve çıkış kurallarının nasıl çözümlendiği.
• Zararlı içerik ve saldırı tespiti — istek tarafı tespit motorları.
• Veri işleme ve saklama — tespit satırının ve oturum uyarısının neyi sakladığı.