Performans ve doğruluk
CID222 neyi ölçer, neyi yayımlamaz ve bir tespit değerinin adını koymak zorunda olduğu koşullar nelerdir.
- Tür: başvuru
CID222 neyi ölçer, neyi ölçmez ve bir sayının bir anlam taşıması için hangi koşulların adını koyması gerekir. Bu külliyatta, aksi hâlde bir tespit oranı verecek olan her sayfa bunun yerine buraya bağlanır.
Yayımlanan değerler
Warning
CID222 bu sürüm için hiçbir doğruluk ya da işlem hacmi değeri yayımlamıyor. "Yaklaşık" olarak da değil, "en fazla" olarak da değil, bir model kartından alınmış bir rakam olarak da değil. Bu derlemede hiçbir şey size gösterebileceğimiz bir veri kümesi üzerinde ölçülmedi; dolayısıyla burada aktarılacak bir şey yok.
Bu, bilinçli ve dar bir boşluktur. Kıyaslama çalışmalarını Filtre Testi sayfası ile DeepTeam
kırmızı takım paketi üretir ve ikisi de .gitignore içindeki reports/ dizinine yazar. Bir
çalışma bu yüzden hiçbir zaman bir commit'e ulaşmaz; dolayısıyla bu sayfanın yayımlayacak bir
sayısı hiç olmadı. Bir çalışma şu dosyalardan birine işlendiği anda sayı gelir:
reports/filter-test-report-latest.json ya da reports/deepteam-latest.json ya da test-results/filter-test-report-latest.json: bu sayfa üretilir ve bir sonraki
make docs-generate çalıştırmasında toplamları yayımlar.
O zamana kadar, CID222 için size aktarılan her tespit oranını — bir sunumda, bir teklifte ya da bir konuşmada — kaynaksız kabul edin.
Kendiniz ölçün
Cihaz, kendi trafiğiniz üzerinde kendi değerlerinizi üretecek düzeneği birlikte getirir; sonucu dağıtımınız hakkında bir şey söyleyen tek veri kümesi de budur:
- Filtre Testi (Yönetim → Filtre Testi) bir vaka kütüphanesini canlı tespit hattından geçirir ve grup başına geçme oranlarını bildirir. Kendi vakalarınızı ekleyin — bir vaka, bir istem ile beklediğiniz karardan oluşur.
- DeepTeam, jailbreak ve enjeksiyon yolları için düşmanca istemler üretir ve nelerin geçtiğini puanlar.
- İkisi de cihazdaki
reports/dizinine, zaman damgalı olarak vefilter-test-report-latest.htmldosyasının yanına yazar.
Bir değer, ancak onu değiştiren dört şeyle birlikte bildirilmeye değer: veri kümesi, dil karışımı, yürürlükteki eşikler ve sürüm. Bunların ikisi aşağıda.
Bu derlemenin getirdiği koşullar
Karar eşikleri
block üzerindeki bir puan isteği reddeder, flag üzerindeki bir puan engellemeden bir bulgu
kaydeder, log_only üzerindeki bir puan yalnızca kaydedilir. Bunları değiştirirseniz her doğruluk
değeri de onlarla birlikte değişir; eşikleri belirtmeyen bir yüzdenin anlamsız olmasının başlıca
nedeni budur.
| Hizmet | Etiket | Engelle | İşaretle | Yalnızca kayıt |
|---|---|---|---|---|
| attack-guard | label_0 | 0.7 | 0.55 | 0.4 |
| attack-guard | label_1 | 0.5 | 0.4 | 0.3 |
| hap-guard-v2 | child_exploitation | 0.5339417457580566 | 0.47487619519233704 | 0 |
| hap-guard-v2 | crime | 0.8386991620063782 | 0.6601593494415283 | 0 |
| hap-guard-v2 | cyber_crimes | 0.46562567353248596 | 0.35879501700401306 | 0 |
| hap-guard-v2 | dangerous_advice | 0.85 | 0.7 | 0 |
| hap-guard-v2 | defamation | 0.6924221515655518 | 0.5442739129066467 | 0 |
| hap-guard-v2 | hate | 0.8403698801994324 | 0.6117026209831238 | 0 |
| hap-guard-v2 | intellectual_property | 0.4338812530040741 | 0.3490050733089447 | 0 |
| hap-guard-v2 | privacy | 0.5961282253265381 | 0.4819568693637848 | 0 |
| hap-guard-v2 | self_harm | 0.5637471079826355 | 0.48096293210983276 | 0 |
| hap-guard-v2 | sexual_content | 0.6383155584335327 | 0.4776081442832947 | 0 |
| hap-guard-v2 | sexual_crime | 0.4866373538970947 | 0.3527270257472992 | 0 |
| hap-guard-v2 | violence | 0.7040725946426392 | 0.5542157292366028 | 0 |
| hap-guard-v2 | weapons | 0.5766862034797668 | 0.4728470742702484 | 0 |
ML tabanlı kişisel veri tespiti tek bir güven tabanı kullanır: PII_CONFIDENCE_THRESHOLD, varsayılanı unset.
Düzenli ifade tabanlı kişisel veri dedektörleri puan vermez — bir kalıp ya eşleşir ya eşleşmez.
Hiç ölçülmeyenler
- Bu külliyattaki gecikme değerleri kıyaslama değil, bütçeler ve geliştirme yığınında gözlenen sürelerdir. Donanım, modelin bellekte olup olmaması ve dil tespiti bunlara baskındır.
- Dil kapsamı iddiaları, bir CID222 değerlendirmesinden değil gönderilen modellerin model kartlarından gelir.
- Halüsinasyon tespitinin yayımlanmış bir oranı yoktur; arka planda çalışan, ikinci katman bir denetimdir.