Filtre test paketini ve DeepTeam saldırgan kıyaslamalarını kendi kurallarınıza karşı çalıştırın, sonra başarılı/başarısız raporunu okuyun.

Filtre Testi, saklanan test istemlerini canlı giriş hattından geçirir ve kurallarınızın hangilerini yakaladığını bildirir. DeepTeam kırmızı takım sekmesi aynısını saldırgan istemlerle yapar; böylece kaç saldırı çeşidinin geçtiğini ölçebilirsiniz.

Neye ihtiyacım var?

Lisans: Any
Rol: admin_user

Ön koşullar

Cihaz CID_ENABLE_LAB=true ile çalışıyor. Lisanslı bir yapıda bu sayfa bulunmaz.
Sınamak istediğiniz filtreler Aktif — paket, hattın bir kopyasını değil canlısını çalıştırır.
DeepTeam çalıştırmaları için cid-deepteam servisi çalışıyor ve ağ geçidinden erişilebilir.
Yapay zekâ üretimi saldırı istemleri için, simülatör modelinin kullanabileceği bir sağlayıcı kimlik bilgisi.

Danger

Bu, lisanslı her yapıda gizlenen bir laboratuvar yüzeyidir. Kenar çubuğundaki Test grubunun tamamı CID_ENABLE_LAB ile kısıtlıdır ve denetleyici de aynı kapıyı taşır: o olmadan her /admin/filter-tests isteği 403 değil 404 yanıtı verir; böylece bir müşteri sayfanın varlığını hiç öğrenmez.

Screenshot pendingTest senaryoları sekmesi, beş istatistik kartı ve test çalıştırma geçmişi tablosuyla Filtre Testi sayfası/assets/screenshots/filter-testing@0.4.png

Bir test senaryosu oluşturun

Sayfayı açın

Test → Filtre Testi seçin.

Sayfa Test senaryoları sekmesinde açılır; istatistik kartları Toplam Test Senaryosu, Başarılı (7 gün), Başarısız (7 gün) ve Hatalı (7 gün) değerlerini gösterir.

Bir test senaryosuna başlayın

Test oluştur seçin.

Test Senaryosu Oluştur üç girdi sekmesiyle açılır: Form, JSON ve ZIP.

Senaryoyu tanımlayın

Form sekmesinde **Ad ***, **Test Türü *** ve hattan geçirilecek metin olan **Girdi Metni *** alanlarını doldurun.

Ad en fazla 255, Test Türü en fazla 100 karakterdir.

Ne beklediğinizi belirtin

**Beklenen Eylem *** alanını Reddet, Maskele, İşaretle ya da İzin Ver yapın ve Expected Entities (beklenen varlıklar) alanını virgülle ayrılmış bir liste olarak doldurun, örneğin SSN, EMAIL, PHONE.

Bunlara güvenmeden önce aşağıdaki uyarıyı okuyun: başarılı ya da başarısız kararını yalnızca tespit sayıları verir.

Sınıflandırın

Önem Derecesi (Kritik, Yüksek, Orta, Düşük), Etiketler ve paket kullanıyorsanız Grup alanlarını ayarlayın.

Sonuç tablosunu daha sonra etiketlere ve önem derecesine göre filtrelersiniz.

Kaydedin

Test Senaryosu Oluştur seçin.

Senaryo test senaryosu listesine eklenir ve tüm aktif senaryoların bir sonraki çalıştırmasına dahil edilir.

Warning

Kararı yalnızca iki kural belirler: gerçek tespitler expected_min_detections değerinin altındaysa başarısız ve expected_max_detections 0 iken herhangi bir tespit varsa başarısız (yanlış pozitif durumu). Beklenen Eylem ve Expected Entities saklanır ve gösterilir ama asla karşılaştırılmaz; bu yüzden bir senaryo yanlış eylemle de başarılı olabilir.

Aynı anda çok sayıda senaryo yüklemek için JSON sekmesine bir dizi yapıştırın ya da ZIP sekmesinden JSON dosyalarından oluşan bir .zip yükleyin — arşiv tarayıcınızda okunur ve .json olmayan her şey yok sayılır.

Paketi çalıştırın

Çalıştırma iletişim kutusunu açın

Testleri Çalıştır seçin.

Filtre Testlerini Çalıştır açılır.

Çalıştırmanın kapsamını belirleyin

İsteğe bağlı olarak Çalıştırma Adı girin, bir Filtre Grubu (ya da Tüm Gruplar) seçin ve Tüm aktif test senaryoları ile Belirli test senaryolarını seç arasında tercih yapın.

Belirli senaryoları seçmek; Tümünü Seç / Seçimi Kaldır düğmeleri ve bir {n} test senaryosu seçildi sayacı olan aranabilir bir liste gösterir.

Başlatın

Testleri Çalıştır seçin.

İletişim kutusu kapanır ve çalıştırma Test Geçmişi içinde görünür; tablo ilerleme için yoklama yapar. Çalıştırmalar arka planda yürütülür — API hemen bir çalıştırma kimliği döndürür.

Sonucu açın

Biten çalıştırmada Detayları Gör seçin.

İletişim kutusu Başarı Oranı, Ort. Süre ve senaryo bazlı tabloyu gösterir: Durum, Test Senaryosu, Önem Derecesi, Eylem (beklenen ve gerçekleşen), Tespitler, Süre ve Hata Nedeni.

Bir kopya saklayın

PDF İndir seçin.

Antetli bir rapor oluşturulur ve filter-test-<id>-<date>.pdf olarak indirilir. Bildirimde PDF indirildi yazar.

Bir raporu okumak

Sütun	Ne yapmalı
Durum	Başarılı, Başarısız ya da Hata. Hata, senaryonun tamamlanmadığı anlamına gelir — hat özel durum fırlatmıştır, dolayısıyla sonuç kurallarınız hakkında hiçbir şey söylemez
Önem Derecesi	Senaryoyu kendi sınıflandırmanız. Kararı etkilemez
Eylem	Gerçekleşen ile beklenen. Buradaki uyuşmazlık başarısızlık değildir — yukarıdaki uyarıya bakın
Tespitler	Hattın ürettiği sayı, yanında beklenen aralıkla
Hata Nedeni	Expected at least `{n}` detections but got `{m}` (yetersiz tespit) ya da Expected 0 detections (false positive test) but got `{n}`

Önemli olan başarısızlık yetersiz tespittir: o biçimdeki gerçek trafiğin geçeceği anlamına gelir. expected_max_detections üzerindeki fazla tespit bilinçli olarak hoş görülür ve senaryoyu başarısız kılmaz.

Bir DeepTeam kıyaslaması çalıştırın

Sekmeyi açın

DeepTeam kırmızı takım sekmesini seçin.

DeepTeam Servis Durumu, servise erişilip erişilemediğini bildirir. Erişilemediğinde sekmede DeepTeam kırmızı takım servisi şu anda kullanılamıyor. yazar ve yalnızca geçmiş çalıştırmalar okunabilir.

Saldırı kümesini yapılandırın

Kıyaslama Çalıştır seçin, sonra Guardrail Testi için Zafiyet Kategorileri ile Manipülasyon Teknikleri seçimlerini yapın.

Seçilen kategorilere uymayan teknikler soluk gösterilir ve gönderilirse yok sayılır. Bazı kategoriler ham, elle seçilmiş yükler kullanır ve hiçbir teknik almaz.

Çalıştırmayı boyutlandırın

Alt tür başına deneme değerini ve Türkçe çeşitleri istiyorsanız Test dili alanını ayarlayın.

İletişim kutusu Tahmini toplam saldırı değerini gösterir. Türkçe çeviri, benzersiz istem başına yaklaşık üç model çağrısı ekler ve çalıştırma içinde önbelleğe alınır.

Yeni saldırı üretilip üretilmeyeceğine karar verin

Yalnızca statik korpusu kullanmak için Korpusu yapay zekâ üretimi saldırılarla genişlet seçeneğini kapalı bırakın ya da açıp Sağlayıcı, Model ve Alt tür başına yapay zekâ üretimi istem değerlerini seçin.

İletişim kutusu, üretilen her istemin sağlayıcınızın faturasına yansıdığı uyarısını verir. Üretilen istemler statik korpusa göre yinelenenlerden arındırılır.

Başlatın ve izleyin

Kıyaslamayı başlatın.

İlerleme kutusu {total} saldırıdan {completed} tanesi tamamlandı (%{percent}) gösterir ve ilerleme durduğunda {seconds} saniyedir ilerleme yok. Test takılmış olabilir. uyarısını verir. Tamamlandığında bildirimde Kıyaslama tamamlandı! {blocked}/{total} engellendi (%{rate} tespit oranı) yazar.

Bulguları regresyon testine dönüştürün

Çalıştırmanın saldırılarını test senaryosu olarak içe aktarın; böylece düzeltilen bir atlatma düzeltilmiş kalır.

İçe aktarılan senaryolar Test senaryoları sekmesinde görünür ve DeepTeam istatistik kartlarındaki İçe Aktarılan Senaryolar altında sayılır.

Bir kıyaslama sonucu bir tespit oranıdır: Engellendi saldırılara karşı Atlatıldı saldırılar. Bir atlatmayı filtre boşluğu sayın ve bir kuralı değiştirmeden önce test senaryosu olarak yeniden üretin.

Alan başvurusu

Test Senaryosu Oluştur — Form sekmesi

Alan	Zorunlu	Kural	İşlevi
Ad *	Evet	En fazla 255 karakter	Senaryoyu sonuç tablosunda tanımlar
Test Türü *	Evet	En fazla 100 karakter	Serbest metin sınıfı, örneğin `pii-simple` ya da `jailbreak`. By Test Type grafiğini besler
Girdi Metni *	Evet	Serbest metin	Canlı giriş hattından geçirilen metin
Beklenen Eylem *	Evet	`reject`, `mask`, `flag` ya da `allow`	Gerçekleşen eylemin karşısında gösterilir. Başarı ölçütü değildir
Expected Entities	Hayır	Virgülle ayrılmış türler	Yalnızca gösterilir. Karşılaştırılmaz
Önem Derecesi	Hayır	`critical`, `high`, `medium`, `low`	Kendi sınıflandırmanız
Etiketler	Hayır	Virgülle ayrılmış	Sonuç tablosunu filtreler
Grup	Hayır	Var olan bir test grubu	Senaryoyu bir pakete atar
Aktif	Hayır	Varsayılan açık	Tüm aktif test senaryoları seçiminin onu kapsayıp kapsamayacağı

Kararın hesaplandığı iki alan tespit sınırlarıdır (expected_min_detections, expected_max_detections). Olumsuz bir senaryo için expected_max_detections değerini 0 yapın.

Doğrulama

Çalıştırma Test Geçmişi içinde tamamlanmış duruma ulaşır; Başarı Oranı sıfırdan büyük ve senaryo sayısı seçtiğinizle aynıdır.
Başarısız bir senaryoyu açın ve Hata Nedeni alanının eksik kalan sayıyı adlandırdığını doğrulayın — düzeltilecek kural odur, Güvenlik Filtreleri sayfasında.
PDF İndir bir dosya üretir. Oluşturucu kapalıysa istek PDF oluşturulamadı iletisi ve 503 ile başarısız olur.

Note

Test çalıştırmaları olay günlüğüne hiçbir satır yazmaz. Bir çalıştırmaya dair hiçbir şey Olay Günlükleri'nde ya da Tüm Tespitler'de görünmez — sonuçlar yalnızca bu sayfadaki çalıştırma geçmişinde durur.

Başarısız olursa

Sayfa kenar çubuğunda yok ya da her istek 404 dönüyor — yapı bir laboratuvar yapısı değil. CID_ENABLE_LAB true değil.
DeepTeam çalıştırmaları yüklenemedi. Arka uç servisi kullanılamıyor olabilir. — ağ geçidi cid-deepteam servisine erişemiyor. Geçmiş çalıştırmalar yine görüntülenir; yeni kıyaslamalar başlamaz.
Kıyaslama başlatılamadı: ve ardından sağlayıcının kendi metni — çoğunlukla simülatör kimlik bilgisi eksiktir ya da seçilen model bu hesap için izinli değildir.
Kıyaslama durumu sorgulaması zaman aşımına uğradı. Test arka planda hâlâ çalışıyor olabilir. Güncellemeler için çalıştırma geçmişini kontrol edin. — izlemeyi bırakan iletişim kutusudur, çalıştırma değil. Geçmiş tablosundan yeniden açın.
503 ile Failed to render filter test PDF: … — report-renderer servisi yanıt vermiyor.
Her senaryo Hata bildiriyor — tespit hattının kendisi arızalı. Sonuçlardan bir anlam çıkarmadan önce ML servisinin sağlığını denetleyin.

Sonraki adımlar

Güvenlik Filtreleri — başarısız bir senaryonun ortaya çıkardığı kuralı düzeltin.
Tüm Tespitler — düzeltmeyi saklanan istemlerde değil, gerçek trafikte doğrulayın.
ML Motoru — bir ailedeki her senaryo başarısız olduğunda tespit edicinin kendisini denetleyin.

Filtreleri test edin ve kırmızı takım kıyaslamaları çalıştırın