Skip to main content
CID222 Docs
Yönetim

Risk analizi ve LLM incelemeleri

Tekrarlanan bir jailbreak denemesinin ne zaman derin inceleme açacağını ayarlayın, kararları okuyun ve ürettikleri kilitler ile kilit açma taleplerine karar verin.

  • Sürüm: 0.4
  • Özellik: risk.llm_review
  • Rol: admin_user, viewer
  • Tür: görev

Mesaj başına çalışan tespit ediciler tek seferde tek bir istemi puanlar. Risk Analizi, bir kişinin bütünü üzerinde akıl yürüten katmandır: aynı kullanıcı bir pencere içinde yeterince sık jailbreak ya da prompt enjeksiyonu tespitine takıldığında, yerel bir LLM analisti onun oturumlar boyunca biriken tespitlerini okur ve kullanıcıyı uyarabilecek ya da AI erişimini elinden alabilecek bir karara varır. Bu sayfa o kararları, kilitleri, kilit açma kuyruğunu ve her şeyi başlatan tetikleyiciyi barındırır. Analistin akıl yürütürken okudukları Bilgi tabanı sayfasındadır.

Neye ihtiyacım var?

Lisans
Enterprise
Rol
admin_userviewer

Ön koşullar

  • Analist yığını çalışıyor — llm-analyst compose profilinin nelere ihtiyaç duyduğu için AI Analistine sorun sayfasına bakın.
  • RISK_ANALYST_SERVICE_ENABLED 'true'. Başka bir değer her gönderimi analyst_disabled olarak başarısız kılar.
  • Redis erişilebilir: kayan pencere ve bekleme süresi orada durur.
  • admin_user ya da superadmin olarak oturum açtınız. Bir viewer her sekmeyi okuyabilir ama hiçbir şeye karar veremez.

Bu sayfadaki her şey okuma yetkinize göre kapsamlıdır. Bir admin_user kendi kiracısını ve sahibi olduğu grupların üyelerini görür; bunun dışındaki bir kimlik 403 değil 404 yanıtı verir; böylece uç nokta başka bir ekibin kilitli kullanıcılarını keşfetmek için kullanılamaz.

Warning

Tetikleyici kapalı gönderilir. Erişilebilir bir analist yokken açık bir tetikleyici, yalnızca hiçbir şeyin tamamlamayacağı incelemeler biriktirir; bu yüzden onu açmak, analist yanıt vermeye başladıktan sonra atılacak bilinçli bir adımdır.

Bir inceleme nasıl başlar

Ağ geçidinin yazdığı her tespit — pano sohbeti, /chat/completions, görsel analizi — tek bir huniden geçer. Bir tespit, varlık türü bir jailbreak ya da prompt enjeksiyonu etiketi olduğunda ve güveni eşiğe eşit ya da onun üzerinde olduğunda pencereye sayılır.

Eşik, tek bir mesajı engelleyen seviyenin bilinçli olarak altındadır: bu özelliğin üzerine hareket ettiği sinyal, tek başlarına yeterli olmayan denemelerin tekrarıdır. Pencere dolduğunda bir inceleme açılır, pencere boşaltılır ve bir bekleme süresi başlar; böylece sonraki inceleme zaten incelenmiş denemeleri devralmak yerine yeni denemelere ihtiyaç duyar.

Tetikleyiciyi ayarlayın

Ayarları açın

Güvenlik ve Uyumluluk → Risk Analizi ve ardından Tetikleme ayarları sekmesini seçin.

Tetikleyici kapalıyken sekme Analist çalışmıyor başlığıyla açılır — Tekrarlanan jailbreak denemeleri hâlâ tespit edilip kaydediliyor, ancak derin inceleme gönderilmiyor ve kimse kilitlenmiyor.

İncelemenin ne zaman başlayacağını ayarlayın

İnceleme ne zaman başlar altında Deneme sayısı, Pencere (dakika), Güven eşiği ve Bekleme (dakika) değerlerini ayarlayın.

Varsayılanlar, 0.7 eşiğinde 10 dakikada 2 deneme ve ardından 15 dakikalık bekleme süresidir. Eşik, tespit edicilerin kendi işaretleme seviyesidir; bir mesajı doğrudan engelleyen değer 0.85'tir.

Analist yanıt vermezse ne olacağına karar verin

Analiz altında Zaman aşımı (ms), Zaman aşımında ve Rapor dili değerlerini ayarlayın.

Zaman aşımında alanı Uyarı, Kilit ya da Temiz alır ve hiçbir karar gelmediğinde uygulanır — arkasında gerekçe olmayan bir karar. Varsayılan Uyarı'dır: denemeler gerçektir ama sessizliğe dayanarak kilitlemek yanlış pozitif mayınıdır.

Açın

Derin inceleme gönder anahtarını açın ve Değişiklikleri kaydet seçin.

Tetikleme ayarları kaydedildi. bildirimi bunu doğrular. Yapılandırma dağıtım genelindedir — kiracı bazında geçersiz kılma yoktur — ve bir kaydetme yalnızca değiştirdiğiniz alanları günceller.

Danger

Zaman aşımında Kilit seçmek, incelenemeyen bir kullanıcının hiçbir şey analiz edilmeden AI erişimini kaybetmesi demektir. Ağ geçidi üç ardışık analist arızasından sonra bu politikayı kendiliğinden geri çeker; bunun yerine uyarır ve LLM_REVIEW_ANALYST_UNAVAILABLE yazar; böylece tek bir kesinti, tetikleyiciye takılan herkesi kilitleyemez.

Bir kararı okuyun

Bir incelemeyi açın

İncelemeler sekmesinde Durum, Karar ya da gruba göre filtreleyin ve bir satır seçin.

Çekmece; analistin gerekçesini, alıntıladığı kanıtı ve çalıştığı modeli ekler. Bir bildirim doğrudan tek bir karara bağlanabilir ve o bağlantı yenilemeden sonra da çalışır.

Durum ile kararı birlikte okuyun

Karar sütununa inanmadan önce Durum sütununu denetleyin.

Tamamlandı bir incelemede karar, analistin kararıdır. Başarısız ya da Zaman aşımı bir incelemede ise arkasında gerekçe, kanıt ve puan olmayan, uygulanmış geri düşüş değeridir.

DurumKarar ne anlama gelir
Bekliyor / İnceleniyorHenüz bir şey yok
TamamlandıAnalist buna karar verdi
BaşarısızYapılandırılmış geri düşüş uygulandı. Hiçbir şey analiz edilmedi
Zaman aşımıAynısı, bekçi süresi dolduktan sonra

Warning

Analistin kendi doğrulamasından geçmeyen bir Kilit kararı uyarıya indirilir. Ham sonuç her hâlükârda arşivlenir; bu yüzden bir inceleme Doğrulanmadı okurken uyarı kararı ve kilit savunan bir gerekçe taşıyabilir. Bu, kuralın çalışmasıdır: bir kilit, döngüde hiçbir insan olmadan kullanıcının erişimine mal olur ve doğrulama yapmamış bir analist hiçbir şeyi doğrulamamıştır.

Birinin erişimini geri verin

Bir kilit, CID'in kişiyi tanıyabildiği her yerde AI erişimini durdurur. Oturum açma bilinçli olarak çalışmaya devam eder; böylece kullanıcı bildirimi görebilir ve kaldırılmasını isteyebilir.

Kuyruğu işleyin

Kilit açma talepleri sekmesini açın ve Ne dedi sütununu okuyun.

Onaylamak kilidi kaldırır ve tetikleyiciyi sıfırdan kurar. Reddetmek kilidi bırakır ve gerekçeyi kaydeder. Bir kullanıcı aynı anda tek bir talep açabilir, saatte en fazla üç.

Onaylayın ya da reddedin

Onaylama eylemini seçin ya da reddetme eylemini seçip en fazla 500 karakterlik isteğe bağlı bir Not yazın.

Onaylamak Onaylandı — {user} yeniden AI erişimine sahip. bildirir. Reddetmek etkiyi yineler: {user} kilitli kalır. Not kararın üzerine kaydedilir ve denetim izinde görünür.

Ya da doğrudan kilidi açın

Kilitli kullanıcılar sekmesinde etkin bir satırda Kilidi aç seçin ve AI erişimi geri verilsin mi? sorusunu onaylayın.

{user} anında AI erişimini geri kazanır ve tekrarlanan deneme penceresi sıfırdan kurulur. Hem pencere hem bekleme süresi temizlenir — kilit açmak baştan başlamak demektir, kaldığı yerden devam etmek değil.

Note

Kaldırılan bir kilit geçmiş olarak tabloda kalır. Görmek için bölümlü denetimi Kaldırıldı konumuna alın; Kaldırılma sütunu ne zaman ve hangi yolla kaldırıldığını söyler. Panodan kaldırılan bir kilit ile bir talebin onaylanmasıyla kaldırılan kilit aynı izi bırakır.

Bir küme analizini imzalayın

Analizler sekmesi bir incelemeden farklı bir nesnedir: bir tetikleyiciyle değil, o sayfadaki Analyse ile başlatılan, Tüm Tespitler akışının filtrelenmiş bir diliminin tamamı üzerine tek bir rapor. İnceleme bir kişi hakkındadır; analiz bir filtre hakkındadır.

Bir raporu açın

Risk, İnceleme, Tespit türü ya da Durum filtrelerini uygulayın ve bir satır seçin.

Çekmece; hangi filtreyi kapsadığını, analistin bunun ne kadarını okuduğunu, gerekçeyi, alıntılanan tespitleri ve önerileri gösterir. Çalışan bir rapor oradan iptal edilebilir.

Kararı kaydedin

İncele seçin, isteğe bağlı Reviewer notes (optional) (inceleyen notları) yazın, sonra Onayla ya da Reddet seçin.

Bir Report approved ya da Report rejected bildirimi bunu doğrular ve karar, kimin ne zaman karar verdiğini kaydeder. Karara bağlanmış bir raporda Reopen seçmek onu Bekliyor durumuna döndürür.

Warning

İnceleme filtresi İnceleniyor seçeneğini sunar ama üründe hiçbir şey bu durumu ayarlamaz. Gelecekteki bir ITSM eşitlemesi için ayrılmıştır, dolayısıyla bugün hiçbir satırla eşleşmez. Var olan durumlar Bekliyor, Onaylandı ve Reddedildi'dir.

Alan başvurusu

Tetikleme ayarları

AlanVarsayılanİşlevi
Derin inceleme gönderkapalıPencerenin hiç inceleme açıp açmayacağı
Deneme sayısı2Bir inceleme başlamadan önce pencere içindeki nitelikli tespit sayısı
Pencere (dakika)10Sayımın ne kadar geriye gittiği
Güven eşiği0.7Tespit edicilerin işaretleme seviyesi. Bir mesajı engelleyen 0.85 değerinin altında
Bekleme (dakika)15Bir incelemeden sonra pencerenin ne kadar sessiz kalacağı
Zaman aşımı (ms)120000Bunun sonunda inceleme zaman aşımına uğradı sayılır
Zaman aşımındaUyarıHiçbir karar gelmediğinde uygulanan Uyarı, Kilit ya da Temiz
Rapor diliEnglishAnalistin gerekçeyi yazdığı dil. Asistan her zaman sorunun dilinde yanıt verir

Sekmeler

Sekmeİçeriği
İncelemelerBir kişinin derin analizi başına bir satır: durum, karar, puan, kontroller, denemeler, süre
AnalizlerBir Tüm Tespitler filtresi üzerinden küme tabanlı raporlar ve imza durumları
Kilitli kullanıcılarEtkin ve kaldırılmış kilitler, her birini koyan incelemeyle birlikte
Kilit açma talepleriKuyruk; kullanıcının söyledikleri ve karar
Tetikleme ayarlarıYukarıdaki tablo

Sayı kartları

KartSaydığı
Kilit açma talepleriBir insanın kararını bekleyen talepler
Kilitli kullanıcılarŞu anda etkin kilitler
Bugünkü incelemelerGece yarısından beri gönderilen derin analizler
KararlarKilit / uyarı / temiz, tüm zamanlar

Doğrulama

  1. Tetikleyici açıkken aynı kullanıcının hesabını pencere içinde deneme eşiğinin ötesine geçirin. İncelemeler sekmesinde önce Bekliyor, sonra İnceleniyor, sonra Tamamlandı olan bir satır görünür.
  2. Olay Günlükleri'ni açın. Tetikleyici LLM_REVIEW_TRIGGERED, karar LLM_REVIEW_COMPLETED ve bir arıza LLM_REVIEW_FAILED yazar. Analistin istediği bir kilit USER_AI_LOCKED_PENDING, uygulanan kilit ise USER_AI_LOCKED yazar.
  3. Bir kilit açma talebini onaylayın. Kilidin Durum değeri Kaldırıldı olur ve denetim izinde USER_AI_UNLOCKED görünür — kullanıcının kendi talebi için UNLOCK_REQUESTED ve bir ret için UNLOCK_DENIED de öyle.
  4. Analizler sekmesinde bir raporu onaylayın ya da reddedin ve İnceleme sütununun değiştiğini doğrulayın. Karar, denetim izine bir kaynak güncellemesi olarak yazılır.
  5. Hiçbir olay meta verisi analistin gerekçesini ya da kanıtını taşımaz. SIEM'e giden şey inceleme kimliği, karar, puan, güven, doğrulama bayrağı, durum ve sayılardır.

Başarısız olursa

  • This feature (risk.llm_review) is not included in the installed license tier. Contact your CID representative to upgrade. — FEATURE_NOT_LICENSED kodlu bir 403. Enterprise anahtarı gerekir. Zaten uygulanmış bir kilit buna bakılmaksızın uygulanmaya devam eder ve kilitli bir kullanıcının gördüğü sayfa çalışmayı sürdürür.
  • Ayarlar kaydedilemedi — tetikleyici yapılandırması reddedildi. Her alan aralık denetiminden geçer; 50'nin üzerinde deneme, 1440 dakikanın üzerinde bir pencere ya da 0–1 dışında bir güven değeri reddedilir.
  • İncelemeler Bekliyor durumunda birikiyor ve hiçbiri tamamlanmıyor — analiste erişilemiyor ya da RISK_ANALYST_SERVICE_ENABLED değeri true dizesi değil. Kapalı bir tümleşme bir incelemeyi sonsuza dek beklemede bırakmak yerine kesin olarak başarısız kılar; bu yüzden ısrarlı bir Bekliyor durumu bayrağı değil kuyruğu işaret eder.
  • İncelemeler zaman aşımıyla Başarısız oluyor ve kullanıcılar kilitlenmek yerine uyarılıyor — devre kesici, üç ardışık arızadan sonra Kilit geri düşüşünü geri çekmiş. Olay günlüğünde LLM_REVIEW_ANALYST_UNAVAILABLE arayın; sorun altyapıdadır ve tespitler incelenmeden kalıyordur.
  • Bu kilit zaten kaldırılmış. — biri onu başka bir yerde karara bağlamış. Hata değildir.
  • Onaylamak ya da reddetmek 409 döndürüyor — talep zaten karara bağlanmış. Satır kendini yeniler.
  • Beklediğiniz bir inceleme, kilit ya da talep yok — kapsamınız dışındaki bir kiracıya aittir ve bilinçli olarak var olmayan birinden ayırt edilemez.
  • Jailbreak tespitleri kaydedildiği hâlde hiçbir şey tetiklenmiyor — güven eşiğini tespitlerin kendi güven değerleriyle karşılaştırın ve Redis'in ayakta olduğunu denetleyin. Bir Redis arızası, kullanıcının sohbet turunu başarısız kılmak yerine pencereyi sessizce kaybeder.

Sonraki adımlar

  • Bilgi tabanı — her incelemenin getirdiği saldırı kalıpları ve bir kararın atıf yaptığı MITRE ATLAS ile OWASP kütüphaneleri.
  • AI Analistine sorun — kullanıcıları yargılamak yerine sorularınızı yanıtlayan aynı analist ve altyapı gereksinimlerinin yazılı olduğu yer.
  • Ekibim — bir grup liderinin kendi üyeleri hakkındaki bu kararlardan neyi gördüğü.
  • Tüm Tespitler — pencereyi dolduran tespitler ve bir küme analizinin başlatıldığı yer.

Son güncelleme

Bu sayfada