Skip to main content
CID222 Docs
Dağıtım ve entegrasyon

Yerel LLM Analyst yığınını dağıtın

Salt okunur MCP kanıt servisini, risk analistini ve yerel OpenAI uyumlu modeli çevrimiçi veya hava boşluklu bir dağıtımda bağlayın.

  • Sürüm: 0.4
  • Özellik: risk.llm_review
  • Rol: admin_user
  • Tür: görev

Analyst yığınının üç ayrı güven sınırı vardır:

Pano → ağ geçidi → risk-analyst → cid-mcp-server → salt okunur PostgreSQL rolü
                             └──→ OpenAI uyumlu yerel model

Model veri tabanı bağlantısı almaz. Yalnızca MCP sunucusunun türü belirli araçlarını isteyebilir; MCP sunucusu kapsamı sabitler, gizli sütunları dışarıda bırakır ve cid_mcp_ro ile çalışır. Analist, yanıtı yayımlamadan önce sayı ve etiketleri araç sonuçlarıyla doğrular.

Neye ihtiyacım var?

Lisans
Enterprise risk.llm_review; kanıt servisi için mcp.server
Rol
admin_user

Ön koşullar

  • Temel cihaz sağlıklı ve veri tabanı göçleri güncel olmalıdır.
  • Ollama, imzalı cid-llm GPU dilimi veya ayrı yönetilen llama-server seçilmiş olmalıdır.
  • Model uç noktası OpenAI uyumlu tool_calls desteklemelidir; düz metin işlev adı yeterli değildir.
  • Hava boşluklu dağıtımda imzalı model ve motor yükleri bakım penceresinden önce hazır olmalıdır.

Çıkarım konumunu seçin

KonumKullanımKanıta dayalı asgari boyut
Ana makinede OllamaGeliştirme ve bağlantılı PoC14B Q4 için yaklaşık 16–23 GB ana makine RAM'i; 16 GB altı desteklenmez
Ayrı cid-llm GPU VMDesteklenen GPU dağıtımı20 GB VRAM'li NVIDIA kart; hem /var/lib/cid-llm hem Docker kökünde 40 GB boş alan
CPU llama-serverÖzel dağıtımQ4_K_M için 16–23 GB, Q5_K_M için en az 24 GB RAM; compose katmanı yoktur

Ölçülen GPU başvurusu RTX 4000 SFF Ada 20 GB üzerinde Qwen3-14B-AWQ'dur: 9.36 GiB ağırlık, 32768 token bağlam ve tek akışta 26.7 token/s. Bunlar her kart için vaat değildir. Birleşik hesap için isteğe bağlı servis boyutlandırmasına bakın.

Kanıt ve analist servislerini başlatın

Profil varsayılan olarak kapalıdır:

docker compose --profile llm-analyst up -d mcp-server risk-analyst

İki serviste aynı MCP_SHARED_TOKEN değerini kullanın ve MCP_DB_PASSWORD değerini veri tabanı rolüne uygulayın. MCP sunucusu açılışta gömülü başvuru dizinlerini kurar ve yaklaşık 80 saniye 503 dönebilir; compose 180 saniye tanır. Analist MCP sağlıklı olmadan başlamaz.

RISK_ANALYST_SERVICE_ENABLED otomatik inceleme gönderimini yönetir; etkileşimli Analyst sohbetini kapatmaz. Aşağıdaki kontroller geçmeden true yapmayın.

Çıkarım motorunu bağlayın

Ana makinede Ollama çalıştırın, qwen3:14b modelini alın ve LLM_ENGINE=ollama, LLM_BASE_URL=http://host.docker.internal:11434/v1, LLM_MODEL=qwen3:14b, ANALYST_CONTEXT_WINDOW=32768 ayarlayın. Sunucuyu OLLAMA_CONTEXT_LENGTH=32768 ve OLLAMA_KEEP_ALIVE=-1 ile başlatın.

vLLM için otomatik araç seçimini Hermes ayrıştırıcısıyla etkinleştirin. İstek günlüğünü açmayın; analist istemleri müşteri kanıtı taşır.

Hava boşluklu sıra

  1. Bağlantılı derleme makinesinde sabitlenmiş ağırlık ve motoru alın; iç model manifestini ve imzalı .cidllm paketini üretin.
  2. Paketi ve açık güncelleme anahtarını müşterinin onaylı medya süreciyle taşıyın.
  3. GPU ana makine ön kontrolünü çalıştırın: Compose 2.24+, NVIDIA sürücüsü/toolkit, nvidia-smi, iki dosya sisteminde hazırlama alanı ve yönlendirilebilir özel bind adresi.
  4. Paketi kurun. İmza, imaj kimliği ve her model dosyası digest'i doğrulanmadan etkin symlink değişmez.
  5. Cihazı özel uç noktaya yönlendirin. Çalışma zamanında internet yolu gerekmez.

Otomatik incelemeyi açmadan doğrulayın

  1. MCP /healthz yanıtı degraded olmadan sağlıklı ve beklenen araç sayısıyla gelmelidir.
  2. Risk analisti /health yanıtında llm_reachable ve mcp_connected true olmalıdır.
  3. Motor kabul testini çalıştırın: bearer reddi, model kimliği, ayrıştırılmış araç çağrısı, düşünme bastırma, akış kullanımı ve $defs/$ref şeması.
  4. AI Analisti içinde Son 7 günde en çok hangi giriş filtreleri çalıştı? diye sorun; kanıt tablosu, araç izi ve Doğrulandı sonucu isteyin.
  5. Aynı soruyu grup kapsamlı yöneticiyle sorun; her araç çağrısı izinli kiracı kümesinde kalmalıdır.
  6. Ancak bundan sonra RISK_ANALYST_SERVICE_ENABLED=true yapın.

Başarısız olursa

Çalışma kitabıperformance

LLM risk analisti kapalı, erişilemez durumda ya da zaman aşımına uğruyor

Şunları görebilirsiniz: The risk analyst service is not enabled on this deployment. (risk analisti servisi bu dağıtımda etkin değil) · The risk analyst could not be reached. (risk analistine erişilemedi) · The analyst is already running an analysis. (analist hâlihazırda bir analiz çalıştırıyor) · The analysis did not start. (analiz başlamadı)

Başlamadan önce

Denetimler

  1. 1

    Ağ geçidinin analisti etkin sayıp saymadığını okuyun

    beklenen · Bayrak ayarlı.

  2. 2

    Analist servisinin yanıt verip vermediğini okuyun

    tanılama · services[risk-analyst].reachable = true

  3. 3

    Analistin ortamı üzerinden okuduğu MCP sunucusunu okuyun

    tanılama · services[mcp-server].reachable = true

  4. 4

    Halihazırda bir analizin çalışıp çalışmadığını denetleyin

    beklenen · Çalışmakta olan bir analiz yok.

  5. 5

    Zaman aşımları için yapılandırılan süreyi bir okumanın gerçekte ne kadar sürdüğüyle karşılaştırın

    beklenen · Süre, tamamlanmış tipik bir incelemenin aldığı zamandan uzun.

  • Sağlıklı model tool_calls üretmiyorsa uyumsuz veya yanlış ayarlıdır. vLLM için Hermes ayrıştırıcısını, llama-server için --jinja seçeneğini kontrol edin.
  • MCP degraded ise salt okunur işlem veya izinler yanlıştır. Rolü düzeltin; analiste daha geniş veri tabanı kimliği vermeyin.
  • Sürekli karantina, yanıtın araç sonuçlarına bağlanamadığını gösterir. Doğrulamayı kapatmadan önce araç izini ve kapsamı inceleyin.
  • GPU bellek taşması, ağırlıklar ve KV önbelleğinin karta sığmadığını gösterir. Ölçümlü test altında bağlamı veya eşzamanlılığı azaltın ve kabul testi geçmeden yeni sınırı yayımlamayın.

İlgili sayfalar

Son güncelleme

Bu sayfada