Kaynak boyutlandırma

Servis başına portlar ve profiller, compose dosyalarından üretilen servisler, portlar ve profiller sayfasındadır. Bu sayfa onların üzerindeki boyutlandırma hesabıdır: ölçüldüğünde her kapsayıcının gerçekte ne kullandığı, bunun profil başına ne tuttuğu ve kendi kurulumunuz için bir rakamı nasıl hesaplayacağınız. Sağlamanız gereken ana makine için gereksinimler ve boyutlandırma sayfasından başlayın; eklenen bir bileşenin maliyeti için isteğe bağlı servisler ve her birinin maliyeti sayfasına bakın.

Rakamlar nasıl okunur

Kapsayıcı belleğinin üç okuması vardır ve aralarında gigabaytlarca fark bulunur.

Tüm yığın, 21 kapsayıcı, boşta: docker stats çıktısındaki 15.00 GiB ve hesaba yazılan 18.00 GiB karşısında 12.53 GiB anonim bellek. Aradaki 2.5 GiB etkin sayfa önbelleğidir; büyük bölümü tespit motorlarının başlangıçta okuduğu model dosyalarıdır ve çekirdek, baskı altında bunu süreç fark etmeden düşürür.

Kapsayıcı başına

2026-09-08 tarihinde geliştirme sunucusunda ölçüldü: Ubuntu 24.04, 10 vCPU, 32 GB, GPU yok, cgroup v2, varsayılan compose profili artı llm-analyst ve tools profilleri. Boşta, yığının iki saattir trafiksiz ayakta olması demektir. Beyan edilen, compose bellek sınırıdır; tire, servisin hiç sınır beyan etmediğini gösterir.

Üç servis — jailbreak, zararlı içerik ve PII tespit motorları — 12.53 GiB'lık toplamın 7.87 GiB'ıdır: boştaki yığının %63'ü üç ONNX tespit motorudur. Her uvicorn işçisi modelin kendi tam kopyasını yükler; dolayısıyla UVICORN_WORKERS bu tabloyu diğer her ayardan daha fazla oynatır. Aynı yığın, servis başına tek işçiyle 7.3 GiB, iki ila dört işçiyle 12.5 GiB boşta durdu.

Bu tabloda iki kapsayıcı eksiktir; çünkü onları ne kısıtlayan ne de ölçen bir şey var: hiç sınır beyan etmeyen servisler ters vekil, pano, ağ geçidi, veritabanı, önbellek ve ana makine yeniden yapılandırma ajanıdır — burada hepsi küçüktür, ama bilinçli bir tercihle değil tasarım gereği sınırsızdır.

Profil başına

Varsayılan profildeki on dokuz servisin altısı hiç sınır beyan etmez; dolayısıyla 37.63 GB bir tavan değil tabandır ve belleği tükenen bir ana makine yalnızca compose dosyasına bakılarak tanılanamaz.

Yükün eklediği ve geri vermediği

Uçtan uca ölçüldü: aynı 21 kapsayıcı sabahki 12.53 GiB'dan bir OCR matrisi ve üç tespit motoru patlamasının ardından, yeniden boşta dururken 15.25 GiB'a çıktı. 2.7 GiB'ın hiçbiri geri gelmedi. Boşta bir okumadan boyutlandırmak, yalnızca PII tespit motorunu bir gigabayttan fazla eksik sayar.

Görüntü yolunda bağlayıcı kısıt bellek değil CPU'dur. Tek bir A4 sayfası 190 CPU saniyesine mal olur ve 8.4 çekirdek genişliğinde çalışır; dolayısıyla 10 vCPU'lu bir makine dakikada üç sayfanın altında iş yapar ve bu sırada başka hiçbir şey yapmaz. Eşzamanlılık durumu kötüleştirir: aynı anda dört sayfa, her biri 190 yerine 238 CPU saniyesine mal olur.

GPU neyi değiştirir

GPU önerilir, asla zorunlu değildir ve yalnızca görüntü yolu ile kendi barındırdığınız bir model için geçerlidir. Üç GPU yolu vardır ve birbirlerinden bağımsızdırlar.

Yığında başka hiçbir şey GPU kullanmaz. PII, zararlı içerik, jailbreak ve enjeksiyon tespiti CPU üzerinde ONNX ile çalışır, halüsinasyon tespiti yalnızca CPU derlemesidir ve kart eklemek gecikmelerini değiştirmez.

Kendi toplamınızı nasıl hesaplarsınız

Bir servisi kendiniz ölçmek için docker stats yerine kendi cgroup'unu okuyun:

docker compose exec ml-detector \
  awk '/^(anon|file|active_file) /' /sys/fs/cgroup/memory.stat

Gerçekçi bir patlamadan önce ve sonra okuyun. Aradaki fark, o trafiğin maliyetidir ve ONNX tespit motorlarında önemli olan başlangıç değeri değil, o farktır.

Notlar

• Disk trafik tepeleriyle değil saklamayla büyür. Biriken şey tespitler, olay günlükleri ve uyumluluk kanıtıdır; kapsayıcı imajları ve model önbellekleri bir kez ödenen sabit bir maliyettir. Dağıtılan saklama pencereleri ve süpürmenin varsayılan olarak silmediği gerçeği gereksinimler ve boyutlandırma sayfasındadır.
• Swap, kısa süreli model sıçramaları için bir paydır; belleğin yerini tutmaz. Doğru boyutlandırılmış bir ana makinede 8 GB yeterlidir ve 32 GB tabanının altındaki bir ana makineyi hiçbir miktar kurtarmaz.
• Dağıtılan cihaz imajı desteklenen alt sınırda önceden boyutlandırılmıştır — 32768 MB ve 8 vCPU — böylece işletmecinin hesap yapmasına gerek kalmadan açılır. Üzerine yük bindirmeden önce yükseltin.
• Dolaşımda iki eski rakam var ve ikisi de üretilmiş değil. Depo kılavuzu ve OVA derleme notları, sınırsız 11 servis genelinde yaklaşık 42 GB beyan edilmiş sınırdan ve yaklaşık 30 GiB ölçümden söz eder. Üretilen rakam, 6'sı sınırsız olan 19 servis genelinde 37.63 GB'dır; 30 GiB ise kapsayıcı başına bir ölçümden değil, 62 GiB bir makinede tüm servislerin payla birlikte çalıştığını kaydeden 2026-07 tarihli bir hazırlık provasından gelir. Bu sayfadaki üretilmiş ve ölçülmüş rakamları kullanın.

İlgili

• Gereksinimler ve boyutlandırma — dağıtım kipi başına sağlanacak ana makine.
• İsteğe bağlı servisler ve her birinin maliyeti — eklenen bileşen başına gereksinim satırı.
• Servisler, portlar ve profiller — servis başına üretilen tablo.
• Compose profilleri ve komut satırı — bir profilin nasıl başlatıldığı.