140 GB VRAM ilə NVIDIA H200 NVL GPU icarəyə götürün
Cloudj-da saathesabı H200 NVL bulud GPU serverləri icarəyə götürün: 140 GB VRAM, NVIDIA Hopper və təxminən 3884 GB/s yaddaş bant genişliyi ilə çeşidimizdəki ən böyük yaddaşa malik GPU. 48.3 TFLOPS FP32 və 600 W güc həddi ilə 70B sinifli modelləri yüksək dəqiqliklə və ya olduqca uzun kontekstlərlə işlədən komandalar üçün hazırlanıb. vLLM və ya SGLang şablonu seçin, real vaxt rejimindəki H200 NVL konfiqurasiyasını təyin edin və SSH vasitəsilə qoşulun.
H200 NVL texniki xüsusiyyətləri
Hər GPU üçün VRAM
140 GB
Arxitektura
NVIDIA Hopper
Hesablama qabiliyyəti
9
FP32 hesablaması
≈ 48.3 TFLOPS
Yaddaş bant genişliyi
≈ 3884 GB/s
Güc həddi
600 W
Hazırda siyahıda olan maşınlar üçün infrastruktur təminatçısı tərəfindən bildirilən dəyərlər; real məhsuldarlıq maşına görə dəyişə bilər.
Aktual H200 NVL konfiqurasiyaları və qiymətləri
Daim yenilənən canlı inventar və qiymətlər. Yekun qiymət sifarişinizdən əvvəl təsdiqlənir.
İndi icarəyə götürH200 NVL bulud GPU-da nələri işə sala bilərsiniz
Tam dəqiqliyə yaxın 70B sinifli modellər
140 GB tək bir GPU-da böyük KV keş ilə 8-bit formatında və ya 16-bit həcminə yaxın 70B modeli saxlamağa imkan verir.
Uzun kontekstlərin işlənməsi
3884 GB/s dekodlaşdırmanı sürətli saxlayır, əlavə yaddaş isə uzun sorğuları və çoxsaylı paralel sessiyaları yerləşdirir.
70B modellərinin QLoRA ilə fine-tuning edilməsi
80 GB kartın imkan verdiyindən daha uzun ardıcıllıqlar və daha böyük paketlər ilə 70B QLoRA işlədin.
Mixture-of-experts təcrübələri
MoE modellərinin ümumi çəkiləri böyükdür; 140 GB sizə fraqmentasiya (sharding) olmadan sınaq üçün daha böyük ekspert dəstlərini yükləməyə imkan verir.
H200 NVL iş yükünüz üçün doğru GPU-durmu?
Əsas darboğazınız VRAM tutumu və yaddaş bant genişliyi olduqda, xüsusən də böyük modelləri tək bir kartda yerləşdirmək üçün H200 NVL seçin. Əgər daha yüngül inferensiya, standart təsvir generasiyası və ya 140 GB yaddaş tələb etməyən tərtibat işləri görürsünüzsə, daha kiçik iş stansiyası və ya istifadəçi səviyyəli GPU daha praktik seçimdir.
H200 NVL və oxşar bulud GPU-larının müqayisəsi
H200 NVL bulud GPU: tez-tez verilən suallar
H200 NVL bulud GPU-nu saatlıq icarəyə götürün
Şablon seçin, aktual konfiqurasiyanı seçin və SSH və ya brauzer terminalı vasitəsilə qoşulun. GPU-nu sildikdə ödəniş dayanır.