Īrē NVIDIA H200 NVL GPU ar 140 GB VRAM
Nomājiet H200 NVL mākoņa GPU serverus ar stundas maksu platformā Cloudj: 140 GB VRAM, NVIDIA Hopper un aptuveni 3884 GB/s atmiņas caurlaidspēja — lielākā atmiņas ietilpība starp mūsu GPU piedāvājumiem. Tas ir īpaši pielāgots komandām, kas uztur 70B klases modeļus augstā precizitātē vai apstrādā ļoti garus kontekstus, piedāvājot 48.3 TFLOPS FP32 veiktspēju un 600 W jaudas limitu. Izvēlieties vLLM vai SGLang veidni, atlasiet pieejamo H200 NVL konfigurāciju un pieslēdzieties caur SSH.
H200 NVL specifikācijas
VRAM katrai GPU
140 GB
Arhitektūra
NVIDIA Hopper
Skaitļošanas spēja
9
FP32 veiktspēja
≈ 48.3 TFLOPS
Atmiņas joslas platums
≈ 3884 GB/s
Jaudas limits
600 W
Vērtības, ko infrastruktūras nodrošinātājs norādījis pašlaik sarakstā esošajām iekārtām; faktiskā veiktspēja var atšķirties atkarībā no mašīnas.
Aktuālās H200 NVL konfigurācijas un cenas
Pieejamība un cenas reāllaikā, tiek atjauninātas nepārtraukti. Galīgā cena tiek apstiprināta pirms pasūtīšanas.
Iznomāt tūlītKo var darbināt uz H200 NVL mākoņa GPU
70B klases modeļi gandrīz pilnā precizitātē
140 GB ļauj vienā GPU darbināt 70B modeli 8-bitu formātā ar ietilpīgu KV kešatmiņu vai izmērā, kas ir tuvs 16-bitu apjomam.
Gara konteksta modeļu uzturēšana
3884 GB/s nodrošina ātru dekodēšanu, savukārt papildu atmiņa ļauj ietilpināt garas uzvednes un paralēli apkalpot daudzas sesijas.
70B modeļu precīzā pielāgošana ar QLoRA
Darbiniet 70B QLoRA ar garākām sekvencēm un lielākām datu partijām, nekā to pieļauj 80 GB karte.
Eksperimenti ar Mixture-of-Experts modeļiem
MoE modeļiem ir liels kopējais svaru apjoms; 140 GB ļauj ielādēt lielākas ekspertu kopas testēšanai bez sadalīšanas vairākos GPU.
Vai H200 NVL ir piemērotākais GPU jūsu darba slodzei?
Izvēlieties H200 NVL, ja jūsu galvenā veiktspējas robeža ir VRAM ietilpība un atmiņas caurlaidspēja, īpaši lielu modeļu darbināšanai vienā videokartē. Ja veicat vieglāku inferenci, standarta attēlu ģenerēšanu vai izstrādes uzdevumus, kam nav nepieciešami 140 GB atmiņas, mazāks darbstacijas vai patērētāju klases GPU būs praktiskāka izvēle.
H200 NVL salīdzinājumā ar līdzīgiem mākoņa GPU
H200 NVL mākoņa GPU: biežāk uzdotie jautājumi
Nomājiet H200 NVL mākoņa GPU pa stundām
Izvēlieties sagatavi, atlasiet pieejamo konfigurāciju un pieslēdzieties caur SSH vai pārlūka termināli. Apmaksa tiek apturēta, kad izdzēšat GPU.