Merrni me qira GPU NVIDIA H100 NVL me 94 GB VRAM
Merrni me qira serverë cloud GPU H100 NVL me orë në Cloudj: 94 GB VRAM, NVIDIA Hopper dhe rreth 3381 GB/s gjerësi brezi të memories për inferencë të modeleve të mëdha. Ndërtuar për ekipe LLM që kërkojnë më shumë memorie sesa një H100 me 80 GB dhe dekodim shumë më të shpejtë, ai ofron 48.3 TFLOPS FP32 me një kufi fuqie prej 400 W. Nisni një shabllon vLLM ose SGLang, zgjidhni një konfigurim aktiv H100 NVL dhe lidhuni përmes SSH.
Specifikimet e H100 NVL
VRAM për GPU
94 GB
Arkitektura
NVIDIA Hopper
Aftësia llogaritëse (Compute capability)
9
Llogaritje FP32
≈ 48.3 TFLOPS
Gjerësia e bandës së memories
≈ 3381 GB/s
Kufiri i konsumit të energjisë
400 W
Vlerat raportohen nga ofruesi i infrastrukturës për makinat aktualisht të listuara; performanca reale ndryshon sipas makinës.
Konfigurimet live të H100 NVL dhe çmimet
Gjendja dhe çmimet në kohë reale, të përditësuara vazhdimisht. Çmimi përfundimtar konfirmohet para porosisë tuaj.
Merr me qira taniÇfarë mund të ekzekutoni në GPU-në cloud H100 NVL
Shërbim LLM me rendiment të lartë
Gjerësia e brezit prej 3381 GB/s përshpejton gjenerimin e token-ave, dhe 94 GB mban një model 70B të kuantizuar së bashku me një KV cache të madh në një GPU të vetme.
Kontekst i gjatë dhe rrjedha RAG
14 GB shtesë krahasuar me një kartë 80 GB shkojnë drejtpërdrejt për gjatësinë e kontekstit dhe kërkesat e njëkohshme.
Fine-tuning i modeleve 30B–70B
Ekzekutoni LoRA në modele të klasit 30B në BF16 ose QLoRA në modele të klasit 70B me Unsloth në një GPU të vetme Hopper.
Vlerësim i modeleve në shkallë të gjerë
Ekzekutoni shpejt paketat e testeve krahasuese dhe vlerësimet A/B nëpër checkpoints, dhe më pas fshijeni serverin sapo të merrni rezultatet.
A është H100 NVL GPU-ja e duhur për ngarkesën tuaj të punës?
Zgjidhni H100 NVL kur ngarkesat tuaja të punës për AI ose përllogaritje kërkojnë më shumë memorie sesa ofrojnë kartat standarde të qendrave të të dhënave, deri në 94 GB VRAM. Një GPU më e vogël për stacione pune ose për konsumatorë është një zgjedhje më e mirë për inferencë të lehtë dhe zhvillim, ndërsa një konfigurim me shumë GPU ose një nivel më i lartë memorieje është i nevojshëm nëse modelet tuaja tejkalojnë 94 GB.
H100 NVL kundrejt GPU-ve të ngjashme cloud
GPU cloud H100 NVL: pyetjet më të shpeshta
Merrni me qira GPU-në cloud H100 NVL me orë
Zgjidhni një shabllon, zgjidhni një konfigurim live dhe lidhuni përmes SSH ose terminalit të shfletuesit. Faturimi ndërpritet kur fshini GPU-në.