H100 NVL vs H100 SXM: vilken är snabbare?

För LLM-avkodning listas H100 NVL med mer minne (94 GB mot 80 GB) och högre bandbredd (3381 GB/s mot 2869 GB/s). H100 SXM har högre FP32 vid 53.5 TFLOPS och en gräns på 700 W, vilket gör den mer lämpad för beräkningstung träning.

Kan jag köra en 70B-modell i 16-bitars precision på H100 NVL?

Nej. Vikter för 70B i 16-bitars precision kräver cirka 140 GB. På 94 GB kör du 70B kvantiserad till 4 eller 8 bitar; för 16-bitars 70B är H200 NVL med 140 GB ett bättre val.

Kräver Hopper särskild mjukvara?

Hopper har beräkningskapacitet 9.0 och kör aktuella versioner av CUDA, PyTorch, vLLM och SGLang. Mallar hos Cloudj listar sin lägsta CUDA-version, och endast kompatibla GPU:er erbjuds för respektive mall.

Hur fungerar faktureringen för H100 NVL?

Betala per timme medan servern körs via ditt Cloudj-saldo, eller välj en månadsvis eller längre faktureringsperiod. Kontrollpanelen bekräftar priset innan du beställer, och för en stoppad timserver debiteras endast lagringsutrymmet.

GPU Cloud · NVIDIA · Hopper

Hyr en NVIDIA H100 NVL GPU med 94 GB VRAM

Hyr H100 NVL molnbaserade GPU-servrar per timme hos Cloudj: 94 GB VRAM, NVIDIA Hopper och cirka 3381 GB/s i minnesbandbredd för inferens av stora modeller. Byggd för LLM-team som behöver mer minne än en 80 GB H100 samt betydligt snabbare avkodning, och levererar 48.3 TFLOPS FP32 vid en effektgräns på 400 W. Starta en vLLM- eller SGLang-mall, välj en aktiv H100 NVL-konfiguration och anslut via SSH.

Hyr H100 NVL Alla GPU:er

Specifikationer för H100 NVL

VRAM per GPU

94 GB

Arkitektur

NVIDIA Hopper

Beräkningskapacitet

FP32-prestanda

≈ 48.3 TFLOPS

Minnesbandbredd

≈ 3381 GB/s

Effektgräns

400 W

Värden som rapporterats av infrastrukturleverantören för nu listade maskiner; faktisk prestanda kan variera mellan olika maskiner.

Aktuella konfigurationer och priser för H100 NVL

Aktuellt lager och priser i realtid, uppdateras kontinuerligt. Det slutgiltiga priset bekräftas före beställning.

Hyr nu

Vad du kan köra på moln-GPU:n H100 NVL

LLM-serving med hög genomströmning

En bandbredd på 3381 GB/s snabbar upp tokengenerering, och 94 GB rymmer en kvantiserad 70B-modell plus en stor KV-cache på en enda GPU.

Pipelines för lång kontext och RAG

De extra 14 GB jämfört med ett 80 GB-kort går direkt till utökad kontextlängd och fler samtidiga förfrågningar.

Finjustering av 30B–70B-modeller

Kör LoRA på modeller i 30B-klassen i BF16 eller QLoRA på modeller i 70B-klassen med Unsloth på en enda Hopper-GPU.

Modellutvärdering i stor skala

Kör benchmark-sviter och A/B-utvärderingar mellan kontrollpunkter snabbt, och radera sedan servern när resultaten är klara.

Är H100 NVL rätt GPU för din arbetsbelastning?

Välj H100 NVL när dina AI- eller beräkningsarbetslaster kräver mer minne än vad vanliga datacenterkort erbjuder, upp till 94 GB VRAM. En mindre arbetsstations- eller konsument-GPU är ett bättre val för lättare inferens och utveckling, medan en flergpu-lösning eller en större minnesnivå är nödvändig om dina modeller överstiger 94 GB.

H100 NVL jämfört med liknande moln-GPU:er

GPU	VRAM per GPU	FP32-prestanda	Effektgräns
NVIDIA H100 NVL	94 GB	≈ 48.3 TFLOPS	400 W
NVIDIA H100 SXM	80 GB	≈ 53.5 TFLOPS	700 W	Detaljer →
NVIDIA H100 PCIE	80 GB	≈ 41 TFLOPS	350 W	Detaljer →
NVIDIA A800 PCIE	80 GB	≈ 15.6 TFLOPS	300 W	Detaljer →
NVIDIA CMP 170HX	64 GB	≈ 12.1 TFLOPS	250 W	Detaljer →

H100 NVL moln-GPU: vanliga frågor och svar

Hyr H100 NVL moln-GPU per timme

Välj en mall, välj en aktuell konfiguration och anslut via SSH eller webbläsarterminalen. Debiteringen upphör när du tar bort din GPU.

Hyr H100 NVL Alla GPU:er