H100 NVL vs. H100 SXM: Hvilken er hurtigst?

Til LLM-afkodning er H100 NVL angivet med mere hukommelse (94 GB mod 80 GB) og højere båndbredde (3381 GB/s mod 2869 GB/s). H100 SXM har højere FP32 med 53.5 TFLOPS og en grænse på 700 W, så den er velegnet til beregningstung træning.

Kan jeg køre en 70B-model i 16-bit på H100 NVL?

Nej. 16-bit 70B-vægte kræver ca. 140 GB. På 94 GB kan du køre 70B kvantiseret til 4 eller 8 bit; til 16-bit 70B passer H200 NVL med 140 GB bedre.

Kræver Hopper særlig software?

Hopper har compute capability 9.0 og understøtter aktuelle versioner af CUDA, PyTorch, vLLM og SGLang. Skabeloner hos Cloudj angiver deres mindste CUDA-version, og der tilbydes kun kompatible GPU'er til hver skabelon.

Hvordan fungerer afregningen for H100 NVL?

Betal pr. time fra din Cloudj-saldo, mens serveren kører, eller vælg en månedlig eller længere periode. Konsollen bekræfter prisen, før du bestiller, og en stoppet timeserver opkræves udelukkende for sin diskplads.

GPU Cloud · NVIDIA · Hopper

Lej en NVIDIA H100 NVL GPU med 94 GB VRAM

Lej H100 NVL cloud GPU-servere på timebasis hos Cloudj: 94 GB VRAM, NVIDIA Hopper og ca. 3381 GB/s hukommelsesbåndbredde til large-model inference. Udviklet til LLM-teams, der har brug for mere hukommelse end en 80 GB H100 og markant hurtigere afkodning – den leverer 48.3 TFLOPS FP32 ved en effektgrænse på 400 W. Start en vLLM- eller SGLang-skabelon, vælg en aktiv H100 NVL-konfiguration, og opret forbindelse via SSH.

Lej H100 NVL Alle GPU'er

H100 NVL-specifikationer

VRAM pr. GPU

94 GB

Arkitektur

NVIDIA Hopper

Compute capability

FP32-ydelse

≈ 48.3 TFLOPS

Hukommelsesbåndbredde

≈ 3381 GB/s

Effektgrænse

400 W

Værdier oplyst af infrastrukturudbyderen for aktuelt listede maskiner; den faktiske ydeevne kan variere fra maskine til maskine.

Live H100 NVL-konfigurationer og priser

Live lagerstatus og priser, opdateres løbende. Den endelige pris bekræftes, inden du bestiller.

Lej nu

Hvad du kan køre på H100 NVL cloud-GPU'en

LLM-serving med høj throughput

3381 GB/s båndbredde sætter fart på token-genereringen, og 94 GB holder en kvantiseret 70B-model plus en stor KV-cache på en enkelt GPU.

Pipelines med long-context og RAG

De ekstra 14 GB sammenlignet med et 80 GB-kort går direkte til kontekstlængde og samtidige forespørgsler.

Fine-tuning af 30B–70B-modeller

Kør LoRA på modeller i 30B-klassen i BF16 eller QLoRA på modeller i 70B-klassen med Unsloth på en enkelt Hopper-GPU.

Modelevaluering i stor skala

Kør benchmark-suiter og A/B-evalueringer på tværs af checkpoints hurtigt, og slet serveren, når resultaterne er i hus.

Er H100 NVL den rette GPU til dit workload?

Vælg H100 NVL, når dine AI- eller compute-workloads kræver mere hukommelse, end standard datacentre-kort tilbyder, op til 94 GB VRAM. En mindre workstation- eller forbruger-GPU er et bedre valg til lettere inference og udvikling, mens et multi-GPU-setup eller et større hukommelsesniveau er nødvendigt, hvis dine modeller overstiger 94 GB.

H100 NVL vs. lignende cloud-GPU'er

GPU	VRAM pr. GPU	FP32-ydelse	Effektgrænse
NVIDIA H100 NVL	94 GB	≈ 48.3 TFLOPS	400 W
NVIDIA H100 SXM	80 GB	≈ 53.5 TFLOPS	700 W	Se detaljer →
NVIDIA H100 PCIE	80 GB	≈ 41 TFLOPS	350 W	Se detaljer →
NVIDIA A800 PCIE	80 GB	≈ 15.6 TFLOPS	300 W	Se detaljer →
NVIDIA CMP 170HX	64 GB	≈ 12.1 TFLOPS	250 W	Se detaljer →

H100 NVL cloud-GPU: Ofte stillede spørgsmål

Lej H100 NVL cloud-GPU på timebasis

Vælg en skabelon, vælg en live-konfiguration, og opret forbindelse via SSH eller browserterminalen. Afregningen stopper, når du sletter din GPU.

Lej H100 NVL Alle GPU'er