H100 NVL á móti H100 SXM: hvor er hraðari?

Fyrir LLM-afkóðun er H100 NVL tilgreindur með meira minni (94 GB á móti 80 GB) og meiri bandvídd (3381 GB/s á móti 2869 GB/s). H100 SXM er með hærri FP32-afköst við 53.5 TFLOPS og 700 W aflmörk, svo hann hentar betur fyrir reiknifreka þjálfun.

Get ég keyrt 70B líkan í 16-bita á H100 NVL?

Nei. 16-bita 70B vigrar þurfa um 140 GB. Á 94 GB er hægt að keyra 70B magnbundið í 4 eða 8 bita; fyrir 16-bita 70B passar H200 NVL með 140 GB betur.

Þarf Hopper sérstakan hugbúnað?

Hopper er með reiknigetu 9.0 og keyrir nýjustu útgáfur af CUDA, PyTorch, vLLM og SGLang. Cloudj sniðmát tilgreina lágmarksútgáfu af CUDA og aðeins samhæfðir GPU-örgjörvar eru í boði fyrir hvert sniðmát.

Hvernig virkar gjaldtaka fyrir H100 NVL?

Greiddu á klukkustund á meðan þjónninn keyrir af Cloudj-inneign þinni, eða veldu mánaðarlegan eða lengri reikningsferil. Stjórnborðið staðfestir verðið áður en þú pantar, og stöðvaður tímaleiguþjónn er eingöngu gjaldfærður fyrir diskapláss.

GPU Cloud · NVIDIA · Hopper

Leigðu NVIDIA H100 NVL GPU með 94 GB VRAM

Leigðu H100 NVL skýja-GPU-þjóna á tímagjaldi á Cloudj: 94 GB VRAM, NVIDIA Hopper og um 3381 GB/s minnisbandvídd fyrir ályktanir stórra mállíkana. Hannaður fyrir LLM-teymi sem þurfa meira minni en 80 GB H100 býður upp á og mun hraðari afkóðun, með 48.3 TFLOPS FP32 við 400 W aflmörk. Ræstu vLLM- eða SGLang-sniðmát, veldu tiltæka H100 NVL uppsetningu og tengstu yfir SSH.

Leigja H100 NVL Öll GPU

Tæknilýsing fyrir H100 NVL

VRAM á hvert GPU

94 GB

Arkitektúr

NVIDIA Hopper

Reiknigeta

FP32-reiknigeta

≈ 48.3 TFLOPS

Bandvídd minnis

≈ 3381 GB/s

Aflmörk

400 W

Gildi gefin upp af innviðaveitanda fyrir vélar sem nú eru á skrá; raunveruleg afköst eru breytileg eftir vélum.

Virkar H100 NVL uppsetningar og verð

Rauntímabirgðir og verð, uppfært stöðugt. Lokaverð er staðfest áður en þú pantar.

Leigja núna

Hvað þú getur keyrt á H100 NVL skýja-GPU

Afkastamikil LLM-framreiðsla

3381 GB/s bandvídd flýtir fyrir tóknamyndun og 94 GB rúma magnbundið 70B líkan ásamt stóru KV-skyndiminni á einum GPU.

Langt samhengi og RAG-ferlar

Auka 14 GB umfram 80 GB kort nýtast beint í lengra samhengi og samtímafyrirspurnir.

Fínstilling 30B–70B líkana

Keyrðu LoRA á 30B-flokks líkönum í BF16 eða QLoRA á 70B-flokks líkönum með Unsloth á einum Hopper GPU.

Líkanamat í stórum stíl

Keyrðu viðmiðunarpróf og A/B-mat yfir eftirlitsstöðvar hratt, og eyddu svo þjóninum þegar niðurstöðurnar liggja fyrir.

Er H100 NVL rétta GPU-kortið fyrir þitt vinnuálag?

Veldu H100 NVL þegar gervigreindar- eða reikniálag krefst meira minnis en hefðbundin gagnaverskort bjóða upp á, allt að 94 GB af VRAM. Minni vinnustöðvar- eða neytenda-GPU hentar betur fyrir léttari ályktanir og þróun, en fjöl-GPU uppsetning eða stærra minnisþrep er nauðsynlegt ef líkönin fara yfir 94 GB.

H100 NVL samanborið við svipuð skýja-GPU

GPU	VRAM á hvert GPU	FP32-reiknigeta	Aflmörk
NVIDIA H100 NVL	94 GB	≈ 48.3 TFLOPS	400 W
NVIDIA H100 SXM	80 GB	≈ 53.5 TFLOPS	700 W	Skoða nánar →
NVIDIA H100 PCIE	80 GB	≈ 41 TFLOPS	350 W	Skoða nánar →
NVIDIA A800 PCIE	80 GB	≈ 15.6 TFLOPS	300 W	Skoða nánar →
NVIDIA CMP 170HX	64 GB	≈ 12.1 TFLOPS	250 W	Skoða nánar →

H100 NVL skýja-GPU: Algengar spurningar

Leigðu H100 NVL skýja-GPU á klukkustund

Veldu sniðmát, veldu virka uppsetningu og tengstu með SSH eða skipanalínu í vafra. Gjaldtaka stöðvast þegar þú eyðir GPU-kortinu.

Leigja H100 NVL Öll GPU