Hversu miklu hraðari er H200 NVL en H100 NVL?

Samkvæmt tæknilýsingu bjóða bæði upp á 48.3 TFLOPS FP32, en H200 NVL er með 140 GB í stað 94 GB og 3884 GB/s í stað 3381 GB/s. Minnisbundin LLM vinna nýtur þess best; verkefni sem byggja eingöngu á reikniafli finna lítinn mun.

Kemst 70B líkan í 16-bit fyrir á H200 NVL?

Rétt svo: 70B vigtir í 16-bit taka um 140 GB, sem skilur nánast ekkert eftir fyrir KV cache. Í reynd er 70B keyrt í 8-bit eða FP8 kvöntun og eftirstandandi minni nýtt fyrir samhengi.

Hverjir ættu að leigja H200 NVL í stað tveggja minni GPU korta?

Teymi þar sem líkanið kemst fyrir á einu 140 GB korti komast hjá tensor-parallel uppsetningu, gagnaflutningi milli GPU korta og villuleit yfir marga skjástjóra. Einn stór GPU er oft einfaldari og hraðvirkari í ítrekunum.

Hvernig leigi ég H200 NVL á Cloudj?

Veldu sniðmát, veldu H200 NVL uppsetningu úr rauntímalager, staðfestu verðið og stofnaðu þjóninn með inneigninni þinni. Tengstu með SSH eða í gegnum vafraútstöð.

GPU Cloud · NVIDIA · Hopper

Leigðu NVIDIA H200 NVL GPU með 140 GB VRAM

Leigðu H200 NVL GPU skýjaþjóna með tímagjaldi á Cloudj: 140 GB VRAM, NVIDIA Hopper og um 3884 GB/s minnisbandbreidd – stærsta GPU minnið í okkar vöruúrvali. Hannaður fyrir teymi sem hýsa líkön í 70B-flokki með mikilli nákvæmni eða mjög löngu samhengi, með 48.3 TFLOPS FP32 og 600 W aflmörk. Veldu vLLM eða SGLang sniðmát, veldu lausa H200 NVL uppsetningu og tengstu með SSH.

Leigja H200 NVL Öll GPU

Tæknilýsing fyrir H200 NVL

VRAM á hvert GPU

140 GB

Arkitektúr

NVIDIA Hopper

Reiknigeta

FP32-reiknigeta

≈ 48.3 TFLOPS

Bandvídd minnis

≈ 3884 GB/s

Aflmörk

600 W

Gildi gefin upp af innviðaveitanda fyrir vélar sem nú eru á skrá; raunveruleg afköst eru breytileg eftir vélum.

Virkar H200 NVL uppsetningar og verð

Rauntímabirgðir og verð, uppfært stöðugt. Lokaverð er staðfest áður en þú pantar.

Leigja núna

Hvað þú getur keyrt á H200 NVL skýja-GPU

Líkön í 70B-flokki í nær fullri nákvæmni

140 GB rúmar 70B líkan í 8-bit með stóru KV cache, eða nálægt 16-bit stærð, á einum GPU.

Hýsing með löngu samhengi

3884 GB/s tryggir hraða afkóðun á meðan aukaminnið ræður við langar skipanir og margar samhliða lotur.

Fínstilling 70B líkana með QLoRA

Keyrðu 70B QLoRA með lengri runum og stærri búnkum en 80 GB kort ræður við.

Mixture-of-experts tilraunir

MoE líkön hafa mikla heildarstærð vigtanna; 140 GB gerir þér kleift að hlaða stærri sérfræðingasettum til prófunar án skiptingar.

Er H200 NVL rétta GPU-kortið fyrir þitt vinnuálag?

Veldu H200 NVL þegar helsti flöskuhálsinn er VRAM-rýmd og minnisbandbreidd, sérstaklega til að hýsa stór líkön á einu korti. Ef þú ert að keyra léttari ályktanir (inference), hefðbundna myndmyndun eða þróunarverkefni sem krefjast ekki 140 GB af minni er minni vinnustöðvar- eða neytenda-GPU hagkvæmari kostur.

H200 NVL samanborið við svipuð skýja-GPU

GPU	VRAM á hvert GPU	FP32-reiknigeta	Aflmörk
NVIDIA H200 NVL	140 GB	≈ 48.3 TFLOPS	600 W
NVIDIA H100 NVL	94 GB	≈ 48.3 TFLOPS	400 W	Skoða nánar →
NVIDIA H100 SXM	80 GB	≈ 53.5 TFLOPS	700 W	Skoða nánar →
NVIDIA H100 PCIE	80 GB	≈ 41 TFLOPS	350 W	Skoða nánar →
NVIDIA A800 PCIE	80 GB	≈ 15.6 TFLOPS	300 W	Skoða nánar →

H200 NVL skýja-GPU: Algengar spurningar

Leigðu H200 NVL skýja-GPU á klukkustund

Veldu sniðmát, veldu virka uppsetningu og tengstu með SSH eða skipanalínu í vafra. Gjaldtaka stöðvast þegar þú eyðir GPU-kortinu.

Leigja H200 NVL Öll GPU