H100 NVL vs H100 SXM: melyik a gyorsabb?

LLM-dekódolás terén a H100 NVL több memóriával (94 GB vs 80 GB) és nagyobb sávszélességgel rendelkezik (3381 GB/s vs 2869 GB/s). A H100 SXM viszont magasabb FP32-teljesítményt nyújt 53.5 TFLOPS értékkel és 700 W-os limittel, így a nagy számításigényű modelltanításra alkalmasabb.

Futtatható 70B modell 16 bites pontossággal a H100 NVL-en?

Nem. A 16 bites 70B súlyokhoz körülbelül 140 GB szükséges. 94 GB memórián a 70B modell 4 vagy 8 bitre kvantálva futtatható; 16 bites 70B esetén a 140 GB-os H200 NVL a megfelelő választás.

Igényel a Hopper speciális szoftvert?

A Hopper 9.0-s compute capability szinttel rendelkezik, és támogatja a legújabb CUDA, PyTorch, vLLM és SGLang buildeket. A(z) Cloudj sablonok feltüntetik a minimális CUDA-verziót, és minden sablonhoz kizárólag kompatibilis GPU-k választhatók.

Hogyan működik a H100 NVL számlázása?

Fizessen a szerver futása alapján óradíjat a(z) Cloudj egyenlegéből, vagy válasszon havi vagy hosszabb számlázási időszakot. A vezérlőpult a rendelés előtt visszaigazolja az árat, a leállított óradíjas szerverek után pedig kizárólag a lemezterület díja kerül felszámításra.

GPU Cloud · NVIDIA · Hopper

Béreljen NVIDIA H100 NVL GPU-t 94 GB VRAM-mal

Béreljen H100 NVL felhő GPU-szervereket óradíjas alapon a(z) Cloudj felületén: 94 GB VRAM, NVIDIA Hopper architektúra és mintegy 3381 GB/s memóriasávszélesség a nagyméretű modellek inferenciájához. Kifejezetten olyan LLM-fejlesztő csapatoknak készült, amelyeknek a 80 GB-os H100-nál nagyobb memóriára és lényegesen gyorsabb dekódolásra van szükségük; 48.3 TFLOPS FP32 teljesítményt biztosít 400 W-os fogyasztási keret mellett. Indítson el egy vLLM vagy SGLang sablont, válasszon egy elérhető H100 NVL konfigurációt, és csatlakozzon azonnal SSH-n keresztül.

H100 NVL bérlése Összes GPU

H100 NVL specifikációk

VRAM GPU-nként

94 GB

Architektúra

NVIDIA Hopper

Számítási képesség

FP32 számítási teljesítmény

≈ 48.3 TFLOPS

Memória-sávszélesség

≈ 3381 GB/s

Teljesítménykorlát

400 W

Az infrastruktúra-szolgáltató által megadott értékek a jelenleg listázott gépekre; a valós teljesítmény gépenként eltérhet.

Elérhető H100 NVL konfigurációk és árak

Élő készlet- és árinformációk, folyamatosan frissítve. A végleges ár megrendelés előtt megerősítésre kerül.

Bérlés most

Mit futtathatsz a H100 NVL felhő GPU-n

Nagy áteresztőképességű LLM-kiszolgálás

A 3381 GB/s sávszélesség felgyorsítja a tokengenerálást, a 94 GB memória pedig lehetővé teszi egy kvantált 70B modell és egy nagyméretű KV-gyorsítótár futtatását egyetlen GPU-n.

Hosszú kontextusú és RAG-folyamatok

A 80 GB-os kártyákhoz képest elérhető plusz 14 GB közvetlenül a hosszabb kontextusablakokat és a párhuzamos kérések kiszolgálását erősíti.

30B–70B modellek finomhangolása

Futtasson LoRA finomhangolást 30B kategóriájú modelleken BF16 formátumban, vagy QLoRA-t 70B kategóriájú modelleken Unsloth segítségével, egyetlen Hopper GPU-n.

Nagyléptékű modellkiértékelés

Futtasson benchmark teszteket és A/B-kiértékeléseket a különböző mentési pontok (checkpointok) között gyorsan, majd törölje a szervert, amint megérkeztek az eredmények.

A H100 NVL a megfelelő GPU a munkafolyamataidhoz?

Válassza a H100 NVL-t, ha AI vagy számítási feladatai a szabványos adatközponti kártyákénál nagyobb memóriát igényelnek, akár 94 GB VRAM-ig. Egy kisebb munkaállomás vagy fogyasztói GPU jobb választás az egyszerűbb inferenciához és fejlesztéshez, míg több GPU-s rendszerre vagy magasabb memóriaszintre van szükség, ha a modellek mérete meghaladja a 94 GB-ot.

H100 NVL vs. hasonló felhő GPU-k

GPU	VRAM GPU-nként	FP32 számítási teljesítmény	Teljesítménykorlát
NVIDIA H100 NVL	94 GB	≈ 48.3 TFLOPS	400 W
NVIDIA H100 SXM	80 GB	≈ 53.5 TFLOPS	700 W	Részletek →
NVIDIA H100 PCIE	80 GB	≈ 41 TFLOPS	350 W	Részletek →
NVIDIA A800 PCIE	80 GB	≈ 15.6 TFLOPS	300 W	Részletek →
NVIDIA CMP 170HX	64 GB	≈ 12.1 TFLOPS	250 W	Részletek →

H100 NVL felhő GPU: gyakori kérdések

Bérelj H100 NVL felhő GPU-t óradíjas alapon

Válassz sablont, válassz egy elérhető konfigurációt, és csatlakozz SSH-n vagy a böngészős terminálon keresztül. A számlázás a GPU törlésével leáll.

H100 NVL bérlése Összes GPU