H100 NVL vs. H100 SXM: ktorá je rýchlejšia?

Pri dekódovaní LLM ponúka H100 NVL viac pamäte (94 GB vs. 80 GB) a vyššiu priepustnosť (3381 GB/s vs. 2869 GB/s). H100 SXM má vyšší výkon FP32 na úrovni 53.5 TFLOPS a limit 700 W, takže je vhodnejšia na výpočtovo náročný tréning.

Môžem spustiť 70B model v 16-bit na H100 NVL?

Nie. Váhy 70B modelu v 16-bit vyžadujú približne 140 GB. Na 94 GB spustíte 70B kvantizovaný na 4 alebo 8 bitov; pre 16-bit 70B je vhodnejšou voľbou H200 NVL so 140 GB.

Vyžaduje Hopper špeciálny softvér?

Hopper má výpočtovú úroveň (compute capability) 9.0 a bežia na ňom aktuálne verzie CUDA, PyTorch, vLLM a SGLang. Šablóny na Cloudj uvádzajú minimálnu verziu CUDA a pre každú šablónu sú ponúkané iba kompatibilné GPU.

Ako funguje účtovanie pre H100 NVL?

Plaťte za hodinu behu servera zo svojho zostatku na Cloudj, alebo si zvoľte mesačný či dlhší cyklus. Konzola potvrdí cenu pred objednávkou a pri zastavenom hodinovom serveri platíte iba za diskový priestor.

GPU Cloud · NVIDIA · Hopper

Prenájom GPU NVIDIA H100 NVL s 94 GB VRAM

Prenajmite si cloudové GPU servery H100 NVL na hodinu na Cloudj: 94 GB VRAM, NVIDIA Hopper a priepustnosť pamäte približne 3381 GB/s na inferenciu veľkých modelov. Vytvorené pre LLM tímy, ktoré potrebujú viac pamäte než 80 GB H100 a výrazne rýchlejšie dekódovanie – prináša 48.3 TFLOPS FP32 pri príkone 400 W. Spustite šablónu vLLM alebo SGLang, vyberte si dostupnú konfiguráciu H100 NVL a pripojte sa cez SSH.

Prenajať H100 NVL Všetky GPU

Špecifikácie H100 NVL

VRAM na GPU

94 GB

Architektúra

NVIDIA Hopper

Výpočtová kapacita (Compute capability)

Výkon v FP32

≈ 48.3 TFLOPS

Priepustnosť pamäte

≈ 3381 GB/s

Príkon (TDP)

400 W

Hodnoty uvádzané poskytovateľom infraštruktúry pre aktuálne ponúkané stroje; skutočný výkon sa môže medzi jednotlivými strojmi líšiť.

Aktuálne konfigurácie a ceny H100 NVL

Aktuálna dostupnosť a ceny v reálnom čase. Konečnú cenu potvrdíte pred odoslaním objednávky.

Prenajať ihneď

Čo môžete spustiť na cloudovom GPU H100 NVL

LLM serving s vysokou priepustnosťou

Priepustnosť 3381 GB/s zrýchľuje generovanie tokenov a 94 GB udrží kvantizovaný 70B model spolu s veľkou KV cache na jedinej GPU.

Pipeline s dlhým kontextom a RAG

Dodatočných 14 GB oproti 80 GB karte smeruje priamo do dĺžky kontextu a súbežných požiadaviek.

Fine-tuning 30B–70B modelov

Spúšťajte LoRA na modeloch triedy 30B v BF16 alebo QLoRA na modeloch triedy 70B pomocou Unsloth na jedinej GPU Hopper.

Evaluácia modelov vo veľkom rozsahu

Rýchlo spúšťajte benchmarkové sady a A/B evaluácie naprieč kontrolnými bodmi a po získaní výsledkov server jednoducho zmažte.

Je H100 NVL to správne GPU pre vašu záťaž?

Vyberte si H100 NVL, ak vaše AI alebo výpočtové úlohy vyžadujú viac pamäte, než poskytujú štandardné dátacentrové karty – až 94 GB VRAM. Menšia pracovná stanica alebo spotrebiteľská GPU je lepšou voľbou pre nenáročnú inferenciu a vývoj, zatiaľ čo zostava s viacerými GPU alebo vyššia pamäťová kategória je nevyhnutná, ak vaše modely presahujú 94 GB.

H100 NVL vs. podobné cloudové GPU

GPU	VRAM na GPU	Výkon v FP32	Príkon (TDP)
NVIDIA H100 NVL	94 GB	≈ 48.3 TFLOPS	400 W
NVIDIA H100 SXM	80 GB	≈ 53.5 TFLOPS	700 W	Podrobnosti →
NVIDIA H100 PCIE	80 GB	≈ 41 TFLOPS	350 W	Podrobnosti →
NVIDIA A800 PCIE	80 GB	≈ 15.6 TFLOPS	300 W	Podrobnosti →
NVIDIA CMP 170HX	64 GB	≈ 12.1 TFLOPS	250 W	Podrobnosti →

Cloudové GPU H100 NVL: často kladené otázky

Prenajmite si cloudové GPU H100 NVL na hodinu

Vyberte si šablónu, zvoľte aktuálnu konfiguráciu a pripojte sa cez SSH alebo terminál v prehliadači. Účtovanie sa zastaví vo chvíli, keď GPU zmažete.

Prenajať H100 NVL Všetky GPU