Proč zvolit H100 SXM místo H100 PCIE?

H100 SXM nabízí 53.5 TFLOPS FP32 a 2869 GB/s oproti 41 TFLOPS a 1760 GB/s u verze PCIE, a to s limitem 700 W namísto 350 W. Jednotlivé úlohy tak obvykle dokončí rychleji.

Je pro LLM lepší H100 SXM, nebo H200 NVL?

H200 NVL nabízí 140 GB a 3884 GB/s, takže jednoznačně vítězí u velmi velkých modelů a dlouhých kontextů. H100 SXM má vyšší výpočetní výkon v FP32 (53.5 vs 48.3 TFLOPS) a hodí se pro trénovací úlohy, které se vejdou do 80 GB.

Lze na jedné kartě H100 SXM provést fine-tuning 70B modelu?

S metodou QLoRA ano: 4bitové váhy 70B modelu zabírají zhruba 35–40 GB, což ponechává dostatek místa pro adaptéry, aktivace i stav optimalizátoru. Plný 16bitový fine-tuning 70B modelu vyžaduje více GPU.

Co platím, když je server H100 SXM na Cloudj zastaven?

Při hodinové tarifikaci se za zastavený server účtuje pouze diskový prostor. Jakmile si zkopírujete své checkpointy, server smažte a neplatíte už vůbec nic.

GPU Cloud · NVIDIA · Hopper

Pronájem GPU NVIDIA H100 SXM s 80 GB VRAM

Pronajměte si cloudové GPU servery H100 SXM s hodinovou tarifikací na Cloudj: 80 GB VRAM, NVIDIA Hopper, přibližně 53.5 TFLOPS FP32 a paměťová propustnost 2869 GB/s. Díky 700W limitu napájení je to ideální H100 pro týmy, které trénují, ladí a nasazují velké modely a chtějí pro výpočty ten nejrychlejší modul Hopper v nabídce. Spusťte šablonu PyTorch, vLLM nebo Unsloth a připojte se přes SSH v několika krocích.

Pronajmout H100 SXM Všechny GPU

Specifikace H100 SXM

VRAM na GPU

80 GB

Architektura

NVIDIA Hopper

Compute capability

Výkon FP32

≈ 53.5 TFLOPS

Propustnost paměti

≈ 2869 GB/s

Limit příkonu (TDP)

700 W

Hodnoty uváděné poskytovatelem infrastruktury pro aktuálně zalistované stroje; reálný výkon se může u jednotlivých strojů lišit.

Aktuální konfigurace a ceny H100 SXM

Aktuální dostupnost a ceny v reálném čase, průběžně aktualizováno. Konečnou cenu potvrdíte před odesláním objednávky.

Pronajmout

Co můžete na cloudovém GPU H100 SXM provozovat

Výpočetně náročný trénink

Výkon 53.5 TFLOPS FP32 a 700W limit napájení zajišťují kartě H100 SXM nejvyšší výpočetní výkon ze všech zde uvedených karet architektury Hopper.

Rychlá inference LLM

Propustnost 2869 GB/s zrychluje generování tokenů u 13B–34B modelů v 16 bitech i u kvantizovaných 70B modelů.

Plný fine-tuning 7B–13B modelů

80 GB poskytuje při správném nastavení optimalizátoru dostatek prostoru pro plný (full-parameter) fine-tuning menších LLM, nejen pro adaptéry.

Trénování difúzních a video modelů

Trénujte nebo lad'te obrazové a video modely, kde o celkové době běhu rozhoduje jak kapacita paměti, tak výpočetní výkon.

Je H100 SXM to pravé GPU pro vaše úlohy?

Zvolte H100 SXM, pokud vaše úlohy pro trénování nebo inferenci vyžadují 80 GB vysokorychlostní datacentrové paměti a funkce architektury Hopper. Menší pracovní stanice nebo spotřebitelská GPU jsou praktičtější volbou pro nenáročný vývoj či malé modely, zatímco novější nebo kapacitnější datacentrová GPU jsou vhodnější v případě, že se váš kompletní model do 80 GB VRAM v jedné instanci nevejde.

H100 SXM vs. podobná cloudová GPU

GPU	VRAM na GPU	Výkon FP32	Limit příkonu (TDP)
NVIDIA H100 SXM	80 GB	≈ 53.5 TFLOPS	700 W
NVIDIA H100 PCIE	80 GB	≈ 41 TFLOPS	350 W	Detail →
NVIDIA A800 PCIE	80 GB	≈ 15.6 TFLOPS	300 W	Detail →
NVIDIA H100 NVL	94 GB	≈ 48.3 TFLOPS	400 W	Detail →
NVIDIA CMP 170HX	64 GB	≈ 12.1 TFLOPS	250 W	Detail →

Cloudové GPU H100 SXM: Často kladené otázky

Pronajměte si cloudové GPU H100 SXM s hodinovou platbou

Vyberte si šablonu, zvolte dostupnou konfiguraci a připojte se přes SSH nebo terminál v prohlížeči. Účtování se zastaví, jakmile GPU smažete.

Pronajmout H100 SXM Všechny GPU