Hvorfor vælge H100 SXM frem for H100 PCIE?

H100 SXM leverer 53.5 TFLOPS FP32 og 2869 GB/s mod 41 TFLOPS og 1760 GB/s for PCIE-kortet, og med en grænse på 700 W i stedet for 350 W. Målt per opgave bliver den som regel hurtigere færdig.

Er H100 SXM eller H200 NVL bedst til LLM'er?

H200 NVL har 140 GB og 3884 GB/s, så den er det stærkeste valg til meget store modeller og lange kontekster. H100 SXM har højere FP32-regnekraft (53.5 mod 48.3 TFLOPS) og er ideel til træningsopgaver, der kan være i 80 GB.

Kan jeg finjustere en 70B-model på én enkelt H100 SXM?

Ja, med QLoRA: 4-bit 70B-vægte fylder ca. 35–40 GB, hvilket efterlader plads til adaptere, aktiveringer og optimizer state. Fuld 16-bit finjustering af en 70B-model kræver flere GPU'er.

Hvad betaler jeg, når H100 SXM-serveren er stoppet hos Cloudj?

Ved timebaseret afregning betaler du for en stoppet server kun for den tilknyttede diskplads. Slet serveren, når du har kopieret dine checkpoints, så stopper betalingen helt.

GPU Cloud · NVIDIA · Hopper

Lej en NVIDIA H100 SXM GPU med 80 GB VRAM

Lej H100 SXM cloud-GPU-servere på timebasis hos Cloudj: 80 GB VRAM, NVIDIA Hopper, ca. 53.5 TFLOPS FP32 og en hukommelsesbåndbredde på 2869 GB/s. Med en power limit på 700 W er dette den rette H100 til teams, der træner, finjusterer og server store modeller og vil have det hurtigste Hopper-modul i serien til tunge beregninger. Start en PyTorch-, vLLM- eller Unsloth-skabelon, og opret forbindelse via SSH med få trin.

Lej H100 SXM Alle GPU'er

H100 SXM-specifikationer

VRAM pr. GPU

80 GB

Arkitektur

NVIDIA Hopper

Compute capability

FP32-ydelse

≈ 53.5 TFLOPS

Hukommelsesbåndbredde

≈ 2869 GB/s

Effektgrænse

700 W

Værdier oplyst af infrastrukturudbyderen for aktuelt listede maskiner; den faktiske ydeevne kan variere fra maskine til maskine.

Live H100 SXM-konfigurationer og priser

Live lagerstatus og priser, opdateres løbende. Den endelige pris bekræftes, inden du bestiller.

Lej nu

Hvad du kan køre på H100 SXM cloud-GPU'en

Beregningsintensiv træning

53.5 TFLOPS FP32 og en power limit på 700 W giver H100 SXM den højeste regnekraft blandt alle Hopper-kort, der er vist her.

Hurtig LLM-inferens

En båndbredde på 2869 GB/s accelererer tokengenerering til 13B–34B-modeller i 16-bit eller kvantiserede 70B-modeller.

Fuld finjustering af 7B–13B-modeller

80 GB giver plads til fuld-parameter-finjustering af mindre LLM'er – ikke kun adaptere – med de rette optimizer-indstillinger.

Træning af diffusions- og videomodeller

Træn eller finjuster billed- og videomodeller, hvor både hukommelse og regnekraft afgør, hvor hurtigt kørslen gennemføres.

Er H100 SXM den rette GPU til dit workload?

Vælg H100 SXM, når dine trænings- eller inferens-workloads kræver 80 GB datacenter-hukommelse med høj båndbredde og Hopper-arkitekturens funktioner. En mindre workstation- eller forbruger-GPU er et mere praktisk valg til let udvikling eller små modeller, mens en nyere datacenter-GPU eller en model med højere kapacitet er at foretrække, hvis en enkelt instans ikke kan rumme hele din model i 80 GB VRAM.

H100 SXM vs. lignende cloud-GPU'er

GPU	VRAM pr. GPU	FP32-ydelse	Effektgrænse
NVIDIA H100 SXM	80 GB	≈ 53.5 TFLOPS	700 W
NVIDIA H100 PCIE	80 GB	≈ 41 TFLOPS	350 W	Se detaljer →
NVIDIA A800 PCIE	80 GB	≈ 15.6 TFLOPS	300 W	Se detaljer →
NVIDIA H100 NVL	94 GB	≈ 48.3 TFLOPS	400 W	Se detaljer →
NVIDIA CMP 170HX	64 GB	≈ 12.1 TFLOPS	250 W	Se detaljer →

H100 SXM cloud-GPU: Ofte stillede spørgsmål

Lej H100 SXM cloud-GPU på timebasis

Vælg en skabelon, vælg en live-konfiguration, og opret forbindelse via SSH eller browserterminalen. Afregningen stopper, når du sletter din GPU.

Lej H100 SXM Alle GPU'er