H100 NVL pret H100 SXM: kurš ir ātrāks?

LLM dekodēšanai H100 NVL piedāvā vairāk atmiņas (94 GB pret 80 GB) un lielāku joslas platumu (3381 GB/s pret 2869 GB/s). H100 SXM ir augstāka FP32 veiktspēja ar 53.5 TFLOPS un 700 W limits, tāpēc tas ir vairāk piemērots skaitļošanas ziņā intensīvai trenēšanai.

Vai ar H100 NVL var darbināt 70B modeli 16-bit formātā?

Nē. 16-bit 70B svariem nepieciešami aptuveni 140 GB. Ar 94 GB darbiniet 70B, kas kvantēts uz 4 vai 8 bitiem; 16-bit 70B modelim labāk piemērots ir H200 NVL ar 140 GB.

Vai Hopper nepieciešama īpaša programmatūra?

Hopper atbalsta skaitļošanas iespēju 9.0 (compute capability 9.0) un darbina jaunākās CUDA, PyTorch, vLLM un SGLang versijas. Cloudj sagatavēs ir norādīta minimālā nepieciešamā CUDA versija, un katrai sagatavei tiek piedāvāti tikai saderīgi GPU.

Kā darbojas apmaksa par H100 NVL?

Maksājiet par stundām no sava Cloudj atlikuma, kamēr serveris darbojas, vai izvēlieties mēneša vai ilgāku ciklu. Konsole uzrāda un apstiprina cenu pirms pasūtīšanas, un par apturētu stundas serveri jāmaksā tikai par disku.

GPU Cloud · NVIDIA · Hopper

Īrē NVIDIA H100 NVL GPU ar 94 GB VRAM

Nomājiet H100 NVL mākoņa GPU serverus ar stundas apmaksu platformā Cloudj: 94 GB VRAM, NVIDIA Hopper un aptuveni 3381 GB/s atmiņas joslas platums lielo modeļu inferencēšanai. Radīts LLM komandām, kurām nepieciešams vairāk atmiņas nekā 80 GB H100 un ievērojami ātrāka dekodēšana, nodrošinot 48.3 TFLOPS FP32 ar 400 W jaudas robežu. Palaidiet vLLM vai SGLang sagatavi, izvēlieties pieejamo H100 NVL konfigurāciju un pieslēdzieties ar SSH.

Iznomāt H100 NVL Visas GPU

H100 NVL specifikācijas

VRAM katrai GPU

94 GB

Arhitektūra

NVIDIA Hopper

Skaitļošanas spēja

FP32 veiktspēja

≈ 48.3 TFLOPS

Atmiņas joslas platums

≈ 3381 GB/s

Jaudas limits

400 W

Vērtības, ko infrastruktūras nodrošinātājs norādījis pašlaik sarakstā esošajām iekārtām; faktiskā veiktspēja var atšķirties atkarībā no mašīnas.

Aktuālās H100 NVL konfigurācijas un cenas

Pieejamība un cenas reāllaikā, tiek atjauninātas nepārtraukti. Galīgā cena tiek apstiprināta pirms pasūtīšanas.

Iznomāt tūlīt

Ko var darbināt uz H100 NVL mākoņa GPU

Augstas caurlaidspējas LLM darbināšana

3381 GB/s joslas platums paātrina tokenu ģenerēšanu, savukārt 94 GB ļauj uz viena GPU uzturēt kvantētu 70B modeli un lielu KV kešatmiņu.

Gara konteksta un RAG darbplūsmas

Papildu 14 GB salīdzinājumā ar 80 GB karti tiešā veidā paplašina konteksta garumu un vienlaicīgo pieprasījumu skaitu.

30B–70B modeļu pielāgošana (fine-tuning)

Darbiniet LoRA 30B klases modeļiem BF16 formātā vai QLoRA 70B klases modeļiem ar Unsloth uz viena Hopper GPU.

Modeļu novērtēšana mērogā

Ātri palaidiet veiktspējas testu komplektus un kontrolpunktu A/B novērtējumus, un pēc rezultātu saņemšanas vienkārši izdzēsiet serveri.

Vai H100 NVL ir piemērotākais GPU jūsu darba slodzei?

Izvēlieties H100 NVL, ja jūsu MI vai skaitļošanas slodzēm nepieciešams vairāk atmiņas, nekā nodrošina standarta datu centru kartes — līdz pat 94 GB VRAM. Mazāks darbstacijas vai patērētāju līmeņa GPU ir labāka izvēle vieglai inferencēšanai un izstrādei, savukārt vairāku GPU konfigurācija vai lielākas atmiņas līmenis ir nepieciešams, ja modeļi pārsniedz 94 GB.

H100 NVL salīdzinājumā ar līdzīgiem mākoņa GPU

GPU	VRAM katrai GPU	FP32 veiktspēja	Jaudas limits
NVIDIA H100 NVL	94 GB	≈ 48.3 TFLOPS	400 W
NVIDIA H100 SXM	80 GB	≈ 53.5 TFLOPS	700 W	Sīkāk →
NVIDIA H100 PCIE	80 GB	≈ 41 TFLOPS	350 W	Sīkāk →
NVIDIA A800 PCIE	80 GB	≈ 15.6 TFLOPS	300 W	Sīkāk →
NVIDIA CMP 170HX	64 GB	≈ 12.1 TFLOPS	250 W	Sīkāk →

H100 NVL mākoņa GPU: biežāk uzdotie jautājumi

Nomājiet H100 NVL mākoņa GPU pa stundām

Izvēlieties sagatavi, atlasiet pieejamo konfigurāciju un pieslēdzieties caur SSH vai pārlūka termināli. Apmaksa tiek apturēta, kad izdzēšat GPU.

Iznomāt H100 NVL Visas GPU