Kemm huwa aktar veloċi l-H200 NVL mill-H100 NVL?

Fl-ispeċifikazzjonijiet elenkati t-tnejn għandhom 48.3 TFLOPS FP32, iżda l-H200 NVL għandu 140 GB minflok 94 GB u 3884 GB/s minflok 3381 GB/s. Xogħol ta' LLM limitat mill-memorja jibbenefika l-aktar; xogħlijiet ta' compute pur jaraw ftit differenza.

Mudell 70B jesa' f'16-bit fuq l-H200 NVL?

Bilkemm: il-piżijiet ta' 70B f'16-bit jieħdu madwar 140 GB, u dan ma jħalli kważi xejn għall-KV cache. Fil-prattika, ħaddem 70B fi 8-bit jew b'kwantizzazzjoni tal-istil FP8 u uża l-memorja li tibqa' għall-kuntest.

Min għandu jikri H200 NVL minflok żewġ GPUs iżgħar?

Timijiet li l-mudell tagħhom jesa' fuq kard waħda ta' 140 GB jevitaw setup ta' tensor-parallel, traffiku bejn il-GPUs u debugging fuq diversi GPUs. GPU waħda kbira ħafna drabi tkun aktar sempliċi u aktar mgħaġġla biex tagħmel iterazzjonijiet fuqha.

Kif nista' nikri H200 NVL fuq Cloudj?

Agħżel template, agħżel konfigurazzjoni ta' H200 NVL mill-inventarju live, ikkonferma l-prezz u oħloq is-server mill-bilanċ tiegħek. Qabbad permezz ta' SSH jew it-terminal tal-browser.

GPU Cloud · NVIDIA · Hopper

Kri GPU NVIDIA H200 NVL b'140 GB VRAM

Ikri cloud GPU servers H200 NVL bis-siegħa fuq Cloudj: 140 GB VRAM, NVIDIA Hopper u madwar 3884 GB/s ta' memory bandwidth, l-akbar GPU bħala memorja fl-għażla tagħna. Huwa mibni għal timijiet li jservu mudelli tal-klassi 70B bi preċiżjoni għolja jew b'kuntesti twal ħafna, b'48.3 TFLOPS FP32 u limitu ta' konsum ta' 600 W. Agħżel template ta' vLLM jew SGLang, agħżel konfigurazzjoni live ta' H200 NVL u qabbad permezz ta' SSH.

Ikri H200 NVL Il-GPUs kollha

Speċifikazzjonijiet ta' H200 NVL

VRAM għal kull GPU

140 GB

Arkitettura

NVIDIA Hopper

Kapaċità ta' komputazzjoni

Komputazzjoni FP32

≈ 48.3 TFLOPS

Bandwidth tal-memorja

≈ 3884 GB/s

Limitu tal-enerġija

600 W

Valuri rrappurtati mill-fornitur tal-infrastruttura għall-magni elenkati bħalissa; il-prestazzjoni reali tista' tvarja skont il-magna.

Konfigurazzjonijiet u prezzijiet f'ħin reali ta' H200 NVL

Stokk u prezzijiet diretti, aġġornati kontinwament. Il-prezz finali jiġi kkonfermat qabel tordna.

Ikri issa

X'tista' tħaddem fuq il-cloud GPU H200 NVL

Mudelli tal-klassi 70B kważi bi preċiżjoni sħiħa

140 GB jesa' mudell 70B fi 8-bit b'KV cache kbira, jew qrib il-footprint ta' 16-bit, fuq GPU waħda.

Serving b'kuntest twil

3884 GB/s iżomm id-decoding veloċi filwaqt li l-memorja żejda tesgħa prompts twal u ħafna sessjonijiet paralleli.

Fine-tuning ta' mudelli 70B b'QLoRA

Ħaddem QLoRA ta' 70B b'sekwenzi itwal u batches akbar milli tippermetti kard ta' 80 GB.

Esperimenti ta' mixture-of-experts

Il-mudelli MoE għandhom piżijiet totali kbar; 140 GB jippermettulek tgħabbi settijiet ta' esperti akbar għall-ittestjar mingħajr sharding.

Il-H200 NVL hija l-GPU t-tajba għall-workload tiegħek?

Agħżel l-H200 NVL meta l-akbar bottleneck tiegħek ikun il-kapaċità ta' VRAM u l-memory bandwidth, b'mod partikolari biex tospita mudelli kbar fuq kard waħda. Jekk qed tħaddem inference eħfef, ġenerazzjoni standard ta' immaġnijiet, jew xogħlijiet ta' żvilupp li ma jeħtiġux 140 GB ta' memorja, workstation iżgħar jew GPU għall-konsumatur hija għażla aktar prattika.

H200 NVL vs cloud GPUs simili

GPU	VRAM għal kull GPU	Komputazzjoni FP32	Limitu tal-enerġija
NVIDIA H200 NVL	140 GB	≈ 48.3 TFLOPS	600 W
NVIDIA H100 NVL	94 GB	≈ 48.3 TFLOPS	400 W	Dettalji →
NVIDIA H100 SXM	80 GB	≈ 53.5 TFLOPS	700 W	Dettalji →
NVIDIA H100 PCIE	80 GB	≈ 41 TFLOPS	350 W	Dettalji →
NVIDIA A800 PCIE	80 GB	≈ 15.6 TFLOPS	300 W	Dettalji →

Cloud GPU H200 NVL: mistoqsijiet frekwenti

Kri l-cloud GPU H200 NVL bis-siegħa

Agħżel template, agħżel konfigurazzjoni f'ħin reali u kkonnettja permezz ta' SSH jew it-terminal tal-browser. Il-fatturazzjoni tieqaf meta tħassar il-GPU.

Ikri H200 NVL Il-GPUs kollha