Għaliex għandi nagħżel l-H100 SXM minflok l-H100 PCIE?

L-H100 SXM huwa kkwotat b'53.5 TFLOPS FP32 u 2869 GB/s meta mqabbel ma' 41 TFLOPS u 1760 GB/s għall-kard PCIE, b'limitu ta' 700 W minflok 350 W. Fuq bażi ta' xogħol individwali, normalment ilesti l-kompiti aktar malajr.

L-H100 SXM jew l-H200 NVL huwa aħjar għall-LLMs?

L-H200 NVL għandu 140 GB u 3884 GB/s, għalhekk jirbaħ għal mudelli kbar ħafna u kuntesti twal. L-H100 SXM għandu aktar compute FP32 (53.5 vs 48.3 TFLOPS) u huwa ideali għal xogħlijiet ta' taħriġ li jidħlu f'80 GB.

Nista' nagħmel fine-tuning ta' mudell 70B fuq H100 SXM wieħed?

Bi QLoRA, iva: il-piżijiet ta' 70B f'4-bit jieħdu madwar 35–40 GB, u jħallu spazju għall-adapters, activations u optimizer state. Fine-tuning sħiħ f'16-bit ta' mudell 70B jeħtieġ diversi GPUs.

X'inħallas meta s-server H100 SXM ikun mitfi fuq Cloudj?

Bil-kontijiet ibbażati fuq il-ħin (kull siegħa), server li jkun mitfi jiġi ċċarġjat biss għall-ispazju tad-diska tiegħu. Ħassar is-server ladarba tkun ikkupjajt iċ-checkpoints tiegħek u tieqaf tħallas għalkollox.

GPU Cloud · NVIDIA · Hopper

Kri GPU NVIDIA H100 SXM bi 80 GB VRAM

Ikkera servers GPU cloud H100 SXM bis-siegħa fuq Cloudj: 80 GB VRAM, NVIDIA Hopper, madwar 53.5 TFLOPS FP32 u 2869 GB/s ta' memory bandwidth. B'limitu ta' qawwa ta' 700 W, dan huwa l-H100 għal timijiet li jħarrġu, jirfinaw (fine-tune) u jservu mudelli kbar u jixtiequ l-iktar modulu Hopper veloċi fil-linja għall-computing. Iftaħ template ta' PyTorch, vLLM jew Unsloth u qabbad fuq SSH fi ftit passi faċli.

Ikri H100 SXM Il-GPUs kollha

Speċifikazzjonijiet ta' H100 SXM

VRAM għal kull GPU

80 GB

Arkitettura

NVIDIA Hopper

Kapaċità ta' komputazzjoni

Komputazzjoni FP32

≈ 53.5 TFLOPS

Bandwidth tal-memorja

≈ 2869 GB/s

Limitu tal-enerġija

700 W

Valuri rrappurtati mill-fornitur tal-infrastruttura għall-magni elenkati bħalissa; il-prestazzjoni reali tista' tvarja skont il-magna.

Konfigurazzjonijiet u prezzijiet f'ħin reali ta' H100 SXM

Stokk u prezzijiet diretti, aġġornati kontinwament. Il-prezz finali jiġi kkonfermat qabel tordna.

Ikri issa

X'tista' tħaddem fuq il-cloud GPU H100 SXM

Taħriġ b'domanda qawwija ta' computing

53.5 TFLOPS FP32 u limitu ta' qawwa ta' 700 W jagħtu lill-H100 SXM l-akbar qawwa ta' compute minn kwalunkwe kard Hopper elenkata hawnhekk.

Inference mgħaġġla ta' mudelli LLM

Bandwidth ta' 2869 GB/s tħaffef il-ġenerazzjoni tat-tokens għal mudelli ta' 13B–34B f'16-bit jew mudelli kkwantizzati ta' 70B.

Fine-tuning sħiħ ta' mudelli 7B–13B

80 GB iħallu biżżejjed spazju għal fine-tuning b'parametri sħaħ ta' LLMs iżgħar, mhux biss adapters, bl-issettjar tajjeb tal-optimizer.

Taħriġ ta' mudelli diffusion u vidjo

Ħarreġ jew irfina mudelli ta' immaġni u vidjo fejn kemm il-memorja kif ukoll il-computing jiddeterminaw kemm tieħu ħin il-ġirja tat-taħriġ.

Il-H100 SXM hija l-GPU t-tajba għall-workload tiegħek?

Agħżel l-H100 SXM meta l-workloads tiegħek ta' taħriġ jew inference jirrikjedu 80 GB ta' memorja ta' datacenter b'bandwidth għolja u l-karatteristiċi tal-arkitettura Hopper. GPU iżgħar ta' workstation jew ta' livell tal-konsumatur hija għażla aktar prattika għal żvilupp ħafif jew mudelli żgħar, filwaqt li GPU ta' datacenter aktar ġdida jew b'kapaċità ogħla hija preferibbli jekk istanza waħda ma tkunx tista' żżomm il-mudell sħiħ tiegħek f'80 GB ta' VRAM.

H100 SXM vs cloud GPUs simili

GPU	VRAM għal kull GPU	Komputazzjoni FP32	Limitu tal-enerġija
NVIDIA H100 SXM	80 GB	≈ 53.5 TFLOPS	700 W
NVIDIA H100 PCIE	80 GB	≈ 41 TFLOPS	350 W	Dettalji →
NVIDIA A800 PCIE	80 GB	≈ 15.6 TFLOPS	300 W	Dettalji →
NVIDIA H100 NVL	94 GB	≈ 48.3 TFLOPS	400 W	Dettalji →
NVIDIA CMP 170HX	64 GB	≈ 12.1 TFLOPS	250 W	Dettalji →

Cloud GPU H100 SXM: mistoqsijiet frekwenti

Kri l-cloud GPU H100 SXM bis-siegħa

Agħżel template, agħżel konfigurazzjoni f'ħin reali u kkonnettja permezz ta' SSH jew it-terminal tal-browser. Il-fatturazzjoni tieqaf meta tħassar il-GPU.

Ikri H100 SXM Il-GPUs kollha