H100 NVL vs H100 SXM: cé acu is tapúla?

I gcás díchódú LLM, liostaítear an H100 NVL le níos mó cuimhne (94 GB vs 80 GB) agus níos mó bandaleithid (3381 GB/s vs 2869 GB/s). Tá FP32 níos airde ag an H100 SXM ag 53.5 TFLOPS agus teorainn 700 W, mar sin oireann sé d'oiliúint a éilíonn ríomhaireacht throm.

An féidir liom samhail 70B a rith i 16-giotán ar an H100 NVL?

Ní féidir. Teastaíonn timpeall 140 GB ó mheáchain 70B 16-giotán. Ar 94 GB, rith 70B cainníochtaithe go 4 nó 8 ngiotán; le haghaidh 70B 16-giotán, is fearr a oireann an H200 NVL le 140 GB.

An dteastaíonn bogearraí speisialta ó Hopper?

Tá cumas ríomhaireachta 9.0 ag Hopper agus ritheann sé tógálacha reatha CUDA, PyTorch, vLLM agus SGLang. Liostaíonn teimpléid Cloudj a n-íosleagan CUDA, agus ní thairgtear ach GPUanna comhoiriúnacha do gach teimpléad.

Conas a oibríonn billeáil don H100 NVL?

Íoc in aghaidh na huaire fad a bhíonn an freastalaí ag rith as do chothromaíocht Cloudj, nó roghnaigh timthriall míosúil nó níos faide. Deimhníonn an consól an praghas sula n-ordaíonn tú, agus ní ghearrtar táille ar fhreastalaí uair an chloig atá stoptha ach amháin as a dhiosca.

GPU Cloud · NVIDIA · Hopper

Tóg GPU NVIDIA H100 NVL ar cíos le 94 GB VRAM

Cíos freastalaithe néal-GPU H100 NVL de réir na huaire ar Cloudj: 94 GB VRAM, NVIDIA Hopper agus thart ar 3381 GB/s de bhandaleithead cuimhne d'inferisiú samhlacha móra. Tógtha d'fhoirne LLM a dteastaíonn níos mó cuimhne uathu ná H100 80 GB agus díchódú i bhfad níos tapúla, soláthraíonn sé 48.3 TFLOPS FP32 ag teorainn cumhachta 400 W. Tosaigh teimpléad vLLM nó SGLang, roghnaigh cumraíocht bheo H100 NVL agus ceangail trí SSH.

Tóg H100 NVL ar cíos Gach GPU

Sonraíochtaí H100 NVL

VRAM in aghaidh an GPU

94 GB

Ailtireacht

NVIDIA Hopper

Cumas ríomhaireachta

Ríomh FP32

≈ 48.3 TFLOPS

Bandaleithead cuimhne

≈ 3381 GB/s

Teorainn chumhachta

400 W

Luachanna tuairiscithe ag an soláthraí bonneagair do mheaisíní atá liostaithe faoi láthair; athraíonn an fheidhmíocht iarbhír de réir an mheaisín.

Cumraíochtaí beo agus praghsanna H100 NVL

Stoc beo agus praghsanna á nuashonrú go leanúnach. Deimhnítear an praghas deiridh sula n-ordaíonn tú.

Tóg ar cíos anois

Cad is féidir leat a rith ar an GPU scamall H100 NVL

Freastal LLM ard-thréchuir

Cuireann 3381 GB/s de bhandaleithead dlús le giniúint comharthaí, agus coinníonn 94 GB samhail chainníochtaithe 70B mar aon le taisce mhór KV ar aon GPU amháin.

Píblínte comhthéacs fada agus RAG

Téann an 14 GB breise thar chárta 80 GB go díreach isteach i bhfad comhthéacs agus iarratais chomhreatha.

Míntiúnáil samhlacha 30B–70B

Rith LoRA ar shamhlacha d'aicme 30B i BF16 nó QLoRA ar shamhlacha d'aicme 70B le Unsloth ar aon GPU Hopper amháin.

Meastóireacht samhlacha ar scála

Rith tacair tagarmhairc agus meastóireachtaí A/B thar pointí seiceála go tapa, agus scrios an freastalaí ansin nuair a bhíonn na scóir istigh.

An é an H100 NVL an GPU ceart do d'ualach oibre?

Roghnaigh an H100 NVL nuair a bhíonn níos mó cuimhne ag teastáil ó d'ualaí oibre IS nó ríomhaireachta ná mar a chuireann gnáthchártaí lárionaid sonraí ar fáil, suas le 94 GB de VRAM. Is rogha níos fearr é GPU stáisiún oibre nó GPU tomhaltóra níos lú le haghaidh inferisiú éadrom agus forbartha, agus tá socrú il-GPU nó sraith chuimhne níos mó riachtanach má sháraíonn do shamhlacha 94 GB.

H100 NVL vs GPUanna scamall cosúla

GPU	VRAM in aghaidh an GPU	Ríomh FP32	Teorainn chumhachta
NVIDIA H100 NVL	94 GB	≈ 48.3 TFLOPS	400 W
NVIDIA H100 SXM	80 GB	≈ 53.5 TFLOPS	700 W	Sonraí →
NVIDIA H100 PCIE	80 GB	≈ 41 TFLOPS	350 W	Sonraí →
NVIDIA A800 PCIE	80 GB	≈ 15.6 TFLOPS	300 W	Sonraí →
NVIDIA CMP 170HX	64 GB	≈ 12.1 TFLOPS	250 W	Sonraí →

GPU scamall H100 NVL: ceisteanna coitianta

Cíosaigh an GPU scamall H100 NVL de réir na huaire

Roghnaigh teimpléad, roghnaigh cumraíocht bheo agus ceangail trí SSH nó teirminéal an bhrabhsálaí. Stopann an billeáil nuair a scriosann tú an GPU.

Tóg H100 NVL ar cíos Gach GPU