Tóg GPU NVIDIA H200 NVL ar cíos le 140 GB VRAM
Cíos freastalaithe GPU néil H200 NVL de réir na huaire ar Cloudj: 140 GB VRAM, NVIDIA Hopper agus thart ar 3884 GB/s de bhandaleithead cuimhne, an GPU leis an toilleadh cuimhne is mó inár réimse. Tá sé tógtha d'fhoirne a fhreastalaíonn ar mhúnlaí den aicme 70B ag ardchruinneas nó le comhthéacsanna an-fhada, le 48.3 TFLOPS FP32 agus teorainn cumhachta 600 W. Roghnaigh teimpléad vLLM nó SGLang, roghnaigh cumraíocht bheo H200 NVL agus ceangail trí SSH.
Sonraíochtaí H200 NVL
VRAM in aghaidh an GPU
140 GB
Ailtireacht
NVIDIA Hopper
Cumas ríomhaireachta
9
Ríomh FP32
≈ 48.3 TFLOPS
Bandaleithead cuimhne
≈ 3884 GB/s
Teorainn chumhachta
600 W
Luachanna tuairiscithe ag an soláthraí bonneagair do mheaisíní atá liostaithe faoi láthair; athraíonn an fheidhmíocht iarbhír de réir an mheaisín.
Cumraíochtaí beo agus praghsanna H200 NVL
Stoc beo agus praghsanna á nuashonrú go leanúnach. Deimhnítear an praghas deiridh sula n-ordaíonn tú.
Tóg ar cíos anoisCad is féidir leat a rith ar an GPU scamall H200 NVL
Múnlaí den aicme 70B beagnach ag lánchruinneas
Coinníonn 140 GB múnla 70B in 8-bit le taisce mhór KV, nó gar do lorg 16-bit, ar GPU aonair.
Freastal ar chomhthéacs fada
Coinníonn 3884 GB/s díchódú go tapa fad a choinníonn an chuimhne bhreise leideanna fada agus go leor seisiún comhthreomhar.
Míntiúnáil ar mhúnlaí 70B le QLoRA
Rith 70B QLoRA le seichimh níos faide agus baisceanna níos mó ná mar a cheadaíonn cárta 80 GB.
Turgnaimh mheascán saineolaithe
Bíonn meáchain iomlána móra ag múnlaí MoE; ligeann 140 GB duit tacair shaineolaithe níos mó a luchtú le haghaidh tástála gan sharding.
An é an H200 NVL an GPU ceart do d'ualach oibre?
Roghnaigh an H200 NVL nuair is é toilleadh VRAM agus bandaleithead cuimhne do phríomh-bholg buidéil, go háirithe chun múnlaí móra a óstáil ar chárta aonair. Má tá tú ag rith tátal níos éadroime, gnáthghiniúint íomhánna, nó tascanna forbartha nach dteastaíonn 140 GB de chuimhne uathu, is rogha níos praiticiúla é GPU stáisiún oibre nó tomhaltóra níos lú.
H200 NVL vs GPUanna scamall cosúla
GPU scamall H200 NVL: ceisteanna coitianta
Cíosaigh an GPU scamall H200 NVL de réir na huaire
Roghnaigh teimpléad, roghnaigh cumraíocht bheo agus ceangail trí SSH nó teirminéal an bhrabhsálaí. Stopann an billeáil nuair a scriosann tú an GPU.