Báwo ni H200 NVL ṣe yára tó ju H100 NVL lọ?

Lórí àwọn àkọsílẹ̀ tí a tò, àwọn méjèèjì ní 48.3 TFLOPS FP32, ṣùgbọ́n H200 NVL ní 140 GB dípò 94 GB àti 3884 GB/s dípò 3381 GB/s. Iṣẹ́ LLM tó sinmi lórí ìrántí ló ń jàǹfààní jùlọ; àwọn iṣẹ́ ìṣírò lásán kò rí ìyàtọ̀ púpọ̀.

Ṣé model 70B lè wọle ní 16-bit lórí H200 NVL?

Ó fẹ́rẹ̀ẹ́ má wọ: àwọn ìwọ̀n 70B ní 16-bit gba bíi 140 GB, èyí tí kò fi ààyè kankan sílẹ̀ fún KV cache. Ní ti gidi, lo 70B ní 8-bit tàbí ìwọ̀n FP8 kí o sì lo ìrántí tó kù fún àkóónú.

Ta ló yẹ kó ya H200 NVL dípò GPU kéékèèké méjì?

Àwọn ẹgbẹ́ tí model wọn bá gba káàdì 140 GB kan ń yẹra fún ìṣètò tensor-parallel, àpọ̀jù ìpàṣípààrọ̀ láàárín GPU àti wàhálà debugging lórí ọ̀pọ̀ GPU. GPU ńlá kan ṣoṣo máa ń rọrùn ó sì tún yára jù fún iṣẹ́ ṣíṣe.

Báwo ni mo ṣe lè ya H200 NVL lórí Cloudj?

Yan àdàkọ kan, yan ètò H200 NVL láti inú àkójọ tó wà lárọ̀ọ́wọ́tó, fọwọ́sí iye owó rẹ̀ kí o sì dá sáfà náà sílẹ̀ láti inú owó àkántì rẹ. So pọ̀ lórí SSH tàbí terminal browser.

GPU Cloud · NVIDIA · Hopper

Yá GPU NVIDIA H200 NVL pẹ̀lú 140 GB VRAM

Ya àwọn sáfà cloud GPU H200 NVL fún wákàtí kọ̀ọ̀kan lórí Cloudj: 140 GB VRAM, NVIDIA Hopper àti bíi 3884 GB/s ti bandwidth ìrántí, GPU tí ó ní ìrántí tó tóbi jùlọ nínú àwọn tiwa. A kọ́ ọ fún àwọn ẹgbẹ́ tó ń pèsè àwọn model ipele 70B pẹ̀lú ìpéye gíga tàbí àwọn àkóónú tó gùn gan-an, pẹ̀lú 48.3 TFLOPS FP32 àti ààlà agbára iná 600 W. Yan àdàkọ vLLM tàbí SGLang, yan ètò H200 NVL tó wà lárọ̀ọ́wọ́tó kí o sì so pọ̀ lórí SSH.

Gbà H200 NVL láyà Gbogbo àwọn GPU

Àwọn ànímọ́ ẹ̀rọ H200 NVL

VRAM fún GPU kọ̀ọ̀kan

140 GB

Àgbékalẹ̀

NVIDIA Hopper

Agbára ìṣirò

Ìṣirò FP32

≈ 48.3 TFLOPS

Ìwọ̀n ìgbéjáde ìrántí

≈ 3884 GB/s

Ààlà agbára iná

600 W

Àwọn iye tí olùpèsè àwọn ohun-èlò kọ̀mpútà jábọ̀ fún àwọn ẹ̀rọ tí ó wà lórí àtòjọ báyìí; iṣẹ́ gidi máa ń yàtọ̀ nípasẹ̀ ẹ̀rọ kọ̀ọ̀kan.

Àwọn ìṣètò H200 NVL lọ́wọ́lọ́wọ́ àti àwọn iye owó wọn

Ọjà àti iye owó tààrà, tí a ń sọ dọ̀tun ní gbogbo ìgbà. A ó fìdí iye owó ìkẹyìn múlẹ̀ kí o tó béèrè.

Gbà á láyà báyìí

Àwọn ohun tí o lè gbé ṣiṣẹ́ lórí cloud GPU H200 NVL

Àwọn model ipele-70B tí ó súnmọ́ ìpéye kíkún

140 GB gba model 70B ní 8-bit pẹ̀lú KV cache ńlá, tàbí tí ó súnmọ́ ààyè 16-bit, lórí GPU ẹyọ kan ṣoṣo.

Ìpèsè àkóónú gígùn

3884 GB/s ń mú kí decoding yára nígbà tí ìrántí àfikún náà gba àwọn ìbéèrè gígùn àti ọ̀pọ̀lọpọ̀ ìgbìmọ̀ lẹ́ẹ̀kan náà.

Ìṣàtúnṣe dídán àwọn model 70B pẹ̀lú QLoRA

Ṣiṣẹ́ 70B QLoRA pẹ̀lú àwọn ìtòlẹ́sẹẹsẹ tó gùn àti àwọn batch tó tóbi ju èyí tí káàdì 80 GB ń gbà láàyè.

Àwọn àdánwò Mixture-of-experts

Àwọn model MoE ní àpapọ̀ ìwọ̀n tó tóbi; 140 GB fún ọ láàyè láti gbé àwọn ẹgbẹ́ amòye tó tóbi wọlé fún àdánwò láìsí pípín wọn.

Ǹjẹ́ H200 NVL ni GPU tí ó tọ́ fún irú iṣẹ́ rẹ?

Yan H200 NVL nígbà tí ìṣòro rẹ pàtàkì bá jẹ́ ààyè VRAM àti bandwidth ìrántí, pàápàá jùlọ fún gbígbàlejò àwọn model ńlá lórí káàdì kan ṣoṣo. Tí o bá ń ṣe àwọn iṣẹ́ ìṣírò fífúyẹ́, ìṣẹ̀dá àwòrán lásán, tàbí àwọn iṣẹ́ ìdàgbàsókè tí kò nílò 140 GB ti ìrántí, workstation kékeré tàbí GPU àwọn oníbàárà ló bójúmu jù.

H200 NVL ní àfiwé pẹ̀lú àwọn cloud GPU tó jọra

GPU	VRAM fún GPU kọ̀ọ̀kan	Ìṣirò FP32	Ààlà agbára iná
NVIDIA H200 NVL	140 GB	≈ 48.3 TFLOPS	600 W
NVIDIA H100 NVL	94 GB	≈ 48.3 TFLOPS	400 W	Àwọn ẹ̀kúnrẹ́rẹ́ →
NVIDIA H100 SXM	80 GB	≈ 53.5 TFLOPS	700 W	Àwọn ẹ̀kúnrẹ́rẹ́ →
NVIDIA H100 PCIE	80 GB	≈ 41 TFLOPS	350 W	Àwọn ẹ̀kúnrẹ́rẹ́ →
NVIDIA A800 PCIE	80 GB	≈ 15.6 TFLOPS	300 W	Àwọn ẹ̀kúnrẹ́rẹ́ →

Cloud GPU H200 NVL: àwọn ìbéèrè tí a ń béèrè lemọ́lemọ́

Yá cloud GPU H200 NVL ní wákàtí kọ̀ọ̀kan

Yan àkójọ àpẹẹrẹ kan, yan ìṣètò tó wà lójú ẹsẹ̀, kí o sì sopọ̀ nípasẹ̀ SSH tàbí terminal aṣàwárí rẹ. Ìṣirò owó yóò dáwọ́ dúró ní kété tí o bá pa GPU náà rẹ́.

Gbà H200 NVL láyà Gbogbo àwọn GPU