H200 NVL ina kasi kiasi gani zaidi kuliko H100 NVL?

Kwenye vipimo vilivyoorodheshwa zote zina 48.3 TFLOPS FP32, lakini H200 NVL ina 140 GB badala ya 94 GB na 3884 GB/s badala ya 3381 GB/s. Kazi za LLM zinazotegemea kumbukumbu hufaidika zaidi; kazi zinazotegemea hesabu za kompyuta pekee huona tofauti ndogo sana.

Je, modeli ya 70B inatoshea katika 16-bit kwenye H200 NVL?

Kwa tabu sana: uzito wa 70B katika 16-bit unachukua takriban 140 GB, jambo linaloacha nafasi ndogo mno kwa ajili ya KV cache. Kiutendaji, endesha 70B katika 8-bit au ulinganifu wa mtindo wa FP8 na utumie kumbukumbu iliyobaki kwa ajili ya muktadha.

Nani anapaswa kukodi H200 NVL badala ya GPU mbili ndogo?

Timu ambazo modeli zao zinatoshea kwenye kadi moja ya 140 GB huepuka usanidi wa tensor-parallel, msongamano wa data kati ya GPU na urekebishaji hitilafu wa GPU nyingi. GPU moja kubwa mara nyingi ni rahisi na ya haraka zaidi kufanyia maboresho endelevu.

Je, ninakodije H200 NVL kwenye Cloudj?

Chagua kiolezo, teua usanidi wa H200 NVL kutoka kwenye orodha ya moja kwa moja, thibitisha bei kisha unda seva kutoka kwenye salio lako. Unganisha kupitia SSH au terminal ya kivinjari.

GPU Cloud · NVIDIA · Hopper

Kodi GPU ya NVIDIA H200 NVL Yenye 140 GB VRAM

Kodi seva za wingu za GPU za H200 NVL kwa saa kwenye Cloudj: VRAM ya 140 GB, NVIDIA Hopper na takriban 3884 GB/s za kipimo data cha kumbukumbu, GPU yenye kumbukumbu kubwa zaidi katika mkusanyiko wetu. Imeundwa mahususi kwa ajili ya timu zinazohudumia modeli za daraja la 70B kwa usahihi wa juu au miktadha mirefu sana, ikiwa na 48.3 TFLOPS FP32 na kikomo cha umeme cha 600 W. Chagua kiolezo cha vLLM au SGLang, chagua usanidi unaopatikana wa H200 NVL na unganisha kupitia SSH.

Kodi H200 NVL GPU zote

Sifa za kiufundi za H200 NVL

VRAM kwa kila GPU

140 GB

Usanifu

NVIDIA Hopper

Uwezo wa uchakataji

Uchakataji wa FP32

≈ 48.3 TFLOPS

Bandwidth ya kumbukumbu

≈ 3884 GB/s

Kikomo cha nishati

600 W

Thamani zilizoripotiwa na mtoa miundombinu kwa mashine zilizoorodheshwa sasa; utendaji halisi unatofautiana kulingana na mashine.

Usanidi wa moja kwa moja na bei za H200 NVL

Upatikanaji na bei za moja kwa moja, zikisasishwa mfululizo. Bei ya mwisho inathibitishwa kabla ya kuagiza.

Kodi sasa

Unachoweza kuendesha kwenye GPU ya wingu ya H200 NVL

Modeli za daraja la 70B karibu na usahihi kamili

140 GB inatoshea modeli ya 70B katika 8-bit ikiwa na KV cache kubwa, au karibu na ukubwa wa 16-bit, kwenye GPU moja pekee.

Kuhudumia miktadha mirefu

3884 GB/s hudumisha usimbuaji wa kasi huku kumbukumbu ya ziada ikihifadhi maagizo marefu na vipindi vingi vya sambamba.

Kufanya fine-tuning ya modeli za 70B kwa QLoRA

Endesha QLoRA ya 70B ukiwa na mifuatano mirefu zaidi na bechi kubwa zaidi kuliko kadi ya 80 GB inavyoruhusu.

Majaribio ya Mixture-of-experts

Modeli za MoE zina uzito mkubwa kwa ujumla; 140 GB inakuruhusu kupakia seti kubwa za wataalamu kwa majaribio bila kuhitaji sharding.

Je, H200 NVL ndiyo GPU sahihi kwa mzigo wako wa kazi?

Chagua H200 NVL pale ambapo kikwazo chako kikuu ni uwezo wa VRAM na kipimo data cha kumbukumbu, hasa kwa ajili ya kuhifadhi na kuendesha modeli kubwa kwenye kadi moja. Ikiwa unaendesha inference nyepesi zaidi, utengenezaji wa picha wa kawaida, au majukumu ya maendeleo yasiyohitaji kumbukumbu ya 140 GB, GPU ndogo ya workstation au ya watumiaji wa kawaida ni chaguo lenye tija zaidi.

H200 NVL dhidi ya GPU za wingu zinazofanana

GPU	VRAM kwa kila GPU	Uchakataji wa FP32	Kikomo cha nishati
NVIDIA H200 NVL	140 GB	≈ 48.3 TFLOPS	600 W
NVIDIA H100 NVL	94 GB	≈ 48.3 TFLOPS	400 W	Maelezo →
NVIDIA H100 SXM	80 GB	≈ 53.5 TFLOPS	700 W	Maelezo →
NVIDIA H100 PCIE	80 GB	≈ 41 TFLOPS	350 W	Maelezo →
NVIDIA A800 PCIE	80 GB	≈ 15.6 TFLOPS	300 W	Maelezo →

GPU ya wingu ya H200 NVL: maswali yanayoulizwa mara kwa mara

Kodi GPU ya wingu ya H200 NVL kwa saa

Chagua kiolezo, teua usanidi wa moja kwa moja na uunganishe kupitia SSH au terminal ya kivinjari. Malipo hukoma mara unapofuta GPU.

Kodi H200 NVL GPU zote