Kwa nini uchague H100 SXM badala ya H100 PCIE?

H100 SXM imeorodheshwa ikiwa na 53.5 TFLOPS FP32 na 2869 GB/s ikilinganishwa na 41 TFLOPS na 1760 GB/s kwa kadi ya PCIE, ikiwa na kikomo cha 700 W badala ya 350 W. Kwa msingi wa kila kazi, kwa kawaida hukamilika kwa kasi zaidi.

Je, H100 SXM au H200 NVL ipi ni bora zaidi kwa LLM?

H200 NVL ina 140 GB na 3884 GB/s, hivyo inafaa zaidi kwa modeli kubwa sana na muktadha mrefu. H100 SXM ina nguvu kubwa zaidi ya ukokotoaji ya FP32 (53.5 dhidi ya 48.3 TFLOPS) na inafaa kazi za mafunzo zinazotoshea katika 80 GB.

Je, ninaweza kufanya fine-tuning ya modeli ya 70B kwenye H100 SXM moja?

Ukitumia QLoRA, ndiyo: uzito wa 4-bit wa 70B unachukua takriban 35–40 GB, na kuacha nafasi ya adapta, uamilisho (activations) na hali ya optimizer. Urekebishaji kamili wa 16-bit wa 70B unahitaji GPU nyingi.

Ninalipia nini seva ya H100 SXM inaposimamishwa kwenye Cloudj?

Kwenye malipo ya kila saa, seva iliyosimama inatozwa tu kwa nafasi ya diski yake. Futa seva pindi unapomaliza kunakili checkpoint zako na utaacha kulipa kabisa.

GPU Cloud · NVIDIA · Hopper

Kodi GPU ya NVIDIA H100 SXM Yenye 80 GB VRAM

Kodi seva za GPU za wingu za H100 SXM kwa saa kwenye Cloudj: 80 GB VRAM, NVIDIA Hopper, takriban 53.5 TFLOPS FP32 na kipimo data cha kumbukumbu cha 2869 GB/s. Ikiwa na kikomo cha umeme cha 700 W, hii ndiyo H100 mahususi kwa timu zinazofunza, kurekebisha na kusambaza modeli kubwa, na zinazotaka moduli ya Hopper yenye kasi zaidi katika safu hii kwa ajili ya ukokotoaji. Zindua kiolezo cha PyTorch, vLLM au Unsloth na uunganishe kupitia SSH kwa hatua chache tu.

Kodi H100 SXM GPU zote

Sifa za kiufundi za H100 SXM

VRAM kwa kila GPU

80 GB

Usanifu

NVIDIA Hopper

Uwezo wa uchakataji

Uchakataji wa FP32

≈ 53.5 TFLOPS

Bandwidth ya kumbukumbu

≈ 2869 GB/s

Kikomo cha nishati

700 W

Thamani zilizoripotiwa na mtoa miundombinu kwa mashine zilizoorodheshwa sasa; utendaji halisi unatofautiana kulingana na mashine.

Usanidi wa moja kwa moja na bei za H100 SXM

Upatikanaji na bei za moja kwa moja, zikisasishwa mfululizo. Bei ya mwisho inathibitishwa kabla ya kuagiza.

Kodi sasa

Unachoweza kuendesha kwenye GPU ya wingu ya H100 SXM

Mafunzo yanayohitaji ukokotoaji mkubwa

53.5 TFLOPS FP32 na kikomo cha umeme cha 700 W huipa H100 SXM nguvu kubwa zaidi ya ukokotoaji kuliko kadi yoyote ya Hopper iliyoorodheshwa hapa.

Uchakataji wa haraka wa LLM (inference)

Kipimo data cha 2869 GB/s huharakisha uzalishaji wa tokeni kwa modeli za 13B–34B katika 16-bit au modeli za 70B zilizofanyiwa quantization.

Urekebishaji kamili (full fine-tuning) wa modeli za 7B–13B

80 GB huacha nafasi ya urekebishaji wa vigezo kamili wa LLM ndogo, si adapta pekee, ukiwa na mipangilio sahihi ya optimizer.

Mafunzo ya modeli za diffusion na video

Funza au rekebisha modeli za picha na video ambapo kumbukumbu na ukokotoaji kwa pamoja huamua muda ambao kazi inachukua kukamilika.

Je, H100 SXM ndiyo GPU sahihi kwa mzigo wako wa kazi?

Chagua H100 SXM wakati mzigo wako wa kazi wa mafunzo au uchakataji (inference) unahitaji 80 GB ya kumbukumbu ya kituo cha data yenye kipimo data cha juu pamoja na sifa za usanifu wa Hopper. GPU ndogo ya kituo cha kazi (workstation) au ya kawaida ya watumiaji ni chaguo bora zaidi kwa usanidi mwepesi au modeli ndogo, wakati GPU mpya zaidi au ya kituo cha data yenye uwezo mkubwa zaidi inapendekezwa ikiwa kifaa kimoja hakiwezi kubeba modeli yako yote katika 80 GB ya VRAM.

H100 SXM dhidi ya GPU za wingu zinazofanana

GPU	VRAM kwa kila GPU	Uchakataji wa FP32	Kikomo cha nishati
NVIDIA H100 SXM	80 GB	≈ 53.5 TFLOPS	700 W
NVIDIA H100 PCIE	80 GB	≈ 41 TFLOPS	350 W	Maelezo →
NVIDIA A800 PCIE	80 GB	≈ 15.6 TFLOPS	300 W	Maelezo →
NVIDIA H100 NVL	94 GB	≈ 48.3 TFLOPS	400 W	Maelezo →
NVIDIA CMP 170HX	64 GB	≈ 12.1 TFLOPS	250 W	Maelezo →

GPU ya wingu ya H100 SXM: maswali yanayoulizwa mara kwa mara

Kodi GPU ya wingu ya H100 SXM kwa saa

Chagua kiolezo, teua usanidi wa moja kwa moja na uunganishe kupitia SSH au terminal ya kivinjari. Malipo hukoma mara unapofuta GPU.

Kodi H100 SXM GPU zote