H100 NVL dhidi ya H100 SXM: ipi ina kasi zaidi?

Kwa utoaji wa matokeo ya LLM, H100 NVL imeorodheshwa ikiwa na kumbukumbu kubwa zaidi (94 GB dhidi ya 80 GB) na kipimo data kikubwa zaidi (3381 GB/s dhidi ya 2869 GB/s). H100 SXM ina FP32 ya juu zaidi ya 53.5 TFLOPS na kikomo cha 700 W, hivyo inafaa kwa mafunzo yanayohitaji ukokotozi mzito.

Je, ninaweza kuendesha muundo wa 70B katika 16-bit kwenye H100 NVL?

Hapana. Uzito wa 16-bit 70B unahitaji takriban 140 GB. Kwenye 94 GB, endesha 70B iliyofanyiwa quantization ya biti 4 au 8; kwa 70B ya 16-bit, H200 NVL yenye 140 GB ndiyo inayofaa zaidi.

Je, Hopper inahitaji programu maalum?

Hopper ina uwezo wa ukokotozi wa 9.0 na inaendesha matoleo ya sasa ya CUDA, PyTorch, vLLM na SGLang. Violezo vya Cloudj vinaorodhesha toleo lao la chini la CUDA, na ni GPU zinazooana pekee ndizo zinazotolewa kwa kila kiolezo.

Je, mfumo wa malipo unafanyaje kazi kwa H100 NVL?

Lipa kwa saa wakati seva inafanya kazi kutoka kwenye salio lako la Cloudj, au chagua mzunguko wa kila mwezi au mrefu zaidi. Dashibodi inathibitisha bei kabla ya kuagiza, na seva ya kila saa iliyosimamishwa inatozwa tu kwa diski yake.

GPU Cloud · NVIDIA · Hopper

Kodi GPU ya NVIDIA H100 NVL Yenye 94 GB VRAM

Kodi seva za wingu za GPU za H100 NVL kwa saa kwenye Cloudj: 94 GB VRAM, NVIDIA Hopper na kipimo data cha kumbukumbu cha takriban 3381 GB/s kwa unyambulishaji wa miundo mikubwa. Imeundwa kwa ajili ya timu za LLM zinazohitaji kumbukumbu kubwa kuliko H100 ya 80 GB pamoja na utoaji matokeo wa haraka zaidi, inatoa 48.3 TFLOPS FP32 kwa kiwango cha nguvu cha 400 W. Anzisha kiolezo cha vLLM au SGLang, chagua usanidi unaopatikana wa H100 NVL na uunganishe kupitia SSH.

Kodi H100 NVL GPU zote

Sifa za kiufundi za H100 NVL

VRAM kwa kila GPU

94 GB

Usanifu

NVIDIA Hopper

Uwezo wa uchakataji

Uchakataji wa FP32

≈ 48.3 TFLOPS

Bandwidth ya kumbukumbu

≈ 3381 GB/s

Kikomo cha nishati

400 W

Thamani zilizoripotiwa na mtoa miundombinu kwa mashine zilizoorodheshwa sasa; utendaji halisi unatofautiana kulingana na mashine.

Usanidi wa moja kwa moja na bei za H100 NVL

Upatikanaji na bei za moja kwa moja, zikisasishwa mfululizo. Bei ya mwisho inathibitishwa kabla ya kuagiza.

Kodi sasa

Unachoweza kuendesha kwenye GPU ya wingu ya H100 NVL

Utoaji wa huduma za LLM kwa uwezo wa juu

Kipimo data cha 3381 GB/s kinaharakisha uzalishaji wa tokeni, na 94 GB inatosha kuhifadhi muundo wa 70B uliopunguzwa ukubwa (quantized) pamoja na hifadhi kubwa ya KV kwenye GPU moja.

Mifumo ya miktadha mirefu na RAG

Ziada ya 14 GB ikilinganishwa na kadi ya 80 GB inaenda moja kwa moja kwenye urefu wa muktadha na maombi ya wakati mmoja.

Kurekebisha kwa kina miundo ya 30B–70B

Endesha LoRA kwenye miundo ya kiwango cha 30B katika BF16 au QLoRA kwenye miundo ya kiwango cha 70B ukitumia Unsloth kwenye GPU moja ya Hopper.

Tathmini ya miundo kwa kiwango kikubwa

Endesha seti za majaribio ya ulinganishi (benchmarks) na tathmini za A/B kwenye vizuizi vya ukaguzi (checkpoints) kwa haraka, kisha ufute seva mara alama zinapopatikana.

Je, H100 NVL ndiyo GPU sahihi kwa mzigo wako wa kazi?

Chagua H100 NVL pale ambapo mizigo yako ya kazi ya AI au ukokotozi inahitaji kumbukumbu kubwa zaidi kuliko kadi za kawaida za vituo vya data zinavyotoa, hadi 94 GB za VRAM. GPU ndogo ya kituo cha kazi au ya kawaida ya mtumiaji ni chaguo bora zaidi kwa unyambulishaji mwepesi na usanidi, wakati usanidi wa GPU nyingi au daraja kubwa zaidi la kumbukumbu ni muhimu ikiwa miundo yako inazidi 94 GB.

H100 NVL dhidi ya GPU za wingu zinazofanana

GPU	VRAM kwa kila GPU	Uchakataji wa FP32	Kikomo cha nishati
NVIDIA H100 NVL	94 GB	≈ 48.3 TFLOPS	400 W
NVIDIA H100 SXM	80 GB	≈ 53.5 TFLOPS	700 W	Maelezo →
NVIDIA H100 PCIE	80 GB	≈ 41 TFLOPS	350 W	Maelezo →
NVIDIA A800 PCIE	80 GB	≈ 15.6 TFLOPS	300 W	Maelezo →
NVIDIA CMP 170HX	64 GB	≈ 12.1 TFLOPS	250 W	Maelezo →

GPU ya wingu ya H100 NVL: maswali yanayoulizwa mara kwa mara

Kodi GPU ya wingu ya H100 NVL kwa saa

Chagua kiolezo, teua usanidi wa moja kwa moja na uunganishe kupitia SSH au terminal ya kivinjari. Malipo hukoma mara unapofuta GPU.

Kodi H100 NVL GPU zote