Je, CMP 170HX inafaa kwa mafunzo ya modeli (training)?

Inafaa zaidi kwa inference na kazi zinazotegemea kumbukumbu. Ikiwa na 12.1 TFLOPS FP32, ina mwendo wa polepole kwenye mafunzo mazito ya ukokotoaji ikilinganishwa na kadi kama A40 au RTX 3090, kwa hivyo jaribu mzigo wa kazi yako kabla ya kupanga mchakato mrefu.

Kwa nini nijaribu mzigo wangu wa kazi kwanza?

CMP 170HX ni kadi ya ukokotoaji pekee (compute-only) na baadhi ya mifumo ya programu hufanya kazi tofauti ikilinganishwa na GPU za kawaida. Jaribio fupi la saa litakujulisha ikiwa framework, viendeshi (drivers) na modeli yako vinafanya kazi inavyotarajiwa.

Ni sifa gani yenye nguvu zaidi ya CMP 170HX?

Kipimo data cha kumbukumbu: takriban 1516 GB/s, juu zaidi ya 1313 GB/s iliyoorodheshwa ya A100 PCIE, jambo linalosaidia mzigo wowote wa kazi unaosubiri kumbukumbu zaidi kuliko hesabu za hisabati.

Ni lazima nibaki na seva ya CMP 170HX kwenye Cloudj kwa muda gani?

Muda wowote unaohitaji. Malipo ya kila saa hutozwa kwa saa wakati seva inafanya kazi, na unaweza kuifuta mara tu jaribio au kazi inapokamilika.

GPU Cloud · NVIDIA · Ampere

Kodi GPU ya NVIDIA CMP 170HX Yenye 64 GB VRAM

Kodi seva za wingu za GPU za CMP 170HX kwa saa kwenye Cloudj: VRAM ya 64 GB, muundo wa Ampere na kipimo data cha kumbukumbu cha takriban 1516 GB/s kwa kazi za ukokotoaji zinazotegemea kumbukumbu. Ni kadi ya compute isiyo na kioo (headless) kwa watengenezaji programu wanaothamini kipimo data na uwezo wa kumbukumbu zaidi ya kasi ya FP32 (12.1 TFLOPS, 250 W, compute capability 8.0). Fanya jaribio fupi kwenye kiolezo cha PyTorch au Ollama kwanza, kisha uongeze ukubwa wa kazi yako.

Kodi CMP 170HX GPU zote

Sifa za kiufundi za CMP 170HX

VRAM kwa kila GPU

64 GB

Usanifu

NVIDIA Ampere

Uwezo wa uchakataji

Uchakataji wa FP32

≈ 12.1 TFLOPS

Bandwidth ya kumbukumbu

≈ 1516 GB/s

Kikomo cha nishati

250 W

Thamani zilizoripotiwa na mtoa miundombinu kwa mashine zilizoorodheshwa sasa; utendaji halisi unatofautiana kulingana na mashine.

Usanidi wa moja kwa moja na bei za CMP 170HX

Upatikanaji na bei za moja kwa moja, zikisasishwa mfululizo. Bei ya mwisho inathibitishwa kabla ya kuagiza.

Kodi sasa

Unachoweza kuendesha kwenye GPU ya wingu ya CMP 170HX

Inference inayotegemea kipimo data

Uzalishaji wa tokeni za LLM unazuiwa zaidi na kipimo data cha kumbukumbu, na 1516 GB/s ipo kwenye kiwango sawa na kadi za hadhi ya A100.

Upangishaji wa quantized LLM

Pakia miundo iliyopunguzwa ukubwa (quantized) katika Ollama au llama.cpp na uitoe kupitia API kwa ajili ya majaribio au zana za ndani.

Majaribio ya kernel za CUDA

Pima utendaji wa kernel zinazotumia kumbukumbu nzito kwenye kadi ya Ampere yenye compute capability 8.0 kabla ya kuzihamishia kwenye maunzi makubwa zaidi.

Uchakataji wa data kwa mafungu (batch)

Pitisha mikusanyiko mikubwa ya data (arrays) kwenye kumbukumbu ya GPU kwa michakato ya mabadiliko (transforms), hashing au kazi za uchanganuzi zinazotegemea ufikiaji wa kumbukumbu.

Je, CMP 170HX ndiyo GPU sahihi kwa mzigo wako wa kazi?

Chagua CMP 170HX wakati kazi yako inapokwamishwa na uwezo wa kumbukumbu pamoja na kipimo data badala ya uwezo ghafi wa kukokotoa wa single-precision. Chagua GPU yenye kasi kubwa zaidi ya kukokotoa ikiwa unahitaji mafunzo ya haraka ya modeli (faster training), au chagua kadi ndogo ya kawaida ikiwa modeli zako hazihitaji 64 GB ya VRAM.

CMP 170HX dhidi ya GPU za wingu zinazofanana

GPU	VRAM kwa kila GPU	Uchakataji wa FP32	Kikomo cha nishati
NVIDIA CMP 170HX	64 GB	≈ 12.1 TFLOPS	250 W
NVIDIA A800 PCIE	80 GB	≈ 15.6 TFLOPS	300 W	Maelezo →
NVIDIA H100 PCIE	80 GB	≈ 41 TFLOPS	350 W	Maelezo →
NVIDIA H100 SXM	80 GB	≈ 53.5 TFLOPS	700 W	Maelezo →
NVIDIA A40	45 GB	≈ 29.9 TFLOPS	300 W	Maelezo →

GPU ya wingu ya CMP 170HX: maswali yanayoulizwa mara kwa mara

Kodi GPU ya wingu ya CMP 170HX kwa saa

Chagua kiolezo, teua usanidi wa moja kwa moja na uunganishe kupitia SSH au terminal ya kivinjari. Malipo hukoma mara unapofuta GPU.

Kodi CMP 170HX GPU zote