Ǹjẹ́ CMP 170HX dára fún ìkẹ́kọ̀ọ́ (training)?

Ó wúlò jù fún àfihàn àbájáde (inference) àti àwọn iṣẹ́ tó sinmi lórí ìrántí. Pẹ̀lú 12.1 TFLOPS FP32, ó lọ́ra lẹ́nu iṣẹ́ ìkẹ́kọ̀ọ́ tó gba agbára ìṣirò púpọ̀ ju àwọn káàdì bíi A40 tàbí RTX 3090 lọ, nítorí náà kọ́kọ́ dán iṣẹ́ rẹ wò kí o tó pète ìgbésẹ̀ gígùn.

Kí nìdí tí mo fi gbọ́dọ̀ kọ́kọ́ dán iṣẹ́ mi wò?

Káàdì fún iṣẹ́ ìṣirò nìkan ni CMP 170HX, àti pé àwọn ọ̀nà software kan máa ń ṣiṣẹ́ lórí rẹ̀ yàtọ̀ sí àwọn GPU gbogbogbò. Ìgbìmọ̀ wákàtí kúkúrú kan yóò jẹ́ kí o mọ̀ bóyá framework, drivers àti model rẹ ń ṣiṣẹ́ bí ó ṣe yẹ.

Kí ni àbùdá tó lágbára jùlọ lára CMP 170HX?

Memory bandwidth: ó tó 1516 GB/s, èyí tó ga ju 1313 GB/s tí a kọ sílẹ̀ fún A100 PCIE lọ, èyí sì ń ran iṣẹ́ èyíkéyìí tó gbára lé ìrántí ju ìṣirò lọ lọ́wọ́.

Báwo ni mo ṣe gbọ́dọ̀ pa ẹ̀rọ olupin CMP 170HX mọ́ pẹ́ tó lórí Cloudj?

Bí o bá ṣe nílò rẹ̀ mọ. Ìsanwó wákàtí-wákàtí ń ka owó fún wákàtí kọ̀ọ̀kan tí ẹ̀rọ olupin náà bá ń ṣiṣẹ́, o sì lè pa á rẹ́ lẹ́sẹ̀kẹsẹ̀ tí ìdánwò tàbí iṣẹ́ rẹ bá parí.

GPU Cloud · NVIDIA · Ampere

Yá GPU NVIDIA CMP 170HX pẹ̀lú 64 GB VRAM

Ya àwọn ẹ̀rọ olupin GPU awọsánmọ̀ CMP 170HX ní wákàtí-wákàtí lórí Cloudj: 64 GB VRAM tí a tò sọ́tọ̀, ètò ìmọ̀-ẹ̀rọ Ampere architecture pẹ̀lú ìwọ̀n memory bandwidth tó tó 1516 GB/s fún iṣẹ́ ìṣirò tó sinmi lórí ìrántí. Káàdì ìṣirò headless ni fún àwọn olùgbédàgbà tó bìkítà nípa bandwidth àti agbára ju ìyára FP32 lọ (12.1 TFLOPS, 250 W, compute capability 8.0). Kọ́kọ́ ṣe àyẹ̀wò kúkúrú lórí àkójọ PyTorch tàbí Ollama template, lẹ́yìn náà mú iṣẹ́ náà gbòòrò sí i.

Gbà CMP 170HX láyà Gbogbo àwọn GPU

Àwọn ànímọ́ ẹ̀rọ CMP 170HX

VRAM fún GPU kọ̀ọ̀kan

64 GB

Àgbékalẹ̀

NVIDIA Ampere

Agbára ìṣirò

Ìṣirò FP32

≈ 12.1 TFLOPS

Ìwọ̀n ìgbéjáde ìrántí

≈ 1516 GB/s

Ààlà agbára iná

250 W

Àwọn iye tí olùpèsè àwọn ohun-èlò kọ̀mpútà jábọ̀ fún àwọn ẹ̀rọ tí ó wà lórí àtòjọ báyìí; iṣẹ́ gidi máa ń yàtọ̀ nípasẹ̀ ẹ̀rọ kọ̀ọ̀kan.

Àwọn ìṣètò CMP 170HX lọ́wọ́lọ́wọ́ àti àwọn iye owó wọn

Ọjà àti iye owó tààrà, tí a ń sọ dọ̀tun ní gbogbo ìgbà. A ó fìdí iye owó ìkẹyìn múlẹ̀ kí o tó béèrè.

Gbà á láyà báyìí

Àwọn ohun tí o lè gbé ṣiṣẹ́ lórí cloud GPU CMP 170HX

Àfihàn àbájáde (inference) tó sinmi lórí bandwidth

Ìṣẹ̀dá àwọn àmì LLM dúró ní pàtàkì lórí memory bandwidth, àti pé 1516 GB/s wà ní ìpele kan náà pẹ̀lú àwọn káàdì A100.

Gbígbàlejò quantized LLM

Gbé àwọn quantized model wọlé sínú Ollama tàbí llama.cpp kí o sì pèsè wọn lórí API fún ìdánwò tàbí àwọn irinṣẹ́ inú ilé.

Àwọn àyẹ̀wò CUDA kernel

Ṣe àyẹ̀wò àwọn kernel tó gba ìrántí púpọ̀ lórí káàdì Ampere pẹ̀lú compute capability 8.0 kí o tó gbé wọn lọ sí ẹ̀rọ hardware títóbi sí i.

Ṣíṣe àkójọpọ̀ dátà ní ìsọ̀rí

Gbé àwọn array ńlá gba inú ìrántí GPU kọjá fún àwọn iṣẹ́ transforms, hashing tàbí àwọn iṣẹ́ ìtúpalẹ̀ dátà tó sinmi lórí àyè ìrántí.

Ǹjẹ́ CMP 170HX ni GPU tí ó tọ́ fún irú iṣẹ́ rẹ?

Yan CMP 170HX nígbà tí iṣẹ́ rẹ bá ń kojú ìdènà látàrí agbára ìrántí àti bandwidth dípò agbára ìṣirò single-precision lásán. Yan GPU tó ní compute throughput tó ga jù tí o bá nílò àkókò ìkẹ́kọ̀ọ́ tó yára kánkán, tàbí yan káàdì oníbàárà tí kò tóbi tí àwọn model rẹ kò bá nílò 64 GB VRAM.

CMP 170HX ní àfiwé pẹ̀lú àwọn cloud GPU tó jọra

GPU	VRAM fún GPU kọ̀ọ̀kan	Ìṣirò FP32	Ààlà agbára iná
NVIDIA CMP 170HX	64 GB	≈ 12.1 TFLOPS	250 W
NVIDIA A800 PCIE	80 GB	≈ 15.6 TFLOPS	300 W	Àwọn ẹ̀kúnrẹ́rẹ́ →
NVIDIA H100 PCIE	80 GB	≈ 41 TFLOPS	350 W	Àwọn ẹ̀kúnrẹ́rẹ́ →
NVIDIA H100 SXM	80 GB	≈ 53.5 TFLOPS	700 W	Àwọn ẹ̀kúnrẹ́rẹ́ →
NVIDIA A40	45 GB	≈ 29.9 TFLOPS	300 W	Àwọn ẹ̀kúnrẹ́rẹ́ →

Cloud GPU CMP 170HX: àwọn ìbéèrè tí a ń béèrè lemọ́lemọ́

Yá cloud GPU CMP 170HX ní wákàtí kọ̀ọ̀kan

Yan àkójọ àpẹẹrẹ kan, yan ìṣètò tó wà lójú ẹsẹ̀, kí o sì sopọ̀ nípasẹ̀ SSH tàbí terminal aṣàwárí rẹ. Ìṣirò owó yóò dáwọ́ dúró ní kété tí o bá pa GPU náà rẹ́.

Gbà CMP 170HX láyà Gbogbo àwọn GPU