Kí ló dé tí a fi ń yan H100 SXM dípò H100 PCIE?

H100 SXM ní 53.5 TFLOPS FP32 àti 2869 GB/s ní ìfiwéra pẹ̀lú 41 TFLOPS àti 1760 GB/s fún káàdì PCIE, pẹ̀lú ààlà 700 W dípò 350 W. Fún iṣẹ́ kọ̀ọ̀kan, ó máa ń parí kíákíá jù lọ.

Ṣé H100 SXM tàbí H200 NVL ló dára jù fún àwọn LLM?

H200 NVL ní 140 GB àti 3884 GB/s, nítorí náà ó borí fún àwọn àwòṣe ńlá gan-an àti àwọn context gígùn. H100 SXM ní compute FP32 tó pọ̀ síi (53.5 sí 48.3 TFLOPS) ó sì dára fún àwọn iṣẹ́ ìdánilẹ́kọ̀ọ́ tó bá wọ inú 80 GB.

Ṣé mo lè ṣe fine-tune àwòṣe 70B lórí H100 SXM kan ṣoṣo?

Pẹ̀lú QLoRA, bẹ́ẹ̀ ni: ìwọ̀n 4-bit 70B ń gba nǹkan bí 35–40 GB, èyí tó ń fi ààyè sílẹ̀ fún àwọn adapter, activation àti optimizer state. Àtúnṣe kíkún 16-bit fún 70B nílò ọ̀pọ̀lọpọ̀ GPU.

Kí ni màá san nígbà tí a bá dá sáfà H100 SXM dúró lórí Cloudj?

Ní ètò ìsanwó wákàtí kọ̀ọ̀kan, sáfà tí a dá dúró ni a máa ń gba owó disk rẹ̀ nìkan. Pa sáfà náà rẹ́ ní kété tí o bá ti da àwọn checkpoint rẹ kọ, ìsanwó yóò sì dá dúró pátápátá.

GPU Cloud · NVIDIA · Hopper

Yá GPU NVIDIA H100 SXM pẹ̀lú 80 GB VRAM

Ya àwọn sáfà cloud GPU H100 SXM fún wákàtí kọ̀ọ̀kan lórí Cloudj: 80 GB VRAM, NVIDIA Hopper, nǹkan bí 53.5 TFLOPS FP32 àti 2869 GB/s ti memory bandwidth. Pẹ̀lú agbára iná 700 W, èyí ni H100 fún àwọn ẹgbẹ́ tó ń kọ́, túnṣe, tí wọ́n sì ń gbé àwọn àwòṣe ńlá jáde, tí wọ́n sì fẹ́ ẹ̀yà Hopper tó yára jùlọ fún compute. Bẹ̀rẹ̀ template PyTorch, vLLM tàbí Unsloth kí o sì sopọ̀ lórí SSH ní àwọn ìgbésẹ̀ díẹ̀.

Gbà H100 SXM láyà Gbogbo àwọn GPU

Àwọn ànímọ́ ẹ̀rọ H100 SXM

VRAM fún GPU kọ̀ọ̀kan

80 GB

Àgbékalẹ̀

NVIDIA Hopper

Agbára ìṣirò

Ìṣirò FP32

≈ 53.5 TFLOPS

Ìwọ̀n ìgbéjáde ìrántí

≈ 2869 GB/s

Ààlà agbára iná

700 W

Àwọn iye tí olùpèsè àwọn ohun-èlò kọ̀mpútà jábọ̀ fún àwọn ẹ̀rọ tí ó wà lórí àtòjọ báyìí; iṣẹ́ gidi máa ń yàtọ̀ nípasẹ̀ ẹ̀rọ kọ̀ọ̀kan.

Àwọn ìṣètò H100 SXM lọ́wọ́lọ́wọ́ àti àwọn iye owó wọn

Ọjà àti iye owó tààrà, tí a ń sọ dọ̀tun ní gbogbo ìgbà. A ó fìdí iye owó ìkẹyìn múlẹ̀ kí o tó béèrè.

Gbà á láyà báyìí

Àwọn ohun tí o lè gbé ṣiṣẹ́ lórí cloud GPU H100 SXM

Ìdánilẹ́kọ̀ọ́ tó gba compute tó ga

53.5 TFLOPS FP32 àti agbára iná 700 W fún H100 SXM ní agbára compute tó pọ̀ jùlọ láàárín gbogbo káàdì Hopper tí a kọ síbí.

Inference LLM tó yára kánkán

Bandwidth ti 2869 GB/s ń mú kí ìgbéjáde token yára síi fún àwọn àwòṣe 13B–34B ní 16-bit tàbí àwọn àwòṣe 70B quantized.

Àtúnṣe kíkún ti àwọn àwòṣe 7B–13B

80 GB ń fi ààyè sílẹ̀ fún àtúnṣe gbogbo parameter pátápátá lórí àwọn LLM kékeré, kì í ṣe adapters nìkan, pẹ̀lú àwọn ètò optimizer tó tọ́.

Ìdánilẹ́kọ̀ọ́ àwòṣe diffusion àti fídíò

Kọ́ tàbí tún àwọn àwòṣe àwòrán àti fídíò ṣe níbi tí memory àti compute méjèèjì ti ń pinnu bí iṣẹ́ náà yóò ṣe pẹ́ tó.

Ǹjẹ́ H100 SXM ni GPU tí ó tọ́ fún irú iṣẹ́ rẹ?

Yan H100 SXM nígbà tí àwọn iṣẹ́ ìdánilẹ́kọ̀ọ́ tàbí inference rẹ bá nílò 80 GB ti memory datacenter tó ní bandwidth gíga àti àwọn àbùdá architecture Hopper. GPU kékeré ti workstation tàbí consumer jẹ́ àṣàyàn tó dára fún ìdàgbàsókè fúyẹ́ tàbí àwọn àwòṣe kékeré, nígbà tí GPU datacenter tuntun tàbí èyí tó lágbára jù bẹ́ẹ̀ lọ yóò dára jù tí ẹ̀rọ kan ṣoṣo kò bá lè gba gbogbo àwòṣe rẹ sínú 80 GB ti VRAM.

H100 SXM ní àfiwé pẹ̀lú àwọn cloud GPU tó jọra

GPU	VRAM fún GPU kọ̀ọ̀kan	Ìṣirò FP32	Ààlà agbára iná
NVIDIA H100 SXM	80 GB	≈ 53.5 TFLOPS	700 W
NVIDIA H100 PCIE	80 GB	≈ 41 TFLOPS	350 W	Àwọn ẹ̀kúnrẹ́rẹ́ →
NVIDIA A800 PCIE	80 GB	≈ 15.6 TFLOPS	300 W	Àwọn ẹ̀kúnrẹ́rẹ́ →
NVIDIA H100 NVL	94 GB	≈ 48.3 TFLOPS	400 W	Àwọn ẹ̀kúnrẹ́rẹ́ →
NVIDIA CMP 170HX	64 GB	≈ 12.1 TFLOPS	250 W	Àwọn ẹ̀kúnrẹ́rẹ́ →

Cloud GPU H100 SXM: àwọn ìbéèrè tí a ń béèrè lemọ́lemọ́

Yá cloud GPU H100 SXM ní wákàtí kọ̀ọ̀kan

Yan àkójọ àpẹẹrẹ kan, yan ìṣètò tó wà lójú ẹsẹ̀, kí o sì sopọ̀ nípasẹ̀ SSH tàbí terminal aṣàwárí rẹ. Ìṣirò owó yóò dáwọ́ dúró ní kété tí o bá pa GPU náà rẹ́.

Gbà H100 SXM láyà Gbogbo àwọn GPU