Чаро бояд H100 SXM-ро ба ҷои H100 PCIE интихоб кард?

H100 SXM дорои 53.5 TFLOPS FP32 ва 2869 GB/s мебошад, дар муқоиса бо 41 TFLOPS ва 1760 GB/s барои корти PCIE, бо маҳдудияти 700 W ба ҷои 350 W. Дар иҷрои ҳар як вазифа он одатан корро зудтар ба анҷом мерасонад.

Барои LLM-ҳо H100 SXM беҳтар аст ё H200 NVL?

H200 NVL дорои 140 GB ва 3884 GB/s буда, барои моделҳои хеле бузург ва контекстҳои тӯлонӣ бартарӣ дорад. H100 SXM қудрати бештари ҳисоббарории FP32 дорад (53.5 дар муқоиса бо 48.3 TFLOPS) ва барои вазифаҳои омӯзишие, ки дар 80 GB ҷой мегиранд, беҳтарин аст.

Оё метавонам модели 70B-ро дар як H100 SXM дақиқсозӣ (fine-tune) кунам?

Бо QLoRA, ҳа: вазнҳои 4-битаи 70B тақрибан 35–40 GB-ро ишғол мекунанд ва барои адаптерҳо, фаъолсозиҳо ва ҳолати оптимизатор ҷой мегузоранд. Танзими пурраи 16-битаи 70B якчанд GPU-ро талаб мекунад.

Ҳангоми қатъ шудани сервери H100 SXM дар Cloudj ман чӣ пардохт мекунам?

Дар пардохти соатбайъ, барои сервери боздошташуда танҳо маблағи истифодаи диски он ситонида мешавад. Пас аз нусхабардории нуқтаҳои санҷишии худ (checkpoints) серверро нест кунед ва шумо пардохтро комилан қатъ мекунед.

GPU Cloud · NVIDIA · Hopper

Иҷораи GPU-и NVIDIA H100 SXM бо 80 GB VRAM

Серверҳои абрии GPU-и H100 SXM-ро соатбайъ дар Cloudj ба иҷора гиред: 80 GB VRAM, NVIDIA Hopper, тақрибан 53.5 TFLOPS FP32 ва фарохмаҷрои хотираи 2869 GB/s. Бо маҳдудияти тавоноии 700 W, ин H100 барои дастаҳое мебошад, ки моделҳои бузургро меомӯзонанд, танзим (fine-tune) мекунанд ва ба кор мебаранд ва мехоҳанд модули аз ҳама босуръати Hopper-ро дар ин силсила барои ҳисоббарорӣ интихоб намоянд. Шаблони PyTorch, vLLM ё Unsloth-ро ба кор дароред ва бо чанд қадам тавассути SSH пайваст шавед.

Иҷораи H100 SXM Ҳамаи GPU-ҳо

Мушаххасоти техникии H100 SXM

VRAM барои ҳар як GPU

80 GB

Меъморӣ

NVIDIA Hopper

Иқтидори ҳисоббарорӣ

Ҳисоббарории FP32

≈ 53.5 TFLOPS

Фарохмаҷрои хотира

≈ 2869 GB/s

Ҳадди истеъмоли нерӯ

700 W

Нишондиҳандаҳо аз ҷониби провайдери инфрасохтор барои мошинҳои ҳоло дар рӯйхат буда пешниҳод шудаанд; маҳсулнокии воқеӣ метавонад вобаста ба мошин фарқ кунад.

Конфигуратсияҳо ва нархҳои ҷории H100 SXM

Захираи мавҷуда ва нархҳои зинда, пайваста нав мешаванд. Нархи ниҳоӣ пеш аз фармоиш тасдиқ карда мешавад.

Ҳозир иҷора гиред

Дар GPU-и абрии H100 SXM чиро роҳандозӣ кардан мумкин аст

Омӯзиши пуршиддати ҳисоббарорӣ

53.5 TFLOPS FP32 ва маҳдудияти тавоноии 700 W ба H100 SXM бештарин қудрати ҳисоббарориро дар байни ҳамаи кортҳои Hopper-и дар ин ҷо овардашуда таъмин мекунанд.

Инференси босуръати LLM

Фарохмаҷрои 2869 GB/s суръати тавлиди токенҳоро барои моделҳои 13B–34B дар формати 16-бит ё моделҳои квантонидашудаи 70B меафзояд.

Танзими пурраи моделҳои 7B–13B

80 GB бо танзимоти дурусти оптимизатор барои танзими пурраи параметрҳои LLM-ҳои хурдтар, на танҳо адаптерҳо, фазои кофӣ фароҳам меорад.

Омӯзиши моделҳои диффузионӣ ва видеоӣ

Моделҳои тасвир ва видеоро таълим диҳед ё танзим кунед, ки дар онҳо ҳам ҳаҷми хотира ва ҳам қудрати ҳисоббарорӣ давомнокии иҷроро муайян мекунанд.

Оё H100 SXM барои сарбории кории шумо GPU-и мувофиқ аст?

H100 SXM-ро он вақт интихоб кунед, ки сарбории омӯзиш ё инференси шумо 80 GB хотираи маркази додаҳо бо фарохмаҷрои баланд ва имкониятҳои меъмории Hopper-ро тақозо мекунад. GPU-и хурдтари коргоҳӣ ё истеъмолӣ барои таҳияи сабук ё моделҳои хурд интихоби амалитар аст, дар ҳоле ки GPU-и навтар ё дорои ғунҷоиши бештари маркази додаҳо беҳтар хоҳад буд, агар як инстанс натавонад тамоми модели шуморо дар 80 GB VRAM ҷой диҳад.

H100 SXM дар муқоиса бо GPU-ҳои абрии монанд

GPU	VRAM барои ҳар як GPU	Ҳисоббарории FP32	Ҳадди истеъмоли нерӯ
NVIDIA H100 SXM	80 GB	≈ 53.5 TFLOPS	700 W
NVIDIA H100 PCIE	80 GB	≈ 41 TFLOPS	350 W	Тафсилот →
NVIDIA A800 PCIE	80 GB	≈ 15.6 TFLOPS	300 W	Тафсилот →
NVIDIA H100 NVL	94 GB	≈ 48.3 TFLOPS	400 W	Тафсилот →
NVIDIA CMP 170HX	64 GB	≈ 12.1 TFLOPS	250 W	Тафсилот →

GPU-и абрии H100 SXM: саволҳои маъмул

GPU-и абрии H100 SXM-ро ба таври соатбайъ ба иҷора гиред

Шаблонро интихоб кунед, конфигуратсияи дастрасро муайян намоед ва тавассути SSH ё терминали браузер пайваст шавед. Ҳангоми нест кардани GPU пардохт қатъ мегардад.

Иҷораи H100 SXM Ҳамаи GPU-ҳо