Иҷораи GPU-и NVIDIA H200 NVL бо 140 GB VRAM
Иҷораи соатбайъи серверҳои абрии GPU-и H200 NVL дар Cloudj: 140 GB VRAM, NVIDIA Hopper ва тақрибан 3884 GB/s фарохмаҷрои хотира — бузургтарин ҳаҷми хотираи GPU дар қатори маҳсулоти мо. Он барои гурӯҳҳое сохта шудааст, ки моделҳои синфи 70B-ро бо дақиқии баланд ё контекстҳои хеле дароз пешниҳод (serving) мекунанд, бо 48.3 TFLOPS FP32 ва маҳдудияти қувваи 600 W. Шаблони vLLM ё SGLang-ро интихоб кунед, конфигуратсияи фаъоли H200 NVL-ро муайян намоед ва тавассути SSH пайваст шавед.
Мушаххасоти техникии H200 NVL
VRAM барои ҳар як GPU
140 GB
Меъморӣ
NVIDIA Hopper
Иқтидори ҳисоббарорӣ
9
Ҳисоббарории FP32
≈ 48.3 TFLOPS
Фарохмаҷрои хотира
≈ 3884 GB/s
Ҳадди истеъмоли нерӯ
600 W
Нишондиҳандаҳо аз ҷониби провайдери инфрасохтор барои мошинҳои ҳоло дар рӯйхат буда пешниҳод шудаанд; маҳсулнокии воқеӣ метавонад вобаста ба мошин фарқ кунад.
Конфигуратсияҳо ва нархҳои ҷории H200 NVL
Захираи мавҷуда ва нархҳои зинда, пайваста нав мешаванд. Нархи ниҳоӣ пеш аз фармоиш тасдиқ карда мешавад.
Ҳозир иҷора гиредДар GPU-и абрии H200 NVL чиро роҳандозӣ кардан мумкин аст
Моделҳои синфи 70B тақрибан бо дақиқии пурра
140 GB модели 70B-ро дар формати 8-bit бо кэши калони KV ё наздик ба ҳаҷми 16-bit дар як GPU-и ягона ҷой медиҳад.
Иҷрои моделҳо бо контексти дароз
3884 GB/s суръати баланди дерамзкуниро (decoding) нигоҳ медорад, дар ҳоле ки хотираи иловагӣ промптҳои тӯлонӣ ва бисёр сессияҳои мувозиро ҷой медиҳад.
Омӯзиши иловагии моделҳои 70B бо QLoRA
QLoRA-и 70B-ро бо пайдарпаиҳои дарозтар ва бастаҳои (batch) калонтар нисбат ба корти 80 GB иҷро кунед.
Озмоишҳо бо моделҳои Mixture-of-Experts
Моделҳои MoE вазни умумии калон доранд; 140 GB ба шумо имкон медиҳад, ки маҷмӯаҳои калонтари коршиносонро барои санҷиш бе тақсимкунӣ (sharding) бор кунед.
Оё H200 NVL барои сарбории кории шумо GPU-и мувофиқ аст?
H200 NVL-ро вақте интихоб кунед, ки маҳдудияти асосии шумо ғунҷоиши VRAM ва фарохмаҷрои хотира бошад, махсусан барои ҷойгиркунии моделҳои бузург дар як корт. Агар шумо инференси сабуктар, тавлиди маъмулии тасвирҳо ё корҳои таҳиякуниеро иҷро кунед, ки 140 GB хотираро талаб намекунанд, GPU-и хурдтари коргоҳӣ ё истеъмолӣ интихоби амалитар аст.
H200 NVL дар муқоиса бо GPU-ҳои абрии монанд
| GPU | VRAM барои ҳар як GPU | Ҳисоббарории FP32 | Ҳадди истеъмоли нерӯ | |
|---|---|---|---|---|
| NVIDIA H200 NVL | 140 GB | ≈ 48.3 TFLOPS | 600 W | |
| NVIDIA H100 NVL | 94 GB | ≈ 48.3 TFLOPS | 400 W | Тафсилот → |
| NVIDIA H100 SXM | 80 GB | ≈ 53.5 TFLOPS | 700 W | Тафсилот → |
| NVIDIA H100 PCIE | 80 GB | ≈ 41 TFLOPS | 350 W | Тафсилот → |
| NVIDIA A800 PCIE | 80 GB | ≈ 15.6 TFLOPS | 300 W | Тафсилот → |
GPU-и абрии H200 NVL: саволҳои маъмул
GPU-и абрии H200 NVL-ро ба таври соатбайъ ба иҷора гиред
Шаблонро интихоб кунед, конфигуратсияи дастрасро муайян намоед ва тавассути SSH ё терминали браузер пайваст шавед. Ҳангоми нест кардани GPU пардохт қатъ мегардад.