Иҷораи GPU-и NVIDIA H100 NVL бо 94 GB VRAM
Иҷораи серверҳои абрии GPU-и H100 NVL бо пардохти соатбайъ дар Cloudj: 94 GB VRAM, меъмории NVIDIA Hopper ва фарохмаҷрои хотираи тақрибан 3381 GB/s барои инференси моделҳои калонҳаҷм. Барои дастаҳои таҳиягари LLM сохта шудааст, ки нисбат ба 80 GB H100 ба хотираи бештар ва суръати хеле баланди дерамзкунӣ (decoding) ниёз доранд; он бо меъёри нерӯи 400 W иқтидори 48.3 TFLOPS FP32 медиҳад. Шаблони vLLM ё SGLang-ро оғоз кунед, конфигуратсияи фаъоли H100 NVL-ро интихоб намоед ва тавассути SSH пайваст шавед.
Мушаххасоти техникии H100 NVL
VRAM барои ҳар як GPU
94 GB
Меъморӣ
NVIDIA Hopper
Иқтидори ҳисоббарорӣ
9
Ҳисоббарории FP32
≈ 48.3 TFLOPS
Фарохмаҷрои хотира
≈ 3381 GB/s
Ҳадди истеъмоли нерӯ
400 W
Нишондиҳандаҳо аз ҷониби провайдери инфрасохтор барои мошинҳои ҳоло дар рӯйхат буда пешниҳод шудаанд; маҳсулнокии воқеӣ метавонад вобаста ба мошин фарқ кунад.
Конфигуратсияҳо ва нархҳои ҷории H100 NVL
Захираи мавҷуда ва нархҳои зинда, пайваста нав мешаванд. Нархи ниҳоӣ пеш аз фармоиш тасдиқ карда мешавад.
Ҳозир иҷора гиредДар GPU-и абрии H100 NVL чиро роҳандозӣ кардан мумкин аст
Хидматрасонии LLM бо маҳсулнокии баланд
Фарохмаҷрои 3381 GB/s тавлиди токенҳоро метезонад ва 94 GB имкон медиҳад, ки модели квантонидашудаи 70B ҳамроҳ бо кэши калони KV дар як GPU нигоҳ дошта шавад.
Контексти тӯлонӣ ва равандҳои RAG
14 GB хотираи иловагӣ нисбат ба корти 80 GB мустақиман барои дарозии контекст ва дархостҳои ҳамзамон истифода мешавад.
Мутобиқсозӣ (Fine-tuning)-и моделҳои 30B–70B
Дар як GPU-и Hopper усули LoRA-ро дар моделҳои синфи 30B бо формати BF16 ё усули QLoRA-ро дар моделҳои синфи 70B бо Unsloth иҷро кунед.
Арзёбии моделҳо дар миқёси калон
Санҷишҳои меъёрӣ (benchmarks) ва арзёбиҳои A/B-ро дар байни чекпоинтҳо бо суръат анҷом диҳед ва баъд аз гирифтани натиҷаҳо серверро ҳазф кунед.
Оё H100 NVL барои сарбории кории шумо GPU-и мувофиқ аст?
H100 NVL-ро вақте интихоб намоед, ки сарбории кории зеҳни сунъӣ ё ҳисоббарории шумо нисбат ба кортҳои маъмулии маркази додаҳо хотираи бештарро, яъне то 94 GB VRAM талаб мекунад. GPU-и хурдтари коргоҳӣ ё маишӣ барои инференси сабук ва таҳия интихоби беҳтар аст, дар ҳоле ки агар моделҳои шумо аз 94 GB зиёд бошанд, танзимоти дорои чанд GPU ё дараҷаи хотираи калонтар зарур мебошад.
H100 NVL дар муқоиса бо GPU-ҳои абрии монанд
| GPU | VRAM барои ҳар як GPU | Ҳисоббарории FP32 | Ҳадди истеъмоли нерӯ | |
|---|---|---|---|---|
| NVIDIA H100 NVL | 94 GB | ≈ 48.3 TFLOPS | 400 W | |
| NVIDIA H100 SXM | 80 GB | ≈ 53.5 TFLOPS | 700 W | Тафсилот → |
| NVIDIA H100 PCIE | 80 GB | ≈ 41 TFLOPS | 350 W | Тафсилот → |
| NVIDIA A800 PCIE | 80 GB | ≈ 15.6 TFLOPS | 300 W | Тафсилот → |
| NVIDIA CMP 170HX | 64 GB | ≈ 12.1 TFLOPS | 250 W | Тафсилот → |
GPU-и абрии H100 NVL: саволҳои маъмул
GPU-и абрии H100 NVL-ро ба таври соатбайъ ба иҷора гиред
Шаблонро интихоб кунед, конфигуратсияи дастрасро муайян намоед ва тавассути SSH ё терминали браузер пайваст шавед. Ҳангоми нест кардани GPU пардохт қатъ мегардад.