Арэнда GPU NVIDIA H100 NVL з 94 GB VRAM
Арандуйце хмарныя GPU-серверы H100 NVL з пагадзіннай аплатай на Cloudj: 94 GB VRAM, NVIDIA Hopper і прапускная здольнасць памяці каля 3381 GB/s для інферэнсу вялікіх мадэляў. Створаны для LLM-каманд, якім патрабуецца больш памяці, чым у 80 GB H100, і значна хутчэйшае дэкадаванне: ён забяспечвае 48.3 TFLOPS FP32 пры ліміце магутнасці 400 W. Запусціце шаблон vLLM або SGLang, выберыце даступную канфігурацыю H100 NVL і падключыцеся праз SSH.
Характарыстыкі H100 NVL
VRAM на GPU
94 GB
Архітэктура
NVIDIA Hopper
Вылічальная здольнасць
9
Вылічэнні FP32
≈ 48.3 TFLOPS
Прапускная здольнасць памяці
≈ 3381 GB/s
Ліміт магутнасці
400 W
Значэнні прадстаўлены пастаўшчыком інфраструктуры для даступных у каталогу машын; рэальная прадукцыйнасць залежыць ад канкрэтнага сервера.
Актуальныя канфігурацыі і цэны на H100 NVL
Актуальная наяўнасць і цэны абнаўляюцца ў рэжыме рэальнага часу. Канчатковы кошт пацвярджаецца перад замовай.
АрандавацьШто можна запускаць на хмарным GPU H100 NVL
Высокапрадукцыйны сэрвінг LLM
Прапускная здольнасць 3381 GB/s паскарае генерацыю токенаў, а 94 GB дазваляюць трымаць квантаваную мадэль 70B разам з вялікім KV-кэшам на адным GPU.
Вялікі кантэкст і RAG-пайплайны
Дадатковыя 14 GB у параўнанні з картай на 80 GB выкарыстоўваюцца наўпрост для павелічэння даўжыні кантэксту і адначасовых запытаў.
Файн-цюнінг мадэляў 30B–70B
Запускайце LoRA для мадэляў класа 30B у BF16 або QLoRA для мадэляў класа 70B з Unsloth на адным GPU Hopper.
Маштабнае тэсціраванне і ацэнка мадэляў
Хутка запускайце наборы бенчмаркаў і A/B-ацэнкі розных чэкпойнтаў, а затым выдаляйце сервер пасля атрымання вынікаў.
Ці падыходзіць H100 NVL для вашых задач?
Выбірайце H100 NVL, калі вашым AI- або вылічальным задачам патрабуецца больш памяці, чым прапануюць стандартныя карты для дата-цэнтраў — да 94 GB VRAM. Меншыя працоўныя станцыі ці спажывецкія GPU лепей падыдуць для лёгкага інферэнсу і распрацоўкі, у той час як канфігурацыя з некалькімі GPU або тарыф з большым аб'ёмам памяці спатрэбяцца, калі вашы мадэлі перавышаюць 94 GB.
H100 NVL супраць падобных хмарных GPU
| GPU | VRAM на GPU | Вылічэнні FP32 | Ліміт магутнасці | |
|---|---|---|---|---|
| NVIDIA H100 NVL | 94 GB | ≈ 48.3 TFLOPS | 400 W | |
| NVIDIA H100 SXM | 80 GB | ≈ 53.5 TFLOPS | 700 W | Падрабязней → |
| NVIDIA H100 PCIE | 80 GB | ≈ 41 TFLOPS | 350 W | Падрабязней → |
| NVIDIA A800 PCIE | 80 GB | ≈ 15.6 TFLOPS | 300 W | Падрабязней → |
| NVIDIA CMP 170HX | 64 GB | ≈ 12.1 TFLOPS | 250 W | Падрабязней → |
Хмарны GPU H100 NVL: частыя пытанні
Арандуйце хмарны GPU H100 NVL пагадзінна
Абярыце шаблон, абярыце даступную канфігурацыю і падключайцеся праз SSH або тэрмінал у браўзеры. Аплата спыняецца, калі вы выдаляеце GPU.