Арэнда GPU NVIDIA H200 NVL з 140 GB VRAM
Арандуйце воблачныя серверы з GPU H200 NVL з пагадзіннай аплатай на Cloudj: 140 GB VRAM, NVIDIA Hopper і прапускная здольнасць памяці каля 3884 GB/s — відэакарта з найбольшым аб'ёмам памяці ў нашай лінейцы. Яна створана для каманд, якія разгортваюць мадэлі класа 70B з высокай дакладнасцю або вельмі доўгім кантэкстам, мае 48.3 TFLOPS FP32 і ліміт спажывання 600 W. Абярыце шаблон vLLM або SGLang, выберыце даступную канфігурацыю H200 NVL і падключайцеся праз SSH.
Характарыстыкі H200 NVL
VRAM на GPU
140 GB
Архітэктура
NVIDIA Hopper
Вылічальная здольнасць
9
Вылічэнні FP32
≈ 48.3 TFLOPS
Прапускная здольнасць памяці
≈ 3884 GB/s
Ліміт магутнасці
600 W
Значэнні прадстаўлены пастаўшчыком інфраструктуры для даступных у каталогу машын; рэальная прадукцыйнасць залежыць ад канкрэтнага сервера.
Актуальныя канфігурацыі і цэны на H200 NVL
Актуальная наяўнасць і цэны абнаўляюцца ў рэжыме рэальнага часу. Канчатковы кошт пацвярджаецца перад замовай.
АрандавацьШто можна запускаць на хмарным GPU H200 NVL
Мадэлі класа 70B амаль у поўнай дакладнасці
140 GB дазваляе змясціць мадэль 70B у 8-bit з вялікім кэшам KV або амаль у памеры 16-bit на адным GPU.
Сервінг з доўгім кантэкстам
Хуткасць 3884 GB/s забяспечвае хуткае дэкадаванне, а дадатковая памяць змяшчае доўгія промпты і мноства паралельных сесій.
Файн-цюнінг мадэлей 70B з дапамогай QLoRA
Запускайце QLoRA для 70B з больш доўгімі паслядоўнасцямі і большымі батчамі, чым дазваляе карта на 80 GB.
Эксперыменты з Mixture-of-Experts
Мадэлі MoE маюць вялікую агульную вагу; 140 GB дазваляе загружаць большыя наборы экспертаў для тэставання без шардынгу.
Ці падыходзіць H200 NVL для вашых задач?
Выбірайце H200 NVL, калі ваша галоўнае вузкае месца — гэта аб'ём VRAM і прапускная здольнасць памяці, асабліва для хостынгу вялікіх мадэлей на адной карце. Калі вы запускаеце менш патрабавальны інферэнс, стандартную генерацыю выяў або задачы распрацоўкі, якім не патрабуецца 140 GB памяці, больш практычным выбарам будзе меншы працоўны або спажывецкі GPU.
H200 NVL супраць падобных хмарных GPU
| GPU | VRAM на GPU | Вылічэнні FP32 | Ліміт магутнасці | |
|---|---|---|---|---|
| NVIDIA H200 NVL | 140 GB | ≈ 48.3 TFLOPS | 600 W | |
| NVIDIA H100 NVL | 94 GB | ≈ 48.3 TFLOPS | 400 W | Падрабязней → |
| NVIDIA H100 SXM | 80 GB | ≈ 53.5 TFLOPS | 700 W | Падрабязней → |
| NVIDIA H100 PCIE | 80 GB | ≈ 41 TFLOPS | 350 W | Падрабязней → |
| NVIDIA A800 PCIE | 80 GB | ≈ 15.6 TFLOPS | 300 W | Падрабязней → |
Хмарны GPU H200 NVL: частыя пытанні
Арандуйце хмарны GPU H200 NVL пагадзінна
Абярыце шаблон, абярыце даступную канфігурацыю і падключайцеся праз SSH або тэрмінал у браўзеры. Аплата спыняецца, калі вы выдаляеце GPU.