Изнајмите NVIDIA H200 NVL GPU са 140 GB VRAM
Изнајмите H200 NVL cloud GPU сервере на сат на Cloudj: 140 GB VRAM, NVIDIA Hopper и око 3884 GB/s меморијског протока, GPU са највећом меморијом у нашој понуди. Направљен је за тимове који покрећу моделе класе 70B у високој прецизности или са веома дугим контекстом, уз 48.3 TFLOPS FP32 и ограничење снаге од 600 W. Изаберите vLLM или SGLang шаблон, одаберите доступну H200 NVL конфигурацију и повежите се преко SSH-а.
H200 NVL спецификације
VRAM по GPU-у
140 GB
Архитектура
NVIDIA Hopper
Рачунарска способност
9
FP32 перформансе
≈ 48.3 TFLOPS
Пропусни опсег меморије
≈ 3884 GB/s
Лимит потрошње
600 W
Вредности које наводи провајдер инфраструктуре за тренутно излистане машине; стварне перформансе варирају од машине до машине.
Актуелне H200 NVL конфигурације и цене
Доступност и цене уживо, континуирано се ажурирају. Коначна цена се потврђује пре наручивања.
Изнајмите одмахШта можете покретати на H200 NVL cloud GPU-у
Модели класе 70B у готово пуној прецизности
140 GB омогућава смештање 70B модела у 8-bit формату са великим KV кешом, или близу 16-bit формата, на једној GPU картици.
Сервирање уз дугачак контекст
3884 GB/s одржава брзо декодирање, док додатна меморија подржава дугачке упите и бројне паралелне сесије.
Фино подешавање 70B модела уз QLoRA
Покрените 70B QLoRA са дужим секвенцама и већим пакетима него што то дозвољава картица од 80 GB.
Експерименти са Mixture-of-Experts моделима
MoE модели имају велику укупну тежину параметара; 140 GB вам омогућава учитавање већих сетова експерата за тестирање без дељења модела (sharding).
Да ли је H200 NVL прави GPU за ваше радно оптерећење?
Изаберите H200 NVL када су вам главно уско грло VRAM капацитет и меморијски проток, посебно за хостовање великих модела на једној картици. Ако покрећете лакшу инференцију, стандардно генерисање слика или развојне задатке који не захтевају 140 GB меморије, мањи радни или кориснички GPU је практичнији избор.
H200 NVL у поређењу са сличним cloud GPU-овима
H200 NVL cloud GPU: често постављана питања
Изнајмите H200 NVL cloud GPU на сат
Изаберите шаблон, одаберите активну конфигурацију и повежите се путем SSH-а или терминала у прегледачу. Наплата престаје када обришете GPU.