H100 NVL чи H100 SXM: що швидше?

Для декодингу в LLM H100 NVL має більше пам'яті (94 GB проти 80 GB) та вищу пропускну здатність (3381 GB/s проти 2869 GB/s). H100 SXM має вищу продуктивність FP32 на рівні 53.5 TFLOPS і ліміт 700 W, тому краще підходить для ресурсомісткого навчання.

Чи можна запустити модель 70B у 16-bit на H100 NVL?

Ні. Ваги 70B у 16-bit потребують близько 140 GB. На 94 GB запускайте 70B, квантовану до 4 або 8 бітів; для 16-bit 70B краще підійде H200 NVL зі 140 GB.

Чи потрібне для Hopper спеціальне програмне забезпечення?

Hopper має compute capability 9.0 та підтримує актуальні збірки CUDA, PyTorch, vLLM і SGLang. У шаблонах Cloudj зазначено їхню мінімальну версію CUDA, і для кожного шаблону пропонуються лише сумісні GPU.

Як працює оплата за H100 NVL?

Сплачуйте погодинно з балансу Cloudj, поки сервер працює, або оберіть місячний чи довший розрахунковий період. Панель керування підтверджує ціну перед замовленням, а за зупинений погодинний сервер списується плата лише за диск.

GPU Cloud · NVIDIA · Hopper

Оренда GPU NVIDIA H100 NVL з 94 GB VRAM

Орендуйте хмарні GPU-сервери H100 NVL із погодинною оплатою на Cloudj: 94 GB VRAM, NVIDIA Hopper та близько 3381 GB/s пропускної здатності пам'яті для інференсу великих моделей. Створений для LLM-команд, яким потрібно більше пам'яті, ніж в 80 GB H100, і значно швидший декодинг, він забезпечує 48.3 TFLOPS FP32 за ліміту потужності 400 W. Запустіть шаблон vLLM або SGLang, оберіть активну конфігурацію H100 NVL і підключайтеся через SSH.

Орендувати H100 NVL Усі GPU

Технічні характеристики H100 NVL

VRAM на GPU

94 GB

Архітектура

NVIDIA Hopper

Compute Capability

Продуктивність FP32

≈ 48.3 TFLOPS

Пропускна здатність пам'яті

≈ 3381 GB/s

Ліміт потужності (TDP)

400 W

Значення надані постачальником інфраструктури для доступних наразі конфігурацій; фактична продуктивність може відрізнятися залежно від машини.

Актуальні конфігурації та ціни на H100 NVL

Наявність і ціни оновлюються в реальному часі. Остаточна вартість підтверджується перед оформленням замовлення.

Орендувати

Що можна запускати на хмарному GPU H100 NVL

Високопродуктивний LLM-сервінг

Пропускна здатність 3381 GB/s прискорює генерацію токенів, а 94 GB дозволяють розмістити квантовану модель 70B разом із великим KV-кешем на одному GPU.

Довгий контекст і пайплайни RAG

Додаткові 14 GB у порівнянні з картою на 80 GB спрямовуються безпосередньо на збільшення довжини контексту та паралельні запити.

Тонке налаштування моделей 30B–70B

Запускайте LoRA для моделей класу 30B у BF16 або QLoRA для моделей класу 70B з Unsloth на одному GPU Hopper.

Масштабне оцінювання моделей

Швидко запускайте набори бенчмарків та A/B-тестування різних чекпоїнтів, а потім видаляйте сервер, щойно отримаєте результати.

Чи підходить GPU H100 NVL для ваших завдань?

Обирайте H100 NVL, коли ваші завдання у сфері AI або обчислень вимагають більше пам'яті, ніж пропонують стандартні карти для дата-центрів, — до 94 GB VRAM. Менший робочий або споживчий GPU краще підійде для легкого інференсу та розробки, тоді як конфігурація з кількома GPU або більший обсяг пам'яті знадобляться, якщо ваші моделі перевищують 94 GB.

H100 NVL проти схожих хмарних GPU

GPU	VRAM на GPU	Продуктивність FP32	Ліміт потужності (TDP)
NVIDIA H100 NVL	94 GB	≈ 48.3 TFLOPS	400 W
NVIDIA H100 SXM	80 GB	≈ 53.5 TFLOPS	700 W	Детальніше →
NVIDIA H100 PCIE	80 GB	≈ 41 TFLOPS	350 W	Детальніше →
NVIDIA A800 PCIE	80 GB	≈ 15.6 TFLOPS	300 W	Детальніше →
NVIDIA CMP 170HX	64 GB	≈ 12.1 TFLOPS	250 W	Детальніше →

Хмарний GPU H100 NVL: часті запитання

Орендуйте хмарний GPU H100 NVL погодинно

Оберіть шаблон, підберіть доступну конфігурацію та підключайтеся через SSH або термінал у браузері. Тарифікація зупиняється після видалення GPU.

Орендувати H100 NVL Усі GPU