Чому варто обрати H100 SXM замість H100 PCIE?

H100 SXM забезпечує 53.5 TFLOPS FP32 та 2869 GB/s проти 41 TFLOPS і 1760 GB/s у версії PCIE, а також ліміт потужності 700 W замість 350 W. У розрахунку на кожне окреме завдання вона зазвичай справляється швидше.

Що краще для LLM: H100 SXM чи H200 NVL?

H200 NVL має 140 GB і 3884 GB/s, тому перемагає у роботі з надвеликими моделями та довгими контекстами. H100 SXM пропонує більше обчислень FP32 (53.5 проти 48.3 TFLOPS) і чудово підходить для завдань навчання, які вміщуються у 80 GB.

Чи можна донавчити модель 70B на одній H100 SXM?

З QLoRA — так: 4-бітні ваги моделі 70B займають приблизно 35–40 GB, залишаючи місце для адаптерів, активацій і стану оптимізатора. Для повного 16-бітного донавчання 70B знадобиться кілька GPU.

Скільки я сплачую, коли сервер H100 SXM зупинено на Cloudj?

За погодинної тарифікації для зупиненого сервера оплачується лише дисковий простір. Видаліть сервер після копіювання контрольних точок (чекпоїнтів), і нарахування оплати повністю припиниться.

GPU Cloud · NVIDIA · Hopper

Оренда GPU NVIDIA H100 SXM з 80 GB VRAM

Орендуйте хмарні GPU-сервери H100 SXM із погодинною оплатою на Cloudj: 80 GB VRAM, архітектура NVIDIA Hopper, близько 53.5 TFLOPS FP32 та пропускна здатність пам'яті 2869 GB/s. Завдяки ліміту потужності 700 W це саме та H100 для команд, які навчають, донавчають і розгортають великі моделі та шукають найшвидший модуль Hopper у лінійці для обчислень. Запустіть шаблон PyTorch, vLLM або Unsloth і підключіться через SSH у кілька кроків.

Орендувати H100 SXM Усі GPU

Технічні характеристики H100 SXM

VRAM на GPU

80 GB

Архітектура

NVIDIA Hopper

Compute Capability

Продуктивність FP32

≈ 53.5 TFLOPS

Пропускна здатність пам'яті

≈ 2869 GB/s

Ліміт потужності (TDP)

700 W

Значення надані постачальником інфраструктури для доступних наразі конфігурацій; фактична продуктивність може відрізнятися залежно від машини.

Актуальні конфігурації та ціни на H100 SXM

Наявність і ціни оновлюються в реальному часі. Остаточна вартість підтверджується перед оформленням замовлення.

Орендувати

Що можна запускати на хмарному GPU H100 SXM

Обчислювально складне навчання

53.5 TFLOPS FP32 та ліміт потужності 700 W забезпечують H100 SXM найвищу обчислювальну потужність серед усіх карт Hopper, представлених тут.

Швидкий інференс LLM

Пропускна здатність 2869 GB/s прискорює генерацію токенів для моделей 13B–34B у 16-бітному форматі або квантованих моделей 70B.

Повне донавчання моделей 7B–13B

80 GB залишає запас для повнопараметричного донавчання менших LLM (а не лише адаптерів) за належних налаштувань оптимізатора.

Навчання дифузійних і відеомоделей

Навчайте або донавчайте моделі генерації зображень та відео, де як пам'ять, так і обчислення визначають тривалість виконання завдання.

Чи підходить GPU H100 SXM для ваших завдань?

Обирайте H100 SXM, якщо ваші робочі навантаження з навчання або інференсу потребують 80 GB високошвидкісної серверної пам'яті та можливостей архітектури Hopper. Менший GPU для робочих станцій або споживчого класу буде більш практичним вибором для легкої розробки чи невеликих моделей, тоді як новіший або місткіший серверний GPU краще обрати, якщо один інстанс не може вмістити всю вашу модель у 80 GB VRAM.

H100 SXM проти схожих хмарних GPU

GPU	VRAM на GPU	Продуктивність FP32	Ліміт потужності (TDP)
NVIDIA H100 SXM	80 GB	≈ 53.5 TFLOPS	700 W
NVIDIA H100 PCIE	80 GB	≈ 41 TFLOPS	350 W	Детальніше →
NVIDIA A800 PCIE	80 GB	≈ 15.6 TFLOPS	300 W	Детальніше →
NVIDIA H100 NVL	94 GB	≈ 48.3 TFLOPS	400 W	Детальніше →
NVIDIA CMP 170HX	64 GB	≈ 12.1 TFLOPS	250 W	Детальніше →

Хмарний GPU H100 SXM: часті запитання

Орендуйте хмарний GPU H100 SXM погодинно

Оберіть шаблон, підберіть доступну конфігурацію та підключайтеся через SSH або термінал у браузері. Тарифікація зупиняється після видалення GPU.

Орендувати H100 SXM Усі GPU