Чаму варта выбраць H100 SXM замест H100 PCIE?

H100 SXM дэманструе 53.5 TFLOPS FP32 і 2869 GB/s супраць 41 TFLOPS і 1760 GB/s у версіі PCIE, маючы ліміт 700 W замест 350 W. У разліку на асобную задачу ён звычайна выконвае вылічэнні значна хутчэй.

Што лепш для LLM: H100 SXM ці H200 NVL?

H200 NVL мае 140 GB і 3884 GB/s, таму ён пераўзыходзіць канкурэнтаў у працы з вельмі вялікімі мадэлямі і доўгімі кантэкстамі. H100 SXM прапануе больш вылічэнняў FP32 (53.5 супраць 48.3 TFLOPS) і аптымальна падыходзіць для задач навучання, якія змяшчаюцца ў 80 GB.

Ці можна давучыць мадэль 70B на адным H100 SXM?

З дапамогай QLoRA — так: 4-бітныя вагі 70B займаюць прыкладна 35–40 GB, пакідаючы месца для адаптараў, актывацый і стану аптымізатара. Для поўнага 16-бітнага давучвання 70B спатрэбіцца некалькі GPU.

За што спаганяецца аплата, калі сервер H100 SXM спынены на Cloudj?

Пры пагадзіннай тарыфікацыі за спынены сервер аплачваецца толькі занятая дыскавая прастора. Выдаліце сервер пасля захавання сваіх чэкпойнтаў, і вы цалкам спыніце аплату.

GPU Cloud · NVIDIA · Hopper

Арэнда GPU NVIDIA H100 SXM з 80 GB VRAM

Арандуйце хмарныя GPU-серверы H100 SXM з пагадзіннай аплатай на Cloudj: 80 GB VRAM, архітэктура NVIDIA Hopper, каля 53.5 TFLOPS FP32 і прапускная здольнасць памяці 2869 GB/s. Дзякуючы ліміту спажывання 700 W, гэты H100 ідэальна падыходзіць для каманд, якія навучаюць, давучваюць і разгортваюць вялікія мадэлі ды шукаюць найхутчэйшы модуль Hopper у лінейцы для вылічэнняў. Запусціце гатовы шаблон з PyTorch, vLLM або Unsloth і падключыцеся праз SSH усяго за некалькі крокаў.

Арандаваць H100 SXM Усе GPU

Характарыстыкі H100 SXM

VRAM на GPU

80 GB

Архітэктура

NVIDIA Hopper

Вылічальная здольнасць

Вылічэнні FP32

≈ 53.5 TFLOPS

Прапускная здольнасць памяці

≈ 2869 GB/s

Ліміт магутнасці

700 W

Значэнні прадстаўлены пастаўшчыком інфраструктуры для даступных у каталогу машын; рэальная прадукцыйнасць залежыць ад канкрэтнага сервера.

Актуальныя канфігурацыі і цэны на H100 SXM

Актуальная наяўнасць і цэны абнаўляюцца ў рэжыме рэальнага часу. Канчатковы кошт пацвярджаецца перад замовай.

Арандаваць

Што можна запускаць на хмарным GPU H100 SXM

Рэсурсаёмістае навучанне

53.5 TFLOPS FP32 і ліміт спажывання 700 W забяспечваюць H100 SXM найбольшую вылічальную магутнасць сярод усіх прадстаўленых тут карт Hopper.

Хуткі інферэнс LLM

Прапускная здольнасць 2869 GB/s прыкметна паскарае генерацыю токенаў для мадэлей 13B–34B у 16-bit або квантаваных мадэлей 70B.

Поўнае давучванне мадэлей 7B–13B

80 GB пакідаюць запас для поўнапараметрычнага давучвання невялікіх LLM, а не толькі праз адаптары, пры належных наладах аптымізатара.

Навучанне дыфузійных і відэамадэлей

Навучайце або давучвайце мадэлі генерацыі выяў і відэа, дзе аб'ём памяці і вылічальная хуткасць вызначаюць працягласць працэсу.

Ці падыходзіць H100 SXM для вашых задач?

Выбірайце H100 SXM, калі вашы задачы па навучанні ці інферэнсе патрабуюць 80 GB высакахуткаснай памяці сервернага класа і магчымасцей архітэктуры Hopper. Больш кампактны GPU для працоўных станцый або спажывецкая відэакарта стануць больш практычным выбарам для лёгкай распрацоўкі ці невялікіх мадэлей, у той час як навейшы або больш ёмісты датацэнтр-GPU будзе больш мэтазгодным, калі адзін інстанс не здольны змясціць усю вашу мадэль у 80 GB VRAM.

H100 SXM супраць падобных хмарных GPU

GPU	VRAM на GPU	Вылічэнні FP32	Ліміт магутнасці
NVIDIA H100 SXM	80 GB	≈ 53.5 TFLOPS	700 W
NVIDIA H100 PCIE	80 GB	≈ 41 TFLOPS	350 W	Падрабязней →
NVIDIA A800 PCIE	80 GB	≈ 15.6 TFLOPS	300 W	Падрабязней →
NVIDIA H100 NVL	94 GB	≈ 48.3 TFLOPS	400 W	Падрабязней →
NVIDIA CMP 170HX	64 GB	≈ 12.1 TFLOPS	250 W	Падрабязней →

Хмарны GPU H100 SXM: частыя пытанні

Арандуйце хмарны GPU H100 SXM пагадзінна

Абярыце шаблон, абярыце даступную канфігурацыю і падключайцеся праз SSH або тэрмінал у браўзеры. Аплата спыняецца, калі вы выдаляеце GPU.

Арандаваць H100 SXM Усе GPU