Неге H100 PCIE орнына H100 SXM таңдаған жөн?

H100 SXM картасы PCIE картасындағы 41 TFLOPS және 1760 GB/s көрсеткіштерімен салыстырғанда 53.5 TFLOPS FP32 және 2869 GB/s сипаттамаларына ие, сондай-ақ 350 W орнына 700 W қуат шегі бар. Әр тапсырма бойынша ол әдетте жылдамырақ аяқталады.

LLM үшін H100 SXM жақсы ма, әлде H200 NVL ме?

H200 NVL 140 GB және 3884 GB/s өткізу қабілетіне ие, сондықтан ол өте үлкен модельдер мен ұзын контекстер үшін ұтады. H100 SXM болса көбірек FP32 есептеу қуатын ұсынады (53.5 қарсы 48.3 TFLOPS) және 80 GB көлеміне сыятын оқыту тапсырмаларына сәйкес келеді.

Бір H100 SXM картасында 70B моделіне fine-tuning жасауға бола ма?

QLoRA арқылы болады: 4-биттік 70B салмақтары шамамен 35–40 GB орын алады, бұл адаптерлер, активациялар және оңтайландырғыш күйі үшін орын қалдырады. Ал 70B моделін толық 16-биттік fine-tuning жасау үшін бірнеше GPU қажет.

Cloudj платформасында H100 SXM сервері тоқтатылған кезде не үшін төлеймін?

Сағаттық тарифте тоқтатылған сервер үшін тек оның дискісіне ғана ақы алынады. Чекпоинттеріңізді көшіріп алғаннан кейін серверді жойсаңыз, төлем толығымен тоқтатылады.

GPU Cloud · NVIDIA · Hopper

80 GB VRAM бар NVIDIA H100 SXM GPU жалға алу

Cloudj платформасында H100 SXM бұлттық GPU серверлерін сағат бойынша жалға алыңыз: 80 GB VRAM, NVIDIA Hopper, шамамен 53.5 TFLOPS FP32 және 2869 GB/s жад өткізу қабілеті. 700 W қуат шегімен бұл H100 — үлкен модельдерді оқытатын, fine-tune жасайтын және қызмет көрсететін (inference), сондай-ақ есептеулер үшін Hopper желісіндегі ең жылдам модульді таңдайтын командаларға арналған. PyTorch, vLLM немесе Unsloth үлгісін іске қосып, бірнеше қадамда SSH арқылы қосылыңыз.

H100 SXM жалға алу Барлық GPU-лар

H100 SXM техникалық сипаттамалары

Әр GPU-дағы VRAM

80 GB

Архитектурасы

NVIDIA Hopper

Есептеу қабілеті (Compute capability)

FP32 өнімділігі

≈ 53.5 TFLOPS

Жад өткізу қабілеті

≈ 2869 GB/s

Қуат шегі

700 W

Мәндер қазіргі уақытта ұсынылған машиналар үшін инфрақұрылым провайдері берген деректерден алынған; нақты өнімділік машинаға байланысты өзгеруі мүмкін.

Өзекті H100 SXM конфигурациялары мен бағалары

Қолжетімді орындар мен бағалар үнемі нақты уақытта жаңартылып отырады. Түпкілікті баға тапсырыс бермес бұрын расталады.

Қазір жалға алу

H100 SXM бұлтты GPU-де нені іске қосуға болады

Есептеу жүктемесі жоғары оқыту

53.5 TFLOPS FP32 және 700 W қуат шегі H100 SXM картасына осында ұсынылған барлық Hopper карталарының арасындағы ең жоғары есептеу қуатын береді.

Жылдам LLM инференсі

2869 GB/s өткізу қабілеті 16-биттік 13B–34B немесе квантталған 70B модельдері үшін токендер генерациясын жылдамдатады.

7B–13B модельдерін толық fine-tuning жасау

80 GB оңтайландырғыштың дұрыс баптауларымен тек адаптерлерді ғана емес, шағын LLM модельдерін толық параметрлі fine-tuning жасауға мүмкіндік береді.

Диффузиялық және видео модельдерді оқыту

Іске қосу уақытын жад көлемі де, есептеу өнімділігі де анықтайтын кескін және видео модельдерін оқытыңыз немесе fine-tuning жасаңыз.

H100 SXM сіздің жұмыс жүктемеңізге сай келе ме?

Егер оқыту немесе инференс жүктемелеріңіз жоғары өткізу қабілеті бар 80 GB дата-орталық жадын және Hopper архитектурасының мүмкіндіктерін қажет етсе, H100 SXM таңдаңыз. Жеңіл әзірлеу немесе шағын модельдер үшін шағынырақ жұмыс станциясы немесе тұтынушылық GPU тиімдірек таңдау болады, ал егер бір дана 80 GB VRAM көлеміне толық моделіңізді сыйғыза алмаса, жаңалау немесе сыйымдылығы жоғарырақ дата-орталық GPU серверін таңдаған жөн.

H100 SXM және ұқсас бұлтты GPU-лерді салыстыру

GPU	Әр GPU-дағы VRAM	FP32 өнімділігі	Қуат шегі
NVIDIA H100 SXM	80 GB	≈ 53.5 TFLOPS	700 W
NVIDIA H100 PCIE	80 GB	≈ 41 TFLOPS	350 W	Толығырақ →
NVIDIA A800 PCIE	80 GB	≈ 15.6 TFLOPS	300 W	Толығырақ →
NVIDIA H100 NVL	94 GB	≈ 48.3 TFLOPS	400 W	Толығырақ →
NVIDIA CMP 170HX	64 GB	≈ 12.1 TFLOPS	250 W	Толығырақ →

H100 SXM бұлтты GPU: жиі қойылатын сұрақтар

H100 SXM бұлтты GPU-ін сағатына жалға алыңыз

Үлгіні таңдаңыз, өзекті конфигурацияны белгілеп, SSH немесе браузер терминалы арқылы қосылыңыз. Төлем GPU жойылған кезде тоқтайды.

H100 SXM жалға алу Барлық GPU-лар