94 GB VRAM бар NVIDIA H100 NVL GPU жалға алу
Cloudj платформасында сағат сайын төленетін H100 NVL бұлтты GPU серверлерін жалға алыңыз: үлкен модельдердің инференсі үшін 94 GB VRAM, NVIDIA Hopper және шамамен 3381 GB/s жад өткізу қабілеті. 80 GB H100 картасынан көбірек жадты және әлдеқайда жылдам декодтауды қажет ететін LLM командаларына арналған, ол 400 W қуат шегінде 48.3 TFLOPS FP32 өнімділігін береді. vLLM немесе SGLang үлгісін іске қосыңыз, белсенді H100 NVL конфигурациясын таңдап, SSH арқылы қосылыңыз.
H100 NVL техникалық сипаттамалары
Әр GPU-дағы VRAM
94 GB
Архитектурасы
NVIDIA Hopper
Есептеу қабілеті (Compute capability)
9
FP32 өнімділігі
≈ 48.3 TFLOPS
Жад өткізу қабілеті
≈ 3381 GB/s
Қуат шегі
400 W
Мәндер қазіргі уақытта ұсынылған машиналар үшін инфрақұрылым провайдері берген деректерден алынған; нақты өнімділік машинаға байланысты өзгеруі мүмкін.
Өзекті H100 NVL конфигурациялары мен бағалары
Қолжетімді орындар мен бағалар үнемі нақты уақытта жаңартылып отырады. Түпкілікті баға тапсырыс бермес бұрын расталады.
Қазір жалға алуH100 NVL бұлтты GPU-де нені іске қосуға болады
Жоғары өткізу қабілетті LLM серверлері (serving)
3381 GB/s өткізу қабілеті токен генерациясын жеделдетеді, ал 94 GB бір GPU-да квантталған 70B моделін үлкен KV кэшімен бірге сақтауға мүмкіндік береді.
Ұзын контекст және RAG конвейерлері
80 GB картасымен салыстырғандағы артық 14 GB тікелей контекст ұзындығы мен қатар сұраулар санын арттыруға жұмсалады.
30B–70B модельдерін fine-tune жасау
Бір Hopper GPU-ында Unsloth арқылы BF16 форматындағы 30B класты модельдерге LoRA немесе 70B класты модельдерге QLoRA орындаңыз.
Модельдерді ауқымды бағалау (evaluation)
Чекпойынттар бойынша бенчмарктер мен A/B бағалауларын жылдам іске қосыңыз, содан кейін нәтижелер дайын болғанда серверді өшіріңіз.
H100 NVL сіздің жұмыс жүктемеңізге сай келе ме?
Егер AI немесе есептеу жүктемелеріңіз стандартты деректер орталығы карталары ұсынатын деңгейден көбірек жадты қажет етсе (94 GB VRAM-ға дейін), H100 NVL таңдаңыз. Жеңіл инференс пен әзірлеу үшін шағын жұмыс станциясы немесе тұтынушылық GPU қолайлырақ, ал егер модельдеріңіз 94 GB көлемінен асып кетсе, multi-GPU конфигурациясы немесе жады үлкенірек деңгей қажет болады.
H100 NVL және ұқсас бұлтты GPU-лерді салыстыру
| GPU | Әр GPU-дағы VRAM | FP32 өнімділігі | Қуат шегі | |
|---|---|---|---|---|
| NVIDIA H100 NVL | 94 GB | ≈ 48.3 TFLOPS | 400 W | |
| NVIDIA H100 SXM | 80 GB | ≈ 53.5 TFLOPS | 700 W | Толығырақ → |
| NVIDIA H100 PCIE | 80 GB | ≈ 41 TFLOPS | 350 W | Толығырақ → |
| NVIDIA A800 PCIE | 80 GB | ≈ 15.6 TFLOPS | 300 W | Толығырақ → |
| NVIDIA CMP 170HX | 64 GB | ≈ 12.1 TFLOPS | 250 W | Толығырақ → |
H100 NVL бұлтты GPU: жиі қойылатын сұрақтар
H100 NVL бұлтты GPU-ін сағатына жалға алыңыз
Үлгіні таңдаңыз, өзекті конфигурацияны белгілеп, SSH немесе браузер терминалы арқылы қосылыңыз. Төлем GPU жойылған кезде тоқтайды.