140 GB VRAM бар NVIDIA H200 NVL GPU жалға алу
Cloudj платформасында H200 NVL бұлттық GPU серверлерін сағатына жалға алыңыз: 140 GB VRAM, NVIDIA Hopper және шамамен 3884 GB/s жад өткізу қабілеті — біздің қатардағы жады ең үлкен GPU. Ол 70B класындағы үлгілерді жоғары дәлдікпен немесе өте ұзақ контекстпен іске қосатын командалар үшін арналған, өнімділігі 48.3 TFLOPS FP32 және қуат шегі 600 W құрайды. vLLM немесе SGLang үлгісін таңдаңыз, қолжетімді H200 NVL конфигурациясын белгілеп, SSH арқылы қосылыңыз.
H200 NVL техникалық сипаттамалары
Әр GPU-дағы VRAM
140 GB
Архитектурасы
NVIDIA Hopper
Есептеу қабілеті (Compute capability)
9
FP32 өнімділігі
≈ 48.3 TFLOPS
Жад өткізу қабілеті
≈ 3884 GB/s
Қуат шегі
600 W
Мәндер қазіргі уақытта ұсынылған машиналар үшін инфрақұрылым провайдері берген деректерден алынған; нақты өнімділік машинаға байланысты өзгеруі мүмкін.
Өзекті H200 NVL конфигурациялары мен бағалары
Қолжетімді орындар мен бағалар үнемі нақты уақытта жаңартылып отырады. Түпкілікті баға тапсырыс бермес бұрын расталады.
Қазір жалға алуH200 NVL бұлтты GPU-де нені іске қосуға болады
Толық дәлдікке жуық 70B класындағы үлгілер
140 GB жалғыз GPU-да 70B үлгісін үлкен KV кэшімен бірге 8-bit форматында немесе 16-bit көлеміне жақын күйде сыйғызады.
Ұзақ контексті серверинг
3884 GB/s декодтау жылдамдығын жоғары ұстайды, ал қосымша жад ұзақ промпттар мен көптеген параллель сессияларды сақтауға мүмкіндік береді.
70B үлгілерін QLoRA арқылы баптау
70B QLoRA баптауын 80 GB картасы мүмкіндік беретіннен әлдеқайда ұзынырақ реттіліктермен және үлкенірек батчтармен іске қосыңыз.
Mixture-of-experts эксперименттері
MoE үлгілерінің жалпы салмағы өте үлкен; 140 GB шардингсіз тестілеу үшін сарапшылардың ауқымды жиынтығын жүктеуге мүмкіндік береді.
H200 NVL сіздің жұмыс жүктемеңізге сай келе ме?
Негізгі кедергі VRAM сыйымдылығы мен жад өткізу қабілеті болған кезде, әсіресе үлкен үлгілерді бір картада орналастыру үшін H200 NVL таңдаңыз. Егер сіз 140 GB жадты қажет етпейтін жеңілірек инференс, стандартты кескіндер жасау немесе әзірлеу тапсырмаларын орындасаңыз, кішігірім жұмыс станциясы немесе тұтынушылық GPU неғұрлым тиімді таңдау болады.
H200 NVL және ұқсас бұлтты GPU-лерді салыстыру
| GPU | Әр GPU-дағы VRAM | FP32 өнімділігі | Қуат шегі | |
|---|---|---|---|---|
| NVIDIA H200 NVL | 140 GB | ≈ 48.3 TFLOPS | 600 W | |
| NVIDIA H100 NVL | 94 GB | ≈ 48.3 TFLOPS | 400 W | Толығырақ → |
| NVIDIA H100 SXM | 80 GB | ≈ 53.5 TFLOPS | 700 W | Толығырақ → |
| NVIDIA H100 PCIE | 80 GB | ≈ 41 TFLOPS | 350 W | Толығырақ → |
| NVIDIA A800 PCIE | 80 GB | ≈ 15.6 TFLOPS | 300 W | Толығырақ → |
H200 NVL бұлтты GPU: жиі қойылатын сұрақтар
H200 NVL бұлтты GPU-ін сағатына жалға алыңыз
Үлгіні таңдаңыз, өзекті конфигурацияны белгілеп, SSH немесе браузер терминалы арқылы қосылыңыз. Төлем GPU жойылған кезде тоқтайды.