140 GB VRAM bilen NVIDIA H200 NVL GPU kärendesine alyň
Cloudj platformasynda sagatlyk töleg bilen H200 NVL bulut GPU serwerlerini kärendesine alyň: 140 GB VRAM, NVIDIA Hopper we takmynan 3884 GB/s ýat geçirijiligi — hatarymyzdaky iň uly ýatly GPU. Ol 48.3 TFLOPS FP32 we 600 W güýç çägi bilen 70B synply modelleri ýokary takyklykda ýa-da gaty uzyn kontekstde işledýän toparlar üçin niýetlenen. vLLM ýa-da SGLang şablony saýlaň, elýeterli H200 NVL konfigurasiýasyny saýlap, SSH arkaly birigiň.
H200 NVL tehniki aýratynlyklary
Her GPU üçin VRAM
140 GB
Arhitektura
NVIDIA Hopper
Hasaplama ukyby
9
FP32 hasaplamasy
≈ 48.3 TFLOPS
Ýat geçirijiligi
≈ 3884 GB/s
Kuwwat çägi
600 W
Bahalar häzirki sanawdaky maşynlar üçin infrastruktura üpjün edijisi tarapyndan görkezilendir; hakyky öndürijilik maşyna görä üýtgäp biler.
Elýeterli H200 NVL konfigurasiýalary we bahalary
Hakyky wagt ätiýajy we bahalar yzygiderli täzelenýär. Gutarnykly baha sargyt etmezden öň tassyklanylýar.
Häzir kärendesine alyňH200 NVL bulut GPU-synda nämeleri işledip bilersiňiz
Doly takyklyga ýakyn 70B synply modeller
140 GB göwrüm ýekeje GPU-da uly KV keş bilen 8-bit görnüşindäki 70B modelini ýa-da 16-bit möçberine ýakyn agramy saklaýar.
Uzyn kontekstli hyzmat ediş
3884 GB/s tizlik dekodirlemäni çalt saklaýar, goşmaça ýat bolsa uzyn promptlary we köp sanly parallel sessiýalary saklamaga mümkinçilik berýär.
70B modellerini QLoRA bilen sazlamak (fine-tuning)
80 GB kartanyň ýol berýäninden has uzyn yzygiderlilikler we has uly tapgyrlar (batch) bilen 70B QLoRA işlediň.
Ekspertler garyndysy (MoE) boýunça synaglar
MoE modelleriniň umumy agramy uly bolýar; 140 GB göwrüm bolsa şarding gerek bolmazdan barlag üçin has uly ekspert toplumlaryny ýüklemäge mümkinçilik berýär.
H200 NVL siziň iş ýüküňiz üçin dogry GPU-my?
Esasy bökdençligiňiz VRAM sygmy we ýat geçirijiligi bolanda, aýratyn-da uly modelleri ýekeje kartada ýerleşdirmek üçin H200 NVL saýlaň. Eger siz 140 GB ýat talap etmeýän ýeňilräk inferens, adaty surat döretmek ýa-da işläp düzüş işlerini ýerine ýetirýän bolsaňyz, has kiçi iş stansiýasy ýa-da sarp ediji GPU has amatly saýlawdyr.
H200 NVL meňzeş bulut GPU-laryna garşy
| GPU | Her GPU üçin VRAM | FP32 hasaplamasy | Kuwwat çägi | |
|---|---|---|---|---|
| NVIDIA H200 NVL | 140 GB | ≈ 48.3 TFLOPS | 600 W | |
| NVIDIA H100 NVL | 94 GB | ≈ 48.3 TFLOPS | 400 W | Jikme-jiklikler → |
| NVIDIA H100 SXM | 80 GB | ≈ 53.5 TFLOPS | 700 W | Jikme-jiklikler → |
| NVIDIA H100 PCIE | 80 GB | ≈ 41 TFLOPS | 350 W | Jikme-jiklikler → |
| NVIDIA A800 PCIE | 80 GB | ≈ 15.6 TFLOPS | 300 W | Jikme-jiklikler → |
H200 NVL bulut GPU: köp berilýän soraglar
H200 NVL bulut GPU-syny sagatlaýyn kärendesine alyň
Şablon saýlaň, elýeterli konfigurasiýany saýlaň we SSH ýa-da brauzer terminaly arkaly birigiň. GPU-ny pozanyňyzda töleg duruzylýar.