140 GB VRAM менен NVIDIA H200 NVL GPU ижарага алыңыз
Cloudj платформасынан H200 NVL булуттук GPU серверлерин саатына ижарага алыңыз: 140 GB VRAM, NVIDIA Hopper жана болжол менен 3884 GB/s эс тутум өткөрүү жөндөмдүүлүгү — биздин катардагы эң чоң эстутумдуу GPU. Ал 48.3 TFLOPS FP32 жана 600 W кубаттуулук чеги менен 70B классындагы моделдерди жогорку тактыкта же өтө узун контексттерде иштеткен командалар үчүн түзүлгөн. vLLM же SGLang шаблонун тандаңыз, жеткиликтүү H200 NVL конфигурациясын белгилеп, SSH аркылуу туташыңыз.
H200 NVL мүнөздөмөлөрү
Бир GPUга VRAM
140 GB
Архитектурасы
NVIDIA Hopper
Эсептөө жөндөмдүүлүгү
9
FP32 эсептөө кубаттуулугу
≈ 48.3 TFLOPS
Эс тутумунун өткөрүмдүүлүгү
≈ 3884 GB/s
Кубаттуулук чеги
600 W
Көрсөткүчтөр тизмеде көрсөтүлгөн машиналар үчүн инфраструктура провайдери тарабынан берилген; чыныгы өндүрүмдүүлүк машинага жараша айырмаланышы мүмкүн.
Учурдагы H200 NVL конфигурациялары жана баалары
Учурдагы жеткиликтүүлүк жана баалар тынымсыз жаңыланып турат. Акыркы баа буйрутма берүүдөн мурун такталат.
Азыр ижарага алууH200 NVL булут GPU'сунда эмнелерди иштетсе болот
Толук тактыкка жакын 70B классындагы моделдер
140 GB бир эле GPU'да 70B моделин чоң KV-кэш менен 8-bit форматында же 16-bit көлөмүнө жакын сыйдырат.
Узун контекстти тейлөө
3884 GB/s ылдамдыгы декоддоону ыкчам кармап турат, ал эми кошумча эс тутум узун промпттарды жана көптөгөн параллелдүү сессияларды батырат.
70B моделдерин QLoRA менен кошумча үйрөтүү (fine-tuning)
80 GB картасына караганда узунураак ырааттуулуктар жана чоңураак batch'тер менен 70B QLoRA иштетиңиз.
Mixture-of-experts эксперименттери
MoE моделдеринин жалпы салмагы чоң; 140 GB шардингсиз эле сыноо үчүн чоңураак эксперттер топтомун жүктөөгө мүмкүндүк берет.
H200 NVL сиздин жүктөмүңүзгө ылайыктуу GPUбу?
Негизги чектөөңүз VRAM сыйымдуулугу жана эс тутумдун өткөрүү жөндөмдүүлүгү болгондо, өзгөчө чоң моделдерди бир картада жайгаштыруу үчүн H200 NVL тандаңыз. Эгер сиз жеңилирээк инференс, стандарттуу сүрөт генерациялоо же 140 GB эстутумду талап кылбаган иштеп чыгуу тапшырмаларын аткарып жатсаңыз, чакан жумушчу станция же керектөөчү GPU кыйла ыңгайлуу чечим болуп саналат.
H200 NVL vs окшош булут GPU'лары
| GPU | Бир GPUга VRAM | FP32 эсептөө кубаттуулугу | Кубаттуулук чеги | |
|---|---|---|---|---|
| NVIDIA H200 NVL | 140 GB | ≈ 48.3 TFLOPS | 600 W | |
| NVIDIA H100 NVL | 94 GB | ≈ 48.3 TFLOPS | 400 W | Кененирээк → |
| NVIDIA H100 SXM | 80 GB | ≈ 53.5 TFLOPS | 700 W | Кененирээк → |
| NVIDIA H100 PCIE | 80 GB | ≈ 41 TFLOPS | 350 W | Кененирээк → |
| NVIDIA A800 PCIE | 80 GB | ≈ 15.6 TFLOPS | 300 W | Кененирээк → |
H200 NVL булут GPU'су: көп берилүүчү суроолор
H200 NVL булут GPU'сун саатына ижарага алыңыз
Шаблонду тандаңыз, учурдагы конфигурацияны белгилеп, SSH же браузер терминалы аркылуу туташыңыз. Төлөм эсептөө GPU өчүрүлгөндө токтойт.