Rendi NVIDIA H200 NVL GPU 140 GB VRAM-iga
Rendi H200 NVL pilve GPU-servereid tunnipõhiselt platvormil Cloudj: 140 GB VRAM-i, NVIDIA Hopper ja ligikaudu 3884 GB/s mäluribalaiust – meie valiku suurima mälumahuga GPU. See on loodud meeskondadele, kes käitavad 70B-klassi mudeleid suure täpsusega või ülipikkade kontekstidega, pakkudes 48.3 TFLOPS FP32 jõudlust ja 600 W võimsuspiirangut. Vali vLLM- või SGLang-mall, vali sobiv reaalajas saadaolev H200 NVL konfiguratsioon ja loo ühendus üle SSH.
H200 NVL tehnilised andmed
VRAM GPU kohta
140 GB
Arhitektuur
NVIDIA Hopper
Arvutusvõimekus (compute capability)
9
FP32 arvutusjõudlus
≈ 48.3 TFLOPS
Mälu ribalaius
≈ 3884 GB/s
Võimsuspiirang
600 W
Väärtused põhinevad taristupakkuja andmetel hetkel nimekirjas olevate masinate kohta; tegelik jõudlus võib masinati erineda.
Reaalajas H200 NVL konfiguratsioonid ja hinnad
Reaalajas saadavus ja hinnad uuenevad pidevalt. Lõplikku hinda kinnitatakse enne tellimuse esitamist.
Rendi koheMida saab käitada H200 NVL pilve-GPU-l
70B-klassi mudelid peaaegu täistäpsusega
140 GB mahutab ühel GPU-l 70B mudeli 8-bitisena koos suure KV-vahemäluga või peaaegu 16-bitises mahus.
Pika kontekstiga mudelite käitamine
3884 GB/s hoiab dekodeerimise kiirena, samas kui lisamälu mahutab pikki viipasid ja arvukalt paralleelseid seansse.
70B mudelite peenhäälestus QLoRA-ga
Käita 70B QLoRA-t pikemate jadade ja suuremate partiidega, kui 80 GB kaart võimaldab.
Ekspertide segu (MoE) eksperimendid
MoE-mudelitel on suur kogukaal; 140 GB võimaldab testimiseks laadida suuremaid eksperdikomplekte ilma tükeldamiseta.
Kas H200 NVL on sinu töökoormusele õige GPU?
Vali H200 NVL, kui sinu peamiseks kitsaskohaks on VRAM-i maht ja mäluribalaius, eriti suurte mudelite majutamisel ühel kaardil. Kui tegeled kergema järeldamise (inference), tavapärase pildiloomingu või arendusülesannetega, mis ei vaja 140 GB mälu, on praktilisemaks valikuks väiksem tööjaama- või tarbija-GPU.
H200 NVL vs sarnased pilve-GPU-d
| GPU | VRAM GPU kohta | FP32 arvutusjõudlus | Võimsuspiirang | |
|---|---|---|---|---|
| NVIDIA H200 NVL | 140 GB | ≈ 48.3 TFLOPS | 600 W | |
| NVIDIA H100 NVL | 94 GB | ≈ 48.3 TFLOPS | 400 W | Vaata lähemalt → |
| NVIDIA H100 SXM | 80 GB | ≈ 53.5 TFLOPS | 700 W | Vaata lähemalt → |
| NVIDIA H100 PCIE | 80 GB | ≈ 41 TFLOPS | 350 W | Vaata lähemalt → |
| NVIDIA A800 PCIE | 80 GB | ≈ 15.6 TFLOPS | 300 W | Vaata lähemalt → |
H200 NVL pilve-GPU: korduma kippuvad küsimused
Rendi H200 NVL pilve-GPU tunnikaupa
Vali mall, vali reaalajas konfiguratsioon ja ühendu SSH või brauseriterminali kaudu. Arveldus peatub, kui GPU kustutad.