Rendi NVIDIA H100 NVL GPU 94 GB VRAM-iga
Rendi Cloudj platvormil H100 NVL pilve-GPU-servereid tunnipõhiselt: 94 GB VRAM-i, NVIDIA Hopper ja ligikaudu 3381 GB/s mäluriba laius suurte mudelite järeldamiseks. Loodud LLM-tiimidele, kes vajavad rohkem mälu kui 80 GB H100 ja märksa kiiremat dekodeerimist – see tagab 48.3 TFLOPS FP32 jõudluse 400 W võimsuspiiranguga. Käivita vLLM või SGLang mall, vali sobiv H100 NVL konfiguratsioon ja ühendu üle SSH.
H100 NVL tehnilised andmed
VRAM GPU kohta
94 GB
Arhitektuur
NVIDIA Hopper
Arvutusvõimekus (compute capability)
9
FP32 arvutusjõudlus
≈ 48.3 TFLOPS
Mälu ribalaius
≈ 3381 GB/s
Võimsuspiirang
400 W
Väärtused põhinevad taristupakkuja andmetel hetkel nimekirjas olevate masinate kohta; tegelik jõudlus võib masinati erineda.
Reaalajas H100 NVL konfiguratsioonid ja hinnad
Reaalajas saadavus ja hinnad uuenevad pidevalt. Lõplikku hinda kinnitatakse enne tellimuse esitamist.
Rendi koheMida saab käitada H100 NVL pilve-GPU-l
Suure läbilaskevõimega LLM-ide teenindamine
3381 GB/s ribalaiust kiirendab tokenite genereerimist ning 94 GB mahutab kvanditud 70B mudeli koos suure KV-vahemäluga ühele GPU-le.
Pika kontekstiga mudelid ja RAG-töövood
Võrreldes 80 GB kaardiga lisanduv 14 GB läheb otse konteksti pikkuse ja samaaegsete päringute suurendamiseks.
30B–70B mudelite peenhäälestus
Käita LoRA-t 30B-klassi mudelitel BF16-s või QLoRA-t 70B-klassi mudelitel Unslothiga ühelainsal Hopper GPU-l.
Mudelite hindamine suures skaalas
Käita kontrollpunktide vahel kiiresti jõudlusteste ja A/B-hindamisi ning kustuta server kohe, kui tulemused on käes.
Kas H100 NVL on sinu töökoormusele õige GPU?
Vali H100 NVL, kui sinu AI- või arvutustöökoormused vajavad rohkem mälu, kui tavalised andmekeskuse kaardid pakuvad – kuni 94 GB VRAM-i. Kergemaks järeldamiseks ja arenduseks sobib paremini väiksem tööjaama- või tarbija-GPU, samas kui mudelite puhul, mis ületavad 94 GB, on vaja mitme GPU-ga lahendust või suuremat mälumahtu.
H100 NVL vs sarnased pilve-GPU-d
| GPU | VRAM GPU kohta | FP32 arvutusjõudlus | Võimsuspiirang | |
|---|---|---|---|---|
| NVIDIA H100 NVL | 94 GB | ≈ 48.3 TFLOPS | 400 W | |
| NVIDIA H100 SXM | 80 GB | ≈ 53.5 TFLOPS | 700 W | Vaata lähemalt → |
| NVIDIA H100 PCIE | 80 GB | ≈ 41 TFLOPS | 350 W | Vaata lähemalt → |
| NVIDIA A800 PCIE | 80 GB | ≈ 15.6 TFLOPS | 300 W | Vaata lähemalt → |
| NVIDIA CMP 170HX | 64 GB | ≈ 12.1 TFLOPS | 250 W | Vaata lähemalt → |
H100 NVL pilve-GPU: korduma kippuvad küsimused
Rendi H100 NVL pilve-GPU tunnikaupa
Vali mall, vali reaalajas konfiguratsioon ja ühendu SSH või brauseriterminali kaudu. Arveldus peatub, kui GPU kustutad.