H100 NVL vs H100 SXM: kumpi on nopeampi?

LLM-dekoodauksessa H100 NVL -kortissa on enemmän muistia (94 GB vs 80 GB) ja enemmän kaistanleveyttä (3381 GB/s vs 2869 GB/s). H100 SXM puolestaan tarjoaa suuremman FP32-suorituskyvyn (53.5 TFLOPS) ja 700 W tehorajan, joten se soveltuu paremmin raskaaseen koulutukseen.

Voinko ajaa 70B-mallia 16-bittisenä H100 NVL -kortilla?

Et. 16-bittisen 70B-mallin painot vaativat noin 140 GB. 94 GB:n muistilla voit ajaa 4- tai 8-bittiseksi kvantisoitua 70B-mallia; 16-bittiselle 70B-mallille 140 GB muistilla varustettu H200 NVL on sopivampi valinta.

Vaatiiko Hopper erityisiä ohjelmistoja?

Hopperin laskentakyky on 9.0 ja se tukee nykyisiä CUDA-, PyTorch-, vLLM- ja SGLang-versioita. Cloudj-mallipohjissa luetellaan niiden vaatima CUDA-vähimmäisversio, ja kullekin pohjalle tarjotaan vain yhteensopivia GPU-vaihtoehtoja.

Miten H100 NVL:n laskutus toimii?

Maksa tuntiperusteisesti palvelimen ollessa käynnissä Cloudj-saldostasi tai valitse kuukausittainen tai pidempi laskutusjakso. Hallintapaneeli vahvistaa hinnan ennen tilaamista, ja pysäytetystä tuntipalvelimesta veloitetaan vain sen levytila.

GPU Cloud · NVIDIA · Hopper

Vuokraa NVIDIA H100 NVL GPU 94 GB VRAM -muistilla

Vuokraa H100 NVL -pilvi-GPU-palvelimia tuntihinnalla palvelusta Cloudj: 94 GB VRAM-muistia, NVIDIA Hopper ja noin 3381 GB/s muistikaistaa suurten kielimallien päättelyyn. Suunniteltu LLM-tiimeille, jotka tarvitsevat enemmän muistia kuin 80 GB H100 tarjoaa sekä merkittävästi nopeampaa dekoodausta – se tuottaa 48.3 TFLOPS FP32 -tehoa 400 W tehorajalla. Käynnistä vLLM- tai SGLang-pohja, valitse vapaa H100 NVL -kokoonpano ja ota yhteys SSH:lla.

Vuokraa H100 NVL Kaikki GPU:t

H100 NVL – tekniset tiedot

VRAM per GPU

94 GB

Arkkitehtuuri

NVIDIA Hopper

Laskentakyky

FP32-laskentateho

≈ 48.3 TFLOPS

Muistikaistanleveys

≈ 3381 GB/s

Tehonkulutusraja

400 W

Infrastruktuuritoimittajan ilmoittamat arvot listatuille koneille; todellinen suorituskyky vaihtelee laitekohtaisesti.

Reaaliaikaiset H100 NVL-kokoonpanot ja hinnat

Reaaliaikainen varastotilanne ja jatkuvasti päivittyvät hinnat. Lopullinen hinta vahvistetaan ennen tilausta.

Vuokraa heti

Mitä voit ajaa H100 NVL-pilvi-GPU:lla

Suuren läpimenon LLM-tarjoilu

3381 GB/s kaistanleveys nopeuttaa tokenien luontia, ja 94 GB pitää kvantisoidun 70B-mallin sekä laajan KV-välimuistin yhdellä GPU:lla.

Pitkän kontekstin ja RAG-putket

80 GB -korttiin nähden saatava 14 GB lisämuisti siirtyy suoraan kontekstin pituuteen ja samanaikaisiin pyyntöihin.

30B–70B-mallien hienosäätö

Aja LoRA-koulutusta 30B-luokan malleille BF16-tarkkuudella tai QLoRAa 70B-luokan malleille Unslothilla yhdellä Hopper-GPU:lla.

Mallien arviointi suuressa mittakaavassa

Aja suorituskykytestejä ja A/B-evaluointeja eri tarkistuspisteiden välillä nopeasti ja poista palvelin, kun tulokset ovat valmiina.

Onko H100 NVL oikea GPU työkuormallesi?

Valitse H100 NVL, kun tekoäly- tai laskentakuormasi vaativat enemmän muistia kuin tavalliset konesalikortit tarjoavat, aina 94 GB VRAM-muistiin asti. Pienempi työasema- tai kuluttaja-GPU on parempi valinta kevyeen päättelyyn ja kehitystyöhön, kun taas useamman GPU:n kokoonpano tai suurempi muistiluokka on tarpeen, jos mallisi ylittävät 94 GB.

H100 NVL vs. vastaavat pilvi-GPU:t

GPU	VRAM per GPU	FP32-laskentateho	Tehonkulutusraja
NVIDIA H100 NVL	94 GB	≈ 48.3 TFLOPS	400 W
NVIDIA H100 SXM	80 GB	≈ 53.5 TFLOPS	700 W	Tarkemmat tiedot →
NVIDIA H100 PCIE	80 GB	≈ 41 TFLOPS	350 W	Tarkemmat tiedot →
NVIDIA A800 PCIE	80 GB	≈ 15.6 TFLOPS	300 W	Tarkemmat tiedot →
NVIDIA CMP 170HX	64 GB	≈ 12.1 TFLOPS	250 W	Tarkemmat tiedot →

H100 NVL-pilvi-GPU: usein kysytyt kysymykset

Vuokraa H100 NVL-pilvi-GPU tuntiveloituksella

Valitse valmispohja, valitse reaaliaikainen kokoonpano ja ota yhteys SSH:lla tai selainterminaalilla. Laskutus päättyy heti, kun poistat GPU:n.

Vuokraa H100 NVL Kaikki GPU:t