Kri GPU NVIDIA H100 NVL b'94 GB VRAM
Ikri servers tal-cloud GPU H100 NVL bis-siegħa fuq Cloudj: 94 GB VRAM, NVIDIA Hopper u madwar 3381 GB/s ta' memory bandwidth għall-inference ta' mudelli kbar. Mibni għal timijiet tal-LLM li jeħtieġu aktar memorja minn H100 ta' 80 GB u decoding ferm aktar mgħaġġel, dan jagħti 48.3 TFLOPS FP32 b'limitu ta' konsum ta' 400 W. Ibda template ta' vLLM jew SGLang, agħżel konfigurazzjoni attiva ta' H100 NVL u qabbad permezz ta' SSH.
Speċifikazzjonijiet ta' H100 NVL
VRAM għal kull GPU
94 GB
Arkitettura
NVIDIA Hopper
Kapaċità ta' komputazzjoni
9
Komputazzjoni FP32
≈ 48.3 TFLOPS
Bandwidth tal-memorja
≈ 3381 GB/s
Limitu tal-enerġija
400 W
Valuri rrappurtati mill-fornitur tal-infrastruttura għall-magni elenkati bħalissa; il-prestazzjoni reali tista' tvarja skont il-magna.
Konfigurazzjonijiet u prezzijiet f'ħin reali ta' H100 NVL
Stokk u prezzijiet diretti, aġġornati kontinwament. Il-prezz finali jiġi kkonfermat qabel tordna.
Ikri issaX'tista' tħaddem fuq il-cloud GPU H100 NVL
LLM serving bi throughput għoli
Bandwidth ta' 3381 GB/s tħaffef il-ġenerazzjoni tat-tokens, u 94 GB iżommu mudell 70B kwantizzat flimkien ma' KV cache kbir fuq GPU waħda.
Pipelines ta' kuntest twil u RAG
L-14 GB żejda meta mqabbla ma' kard ta' 80 GB imorru direttament għat-tul tal-kuntest u talbiet simultanji.
Fine-tuning ta' mudelli 30B–70B
Ħaddem LoRA fuq mudelli tal-klassi 30B f'BF16 jew QLoRA fuq mudelli tal-klassi 70B b'Unsloth fuq GPU Hopper waħda.
Evalwazzjoni ta' mudelli fuq skala kbira
Ħaddem suites ta' benchmarks u evalwazzjonijiet A/B bejn checkpoints malajr, imbagħad ħassar is-server meta jkollok ir-riżultati.
Il-H100 NVL hija l-GPU t-tajba għall-workload tiegħek?
Agħżel l-H100 NVL meta l-workloads tiegħek tal-AI jew tal-computing jeħtieġu aktar memorja milli jipprovdu kards standard ta' datacenter, sa 94 GB ta' VRAM. GPU iżgħar ta' workstation jew għall-konsumatur hija għażla aħjar għal inference ħafifa u żvilupp, filwaqt li setup multi-GPU jew tier b'memorja akbar ikunu meħtieġa jekk il-mudelli tiegħek jaqbżu l-94 GB.
H100 NVL vs cloud GPUs simili
| GPU | VRAM għal kull GPU | Komputazzjoni FP32 | Limitu tal-enerġija | |
|---|---|---|---|---|
| NVIDIA H100 NVL | 94 GB | ≈ 48.3 TFLOPS | 400 W | |
| NVIDIA H100 SXM | 80 GB | ≈ 53.5 TFLOPS | 700 W | Dettalji → |
| NVIDIA H100 PCIE | 80 GB | ≈ 41 TFLOPS | 350 W | Dettalji → |
| NVIDIA A800 PCIE | 80 GB | ≈ 15.6 TFLOPS | 300 W | Dettalji → |
| NVIDIA CMP 170HX | 64 GB | ≈ 12.1 TFLOPS | 250 W | Dettalji → |
Cloud GPU H100 NVL: mistoqsijiet frekwenti
Kri l-cloud GPU H100 NVL bis-siegħa
Agħżel template, agħżel konfigurazzjoni f'ħin reali u kkonnettja permezz ta' SSH jew it-terminal tal-browser. Il-fatturazzjoni tieqaf meta tħassar il-GPU.