ជួល GPU NVIDIA H100 NVL ដែលមាន 94 GB VRAM
ជួល cloud GPU server H100 NVL គិតថ្លៃតាមម៉ោងនៅលើ Cloudj៖ VRAM 94 GB, NVIDIA Hopper និង memory bandwidth ប្រហែល 3381 GB/s សម្រាប់ការដំណើរការ large-model inference។ បង្កើតឡើងសម្រាប់ក្រុមការងារ LLM ដែលត្រូវការ memory ច្រើនជាង H100 80 GB និងល្បឿន decoding លឿនជាងមុនខ្លាំង វាផ្ដល់កម្លាំង 48.3 TFLOPS FP32 ក្នុងកម្រិតថាមពល 400 W។ ចាប់ផ្ដើមប្រើ template vLLM ឬ SGLang ជ្រើសរើស configuration H100 NVL ផ្ទាល់ ហើយភ្ជាប់ការប្រើប្រាស់តាមរយៈ SSH។
លក្ខណៈបច្ចេកទេស H100 NVL
VRAM ក្នុងមួយ GPU
94 GB
ស្ថាបត្យកម្ម
NVIDIA Hopper
សមត្ថភាពគណនា
9
ការគណនា FP32
≈ 48.3 TFLOPS
កម្រិតបញ្ជូនអង្គចងចាំ
≈ 3381 GB/s
ដែនកំណត់ថាមពល
400 W
តម្លៃដែលបានរាយការណ៍ដោយអ្នកផ្តល់ហេដ្ឋារចនាសម្ព័ន្ធសម្រាប់ម៉ាស៊ីនដែលមានក្នុងបញ្ជីបច្ចុប្បន្ន។ ប្រសិទ្ធភាពជាក់ស្តែងអាចប្រែប្រួលទៅតាមម៉ាស៊ីន។
ជម្រើសកំណត់រចនាសម្ព័ន្ធ និងតម្លៃ H100 NVL ជាក់ស្តែង
ស្តុកជាក់ស្តែង និងតម្លៃត្រូវបានធ្វើបច្ចុប្បន្នភាពជាបន្តបន្ទាប់។ តម្លៃចុងក្រោយនឹងត្រូវបានបញ្ជាក់មុនពេលអ្នកបញ្ជាទិញ។
ជួលឥឡូវនេះអ្វីដែលអ្នកអាចដំណើរការនៅលើ cloud GPU H100 NVL
ការដំណើរការ LLM serving កម្រិត throughput ខ្ពស់
Bandwidth 3381 GB/s ជួយបង្កើនល្បឿនបង្កើត token ហើយទំហំ 94 GB អាចផ្ទុកម៉ូឌែល quantized 70B រួមទាំង KV cache ធំនៅលើ GPU តែមួយ។
ប្រព័ន្ធ Long-context និង RAG pipeline
ទំហំបន្ថែម 14 GB បើធៀបនឹងកាត 80 GB ជួយបង្កើន context length និងទទួល concurrent request បានកាន់តែច្រើនដោយផ្ទាល់។
ការធ្វើ Fine-tuning លើម៉ូឌែល 30B–70B
ដំណើរការ LoRA លើម៉ូឌែលត្រកូល 30B ជាទម្រង់ BF16 ឬ QLoRA លើម៉ូឌែលត្រកូល 70B ជាមួយ Unsloth នៅលើ GPU Hopper តែមួយ។
ការវាយតម្លៃម៉ូឌែលក្នុងទ្រង់ទ្រាយធំ
ដំណើរការ benchmark suite និងការវាយតម្លៃ A/B លើ checkpoint ផ្សេងៗយ៉ាងរហ័ស រួចលុប server ចេញនៅពេលទទួលបានពិន្ទុរួចរាល់។
តើ H100 NVL ជា GPU ដ៏ស័ក្តិសមសម្រាប់បន្ទុកការងាររបស់អ្នកដែរឬទេ?
ជ្រើសរើស H100 NVL នៅពេលដែល workload ផ្នែក AI ឬការគណនារបស់អ្នកត្រូវការ memory ច្រើនជាងកាត datacenter ស្តង់ដារអាចផ្ដល់ឱ្យ រហូតដល់ 94 GB VRAM។ កាត GPU ខ្នាតតូចសម្រាប់ workstation ឬ consumer គឺជាជម្រើសប្រសើរជាងសម្រាប់ការអភិវឌ្ឍ និង inference កម្រិតស្រាល ខណៈដែលការដំឡើង multi-GPU ឬកម្រិត memory ធំជាងនេះ គឺចាំបាច់ប្រសិនបើម៉ូឌែលរបស់អ្នកលើសពី 94 GB។
H100 NVL ធៀបនឹង cloud GPU ស្រដៀងគ្នា
| GPU | VRAM ក្នុងមួយ GPU | ការគណនា FP32 | ដែនកំណត់ថាមពល | |
|---|---|---|---|---|
| NVIDIA H100 NVL | 94 GB | ≈ 48.3 TFLOPS | 400 W | |
| NVIDIA H100 SXM | 80 GB | ≈ 53.5 TFLOPS | 700 W | ព័ត៌មានលម្អិត → |
| NVIDIA H100 PCIE | 80 GB | ≈ 41 TFLOPS | 350 W | ព័ត៌មានលម្អិត → |
| NVIDIA A800 PCIE | 80 GB | ≈ 15.6 TFLOPS | 300 W | ព័ត៌មានលម្អិត → |
| NVIDIA CMP 170HX | 64 GB | ≈ 12.1 TFLOPS | 250 W | ព័ត៌មានលម្អិត → |
cloud GPU H100 NVL៖ សំណួរដែលសួរញឹកញាប់
ជួល cloud GPU H100 NVL គិតជាម៉ោង
ជ្រើសរើស template, ជ្រើសរើសការកំណត់រចនាសម្ព័ន្ធជាក់ស្តែង ហើយភ្ជាប់តាមរយៈ SSH ឬ browser terminal។ ការគិតប្រាក់នឹងបញ្ឈប់ភ្លាមៗនៅពេលអ្នកលុប GPU។