140 GB VRAM සමඟ NVIDIA H200 NVL GPU කුලියට ගන්න
Cloudj වෙතින් පැයක පදනම මත H200 NVL cloud GPU servers කුලියට ගන්න: 140 GB VRAM, NVIDIA Hopper සහ 3884 GB/s පමණ memory bandwidth සහිත, අප සතු විශාලතම මතකය සහිත GPU එක මෙයයි. 48.3 TFLOPS FP32 සහ 600 W power limit එකක් සහිත මෙය, high precision මට්ටමින් හෝ අතිශය දිගු contexts සහිතව 70B-class models serve කරන කණ්ඩායම් වෙනුවෙන්ම නිර්මාණය කර ඇත. vLLM හෝ SGLang template එකක් තෝරා, සජීවී H200 NVL configuration එකක් ලබාගෙන SSH හරහා සම්බන්ධ වන්න.
H200 NVL පිරිවිතර
එක් GPU එකක VRAM
140 GB
Architecture
NVIDIA Hopper
Compute capability
9
FP32 compute
≈ 48.3 TFLOPS
Memory bandwidth
≈ 3884 GB/s
Power limit
600 W
දැනට ලැයිස්තුගත කර ඇති පරිගණක සඳහා infrastructure provider විසින් සපයන ලද අගයන්; සැබෑ කාර්යක්ෂමතාව පරිගණකය අනුව වෙනස් විය හැක.
Live H200 NVL මානකරන සහ මිල ගණන්
නිරන්තරයෙන් යාවත්කාලීන වන සජීවී තොග සහ මිල ගණන්. අවසාන මිල ඇණවුම් කිරීමට පෙර තහවුරු කරනු ලැබේ.
දැන්ම කුලියට ගන්නH200 NVL cloud GPU එක මත ඔබට ධාවනය කළ හැකි දෑ
සම්පූර්ණ precision මට්ටමට ආසන්න 70B-class models
තනි GPU එකක් මත විශාල KV cache සමඟ 8-bit වලින් හෝ 16-bit ප්‍රමාණයට ආසන්නව 70B model එකක් රඳවා ගැනීමට 140 GB ධාරිතාව ප්‍රමාණවත් වේ.
දිගු context serving
3884 GB/s මඟින් decoding වේගවත්ව තබා ගන්නා අතර, අමතර මතකය මඟින් දිගු prompts සහ එකවර ක්‍රියාත්මක වන parallel sessions රාශියක් රඳවා ගනී.
QLoRA සමඟ 70B models fine-tuning කිරීම
80 GB card එකකින් කළ හැකි ප්‍රමාණයට වඩා දිගු sequences සහ විශාල batches සමඟින් 70B QLoRA ධාවනය කරන්න.
Mixture-of-experts අත්හදා බැලීම්
MoE models සතුව විශාල මුළු weights ප්‍රමාණයක් ඇත; 140 GB නිසා sharding කිරීමකින් තොරව පරීක්ෂා කිරීම සඳහා විශාල expert sets load කර ගැනීමට ඔබට ඉඩ සලසයි.
H200 NVL ඔබගේ කාර්යභාරයට වඩාත්ම ගැළපෙන GPU එකද?
ඔබේ ප්‍රධාන බාධකය VRAM ධාරිතාව සහ memory bandwidth වන විට, විශේෂයෙන් තනි card එකක් මත විශාල models host කිරීමට H200 NVL තෝරාගන්න. ඔබ 140 GB මතකයක් අවශ්‍ය නොවන සැහැල්ලු inference, සාමාන්ය image generation හෝ development කටයුතු සිදු කරන්නේ නම්, කුඩා workstation එකක් හෝ consumer GPU එකක් වඩාත් ප්‍රායෝගික තේරීමකි.
H200 NVL සහ සමාන cloud GPU සංසන්දනය
| GPU | එක් GPU එකක VRAM | FP32 compute | Power limit | |
|---|---|---|---|---|
| NVIDIA H200 NVL | 140 GB | ≈ 48.3 TFLOPS | 600 W | |
| NVIDIA H100 NVL | 94 GB | ≈ 48.3 TFLOPS | 400 W | විස්තර බලන්න → |
| NVIDIA H100 SXM | 80 GB | ≈ 53.5 TFLOPS | 700 W | විස්තර බලන්න → |
| NVIDIA H100 PCIE | 80 GB | ≈ 41 TFLOPS | 350 W | විස්තර බලන්න → |
| NVIDIA A800 PCIE | 80 GB | ≈ 15.6 TFLOPS | 300 W | විස්තර බලන්න → |
H200 NVL cloud GPU: නිතර අසන ප්‍රශ්න
පැයක පදනම මත H200 NVL cloud GPU කුලියට ගන්න
Template එකක් තෝරා, live configuration එකක් තෝරාගෙන SSH හෝ browser terminal හරහා සම්බන්ධ වන්න. ඔබ GPU එක delete කළ සැණින් බිල්පත් අයකිරීම නතර වේ.