តើ H200 NVL លឿនជាង H100 NVL កម្រិតណា?

យោងតាមលក្ខណៈបច្ចេកទេសដែលបានបញ្ជាក់ ទាំងពីរមានកម្លាំង 48.3 TFLOPS FP32 ដូចគ្នា ប៉ុន្តែ H200 NVL មានទំហំ 140 GB ជំនួសឱ្យ 94 GB និងកម្រិតបញ្ជូន 3884 GB/s ជំនួសឱ្យ 3381 GB/s។ ការងារ LLM ដែលទាមទារអង្គចងចាំខ្លាំង (memory-bound) ទទួលបានអត្ថប្រយោជន៍ច្រើនបំផុត ចំណែកការងារគណនាសុទ្ធសាធគឺខុសគ្នាតិចតួចប៉ុណ្ណោះ។

តើម៉ូដែល 70B អាចដំណើរការក្នុងកម្រិត 16-bit លើ H200 NVL បានដែរឬទេ?

ស្ទើរតែមិនល្មម៖ ទម្ងន់ទិន្នន័យ 70B ក្នុងកម្រិត 16-bit ប្រើប្រាស់អស់ប្រហែល 140 GB ដែលស្ទើរតែគ្មានសល់ទំហំសម្រាប់ KV cache ឡើយ។ ក្នុងការអនុវត្តជាក់ស្តែង គួរដំណើរការ 70B ក្នុងកម្រិត 8-bit ឬ FP8-style quantization ហើយប្រើប្រាស់អង្គចងចាំដែលនៅសល់សម្រាប់ context។

តើអ្នកណាខ្លះដែលគួរជួល H200 NVL ជំនួសឱ្យការប្រើ GPU តូចៗចំនួនពីរ?

ក្រុមការងារដែលម៉ូដែលរបស់ពួកគេអាចដំណើរការលើកាតទំហំ 140 GB តែមួយបាន នឹងអាចជៀសវាងការរៀបចំ tensor-parallel, ការបញ្ជូនទិន្នន័យរវាង GPU និងការដោះស្រាយបញ្ហា (debugging) លើ multi-GPU។ ការប្រើប្រាស់ GPU ធំតែមួយ ជារឿយៗមានភាពងាយស្រួល និងរហ័សជាងក្នុងការធ្វើតេស្តអភិវឌ្ឍន៍។

តើខ្ញុំអាចជួល H200 NVL នៅលើ Cloudj ដោយរបៀបណា?

ជ្រើសរើស template មួយ រួចជ្រើសរើសការកំណត់រចនាសម្ព័ន្ធ H200 NVL ពីបញ្ជីស្តុកដែលមានស្រាប់ បញ្ជាក់តម្លៃ និងបង្កើតម៉ាស៊ីនបម្រើពីសមតុល្យគណនីរបស់អ្នក។ បន្ទាប់មក ភ្ជាប់ទំនាក់ទំនងតាមរយៈ SSH ឬ terminal លើកម្មវិធីរុករក (browser terminal)។

GPU Cloud · NVIDIA · Hopper

ជួល GPU NVIDIA H200 NVL ដែលមាន 140 GB VRAM

ជួលម៉ាស៊ីនបម្រើ Cloud GPU ប្រភេទ H200 NVL គិតជាម៉ោងនៅលើ Cloudj៖ VRAM 140 GB, ស្ថាបត្យកម្ម NVIDIA Hopper និងកម្រិតបញ្ជូនអង្គចងចាំប្រហែល 3884 GB/s ដែលជា GPU មានអង្គចងចាំធំបំផុតនៅក្នុងជួរផលិតផលរបស់យើង។ វាត្រូវបានបង្កើតឡើងសម្រាប់ក្រុមការងារដែលដំណើរការម៉ូដែលកម្រិត 70B ក្នុងកម្រិតភាពច្បាស់ខ្ពស់ ឬបរិបទវែងបំផុត (very long contexts) ជាមួយកម្លាំងគណនា 48.3 TFLOPS FP32 និងកម្រិតថាមពល 600 W។ គ្រាន់តែជ្រើសរើស template vLLM ឬ SGLang រួចកំណត់រចនាសម្ព័ន្ធ H200 NVL ផ្ទាល់ និងភ្ជាប់ទំនាក់ទំនងតាមរយៈ SSH។

ជួល H200 NVL GPU ទាំងអស់

លក្ខណៈបច្ចេកទេស H200 NVL

VRAM ក្នុងមួយ GPU

140 GB

ស្ថាបត្យកម្ម

NVIDIA Hopper

សមត្ថភាពគណនា

ការគណនា FP32

≈ 48.3 TFLOPS

កម្រិតបញ្ជូនអង្គចងចាំ

≈ 3884 GB/s

ដែនកំណត់ថាមពល

600 W

តម្លៃដែលបានរាយការណ៍ដោយអ្នកផ្តល់ហេដ្ឋារចនាសម្ព័ន្ធសម្រាប់ម៉ាស៊ីនដែលមានក្នុងបញ្ជីបច្ចុប្បន្ន។ ប្រសិទ្ធភាពជាក់ស្តែងអាចប្រែប្រួលទៅតាមម៉ាស៊ីន។

ជម្រើសកំណត់រចនាសម្ព័ន្ធ និងតម្លៃ H200 NVL ជាក់ស្តែង

ស្តុកជាក់ស្តែង និងតម្លៃត្រូវបានធ្វើបច្ចុប្បន្នភាពជាបន្តបន្ទាប់។ តម្លៃចុងក្រោយនឹងត្រូវបានបញ្ជាក់មុនពេលអ្នកបញ្ជាទិញ។

ជួលឥឡូវនេះ

អ្វីដែលអ្នកអាចដំណើរការនៅលើ cloud GPU H200 NVL

ម៉ូដែលកម្រិត 70B ជិតកម្រិត full precision

ទំហំ 140 GB អាចផ្ទុកម៉ូដែល 70B ក្នុងកម្រិត 8-bit ជាមួយ KV cache ធំ ឬជិតដល់ទំហំ 16-bit នៅលើ GPU តែមួយគ្រាប់។

ការដំណើរការបរិបទវែង (Long-context serving)

កម្រិតបញ្ជូន 3884 GB/s ជួយឱ្យការ decoding មានល្បឿនលឿន ខណៈដែលអង្គចងចាំបន្ថែមជួយផ្ទុក prompt វែងៗ និងដំណើរការ session ស្របគ្នាបានច្រើន។

ការ Fine-tuning ម៉ូដែល 70B ជាមួយ QLoRA

ដំណើរការ 70B QLoRA ជាមួយ sequence វែងជាងមុន និង batch ធំជាងមុន ដែលកាតទំហំ 80 GB មិនអាចធ្វើបាន។

ការពិសោធន៍លើ Mixture-of-experts

ម៉ូដែល MoE មានទម្ងន់ទិន្នន័យ (weights) សរុបធំខ្លាំង។ ទំហំ 140 GB អនុញ្ញាតឱ្យអ្នកផ្ទុក expert sets កាន់តែធំសម្រាប់ការធ្វើតេស្តដោយមិនបាច់ធ្វើ sharding។

តើ H200 NVL ជា GPU ដ៏ស័ក្តិសមសម្រាប់បន្ទុកការងាររបស់អ្នកដែរឬទេ?

ជ្រើសរើស H200 NVL នៅពេលដែលបញ្ហាប្រឈមចម្បងរបស់អ្នកគឺទំហំ VRAM និងកម្រិតបញ្ជូនអង្គចងចាំ ជាពិសេសសម្រាប់ការបង្ហោះម៉ូដែលធំៗនៅលើកាតតែមួយ។ ប្រសិនបើអ្នកដំណើរការការទាញសេចក្តីសន្និដ្ឋានស្រាលៗ (lighter inference) ការបង្កើតរូបភាពទូទៅ ឬការងារអភិវឌ្ឍន៍ដែលមិនទាមទារអង្គចងចាំ 140 GB នោះ GPU កម្រិត workstation តូចជាង ឬ consumer GPU គឺជាជម្រើសដែលសមស្រប និងសន្សំសំចៃជាង។

H200 NVL ធៀបនឹង cloud GPU ស្រដៀងគ្នា

GPU	VRAM ក្នុងមួយ GPU	ការគណនា FP32	ដែនកំណត់ថាមពល
NVIDIA H200 NVL	140 GB	≈ 48.3 TFLOPS	600 W
NVIDIA H100 NVL	94 GB	≈ 48.3 TFLOPS	400 W	ព័ត៌មានលម្អិត →
NVIDIA H100 SXM	80 GB	≈ 53.5 TFLOPS	700 W	ព័ត៌មានលម្អិត →
NVIDIA H100 PCIE	80 GB	≈ 41 TFLOPS	350 W	ព័ត៌មានលម្អិត →
NVIDIA A800 PCIE	80 GB	≈ 15.6 TFLOPS	300 W	ព័ត៌មានលម្អិត →

cloud GPU H200 NVL៖ សំណួរដែលសួរញឹកញាប់

ជួល cloud GPU H200 NVL គិតជាម៉ោង

ជ្រើសរើស template, ជ្រើសរើសការកំណត់រចនាសម្ព័ន្ធជាក់ស្តែង ហើយភ្ជាប់តាមរយៈ SSH ឬ browser terminal។ ការគិតប្រាក់នឹងបញ្ឈប់ភ្លាមៗនៅពេលអ្នកលុប GPU។

ជួល H200 NVL GPU ទាំងអស់