ជួល GPU NVIDIA CMP 170HX ដែលមាន 64 GB VRAM
ជួលម៉ាស៊ីនបម្រើ Cloud GPU CMP 170HX គិតថ្លៃតាមម៉ោងនៅលើ Cloudj៖ មាន VRAM 64 GB ស្ថាបត្យកម្ម Ampere និង memory bandwidth ប្រហែល 1516 GB/s សម្រាប់ការគណនាដែលទាមទារអង្គចងចាំខ្ពស់ (memory-bound)។ វាជាបន្ទះកាត compute កម្រិត headless សម្រាប់ developers ដែលយកចិត្តទុកដាក់លើ bandwidth និងទំហំផ្ទុកជាងល្បឿន FP32 (12.1 TFLOPS, 250 W, compute capability 8.0)។ សាកល្បងដំណើរការតេស្តរយៈពេលខ្លីលើ template PyTorch ឬ Ollama ជាមុនសិន បន្ទាប់មកពង្រីកទំហំការងារតាមតម្រូវការ។
លក្ខណៈបច្ចេកទេស CMP 170HX
VRAM ក្នុងមួយ GPU
64 GB
ស្ថាបត្យកម្ម
NVIDIA Ampere
សមត្ថភាពគណនា
8
ការគណនា FP32
≈ 12.1 TFLOPS
កម្រិតបញ្ជូនអង្គចងចាំ
≈ 1516 GB/s
ដែនកំណត់ថាមពល
250 W
តម្លៃដែលបានរាយការណ៍ដោយអ្នកផ្តល់ហេដ្ឋារចនាសម្ព័ន្ធសម្រាប់ម៉ាស៊ីនដែលមានក្នុងបញ្ជីបច្ចុប្បន្ន។ ប្រសិទ្ធភាពជាក់ស្តែងអាចប្រែប្រួលទៅតាមម៉ាស៊ីន។
ជម្រើសកំណត់រចនាសម្ព័ន្ធ និងតម្លៃ CMP 170HX ជាក់ស្តែង
ស្តុកជាក់ស្តែង និងតម្លៃត្រូវបានធ្វើបច្ចុប្បន្នភាពជាបន្តបន្ទាប់។ តម្លៃចុងក្រោយនឹងត្រូវបានបញ្ជាក់មុនពេលអ្នកបញ្ជាទិញ។
ជួលឥឡូវនេះអ្វីដែលអ្នកអាចដំណើរការនៅលើ cloud GPU CMP 170HX
Inference ដែលទាមទារ Bandwidth ខ្ពស់
ការបង្កើត token របស់ LLM ត្រូវបានកម្រិតជាចម្បងដោយ memory bandwidth ហើយកម្រិត 1516 GB/s គឺស្ថិតក្នុងកម្រិតប្រហាក់ប្រហែលនឹងបន្ទះកាតលំដាប់ A100។
Hosting ម៉ូឌែល Quantized LLM
ផ្ទុកម៉ូឌែល quantized ក្នុង Ollama ឬ llama.cpp ហើយដំណើរការផ្ដល់សេវាតាមរយៈ API សម្រាប់ការធ្វើតេស្ត ឬឧបករណ៍ប្រើប្រាស់ផ្ទៃក្នុង។
ការពិសោធន៍ CUDA kernel
វិភាគដំណើរការ (Profile) kernels ដែលប្រើអង្គចងចាំធ្ងន់នៅលើបន្ទះកាត Ampere ជាមួយ compute capability 8.0 មុនពេលប្តូរទៅ hardware ដែលធំជាងនេះ។
ដំណើរការទិន្នន័យជាកញ្ចប់ (Batch data processing)
បញ្ជូន arrays ទិន្នន័យធំៗឆ្លងកាត់ GPU memory សម្រាប់ការផ្លាស់ប្តូរទម្រង់ (transforms) ការ hashing ឬការងារវិភាគទិន្នន័យ (analytics) ដែលទាមទារការទាញយកអង្គចងចាំខ្ពស់។
តើ CMP 170HX ជា GPU ដ៏ស័ក្តិសមសម្រាប់បន្ទុកការងាររបស់អ្នកដែរឬទេ?
ជ្រើសរើស CMP 170HX នៅពេលដែលបន្ទុកការងារ (workload) របស់អ្នកជួបបញ្ហាស្ទះដោយសារទំហំអង្គចងចាំ និង bandwidth ជាជាងល្បឿនគណនា single-precision សុទ្ធ។ ជ្រើសរើស GPU ដែលមាន compute throughput ខ្ពស់ជាងនេះ ប្រសិនបើអ្នកត្រូវការជុំបង្វឹក (training iterations) លឿនជាងនេះ ឬជ្រើសរើសបន្ទះកាត consumer តូចជាងនេះ ប្រសិនបើម៉ូឌែលរបស់អ្នកមិនត្រូវការ VRAM រហូតដល់ 64 GB។
CMP 170HX ធៀបនឹង cloud GPU ស្រដៀងគ្នា
| GPU | VRAM ក្នុងមួយ GPU | ការគណនា FP32 | ដែនកំណត់ថាមពល | |
|---|---|---|---|---|
| NVIDIA CMP 170HX | 64 GB | ≈ 12.1 TFLOPS | 250 W | |
| NVIDIA A800 PCIE | 80 GB | ≈ 15.6 TFLOPS | 300 W | ព័ត៌មានលម្អិត → |
| NVIDIA H100 PCIE | 80 GB | ≈ 41 TFLOPS | 350 W | ព័ត៌មានលម្អិត → |
| NVIDIA H100 SXM | 80 GB | ≈ 53.5 TFLOPS | 700 W | ព័ត៌មានលម្អិត → |
| NVIDIA A40 | 45 GB | ≈ 29.9 TFLOPS | 300 W | ព័ត៌មានលម្អិត → |
cloud GPU CMP 170HX៖ សំណួរដែលសួរញឹកញាប់
ជួល cloud GPU CMP 170HX គិតជាម៉ោង
ជ្រើសរើស template, ជ្រើសរើសការកំណត់រចនាសម្ព័ន្ធជាក់ស្តែង ហើយភ្ជាប់តាមរយៈ SSH ឬ browser terminal។ ការគិតប្រាក់នឹងបញ្ឈប់ភ្លាមៗនៅពេលអ្នកលុប GPU។