តើ Tesla V100 គាំទ្រ BF16 ដែរឬទេ?

មិនគាំទ្រទេ។ Volta (compute capability 7.0) គាំទ្រការគណនា FP16 Tensor Core ប៉ុន្តែមិនគាំទ្រ BF16 ឡើយ។ វិធីសាស្ត្រដែលទាមទារ BF16 ត្រូវការ GPU ស្ថាបត្យកម្ម Ampere ឬជំនាន់ថ្មីជាងនេះ ដូចជា A100 ឬ RTX 3090។

Tesla V100 ឬ RTX 4060 Ti 16 GB?

GPU ទាំងពីរមានទំហំ 16 GB ដូចគ្នា។ ប៉ុន្តែ V100 មាន bandwidth ខ្ពស់ជាងឆ្ងាយ គឺ 780 ប្រៀបធៀបនឹង 236 GB/s ដែលជួយដល់ដំណើរការ LLM decoding។ ចំណែកឯ RTX 4060 Ti មានកម្លាំង FP32 ខ្ពស់ជាង (21.6 TFLOPS) និងគាំទ្រ BF16 នៅលើស្ថាបត្យកម្ម Ada Lovelace។

តើខ្ញុំអាច fine-tune ម៉ូឌែល LLMs នៅលើ V100 បានទេ?

អាចធ្វើបានសម្រាប់ម៉ូឌែលខ្នាតតូច។ ការប្រើប្រាស់ QLoRA លើម៉ូឌែល 7B អាចដាក់ដំណើរការបានលើ 16 GB ដោយប្រើ FP16 ជំនួសឱ្យ BF16។ សម្រាប់ម៉ូឌែលធំជាងនេះ ឬ sequence ប្រវែងវែងជាងនេះ GPU ទំហំ 24 GB ឬ 40 GB គឺសមស្រប និងងាយស្រួលជាង។

តើត្រូវចាប់ផ្តើមប្រើប្រាស់ Tesla V100 នៅលើ Cloudj ដោយរបៀបណា?

ជ្រើសរើស template ដែលគាំទ្រ Volta រួចជ្រើសរើស configuration នៃ V100 ដែលទំនេរ និងបញ្ជាក់តម្លៃ។ ភ្ជាប់តាមរយៈ SSH ឬ browser terminal។ ការគិតប្រាក់គឺគិតតាមម៉ោង លើកលែងតែអ្នកជ្រើសរើសកញ្ចប់រយៈពេលវែងជាងនេះ។

GPU Cloud · NVIDIA · Volta

ជួល GPU NVIDIA Tesla V100 ដែលមាន 16 GB VRAM

ជួល cloud GPU server ប្រភេទ Tesla V100 គិតថ្លៃតាមម៉ោងនៅលើ Cloudj៖ VRAM 16 GB, ស្ថាបត្យកម្ម NVIDIA Volta និង memory bandwidth ប្រមាណ 780 GB/s ជាមួយកម្លាំង 12.5 TFLOPS FP32។ V100 បាននាំមកនូវបច្ចេកវិទ្យា Tensor Cores ដំបូងគេ និងនៅតែជា GPU កម្រិត datacenter ដ៏រឹងមាំសម្រាប់ការបណ្តុះបណ្តាល FP16 mixed-precision, ការផ្ទៀងផ្ទាត់លទ្ធផលស្រាវជ្រាវឡើងវិញ និង inference ទំហំមធ្យម ក្រោមដែនកំណត់ថាមពល 300 W។ ជ្រើសរើស template ប្រភេទ PyTorch ពិនិត្យមើលតម្រូវការ CUDA និងភ្ជាប់តាមរយៈ SSH ភ្លាមៗ។

ជួល Tesla V100 GPU ទាំងអស់

លក្ខណៈបច្ចេកទេស Tesla V100

VRAM ក្នុងមួយ GPU

16 GB

ស្ថាបត្យកម្ម

NVIDIA Volta

សមត្ថភាពគណនា

ការគណនា FP32

≈ 12.5 TFLOPS

កម្រិតបញ្ជូនអង្គចងចាំ

≈ 780 GB/s

ដែនកំណត់ថាមពល

300 W

តម្លៃដែលបានរាយការណ៍ដោយអ្នកផ្តល់ហេដ្ឋារចនាសម្ព័ន្ធសម្រាប់ម៉ាស៊ីនដែលមានក្នុងបញ្ជីបច្ចុប្បន្ន។ ប្រសិទ្ធភាពជាក់ស្តែងអាចប្រែប្រួលទៅតាមម៉ាស៊ីន។

ជម្រើសកំណត់រចនាសម្ព័ន្ធ និងតម្លៃ Tesla V100 ជាក់ស្តែង

ស្តុកជាក់ស្តែង និងតម្លៃត្រូវបានធ្វើបច្ចុប្បន្នភាពជាបន្តបន្ទាប់។ តម្លៃចុងក្រោយនឹងត្រូវបានបញ្ជាក់មុនពេលអ្នកបញ្ជាទិញ។

ជួលឥឡូវនេះ

អ្វីដែលអ្នកអាចដំណើរការនៅលើ cloud GPU Tesla V100

ការបណ្តុះបណ្តាល FP16 mixed-precision

Volta Tensor Cores ជួយពន្លឿនការបណ្តុះបណ្តាល FP16 សម្រាប់ម៉ូឌែល CNNs, transformers ខ្នាតតូច និង speech models។

ដំណើរការស្រាវជ្រាវ និងផ្ទៀងផ្ទាត់លទ្ធផលឡើងវិញ

ឯកសារស្រាវជ្រាវ និង baselines ជាច្រើនត្រូវបានបណ្តុះបណ្តាលនៅលើ V100។ ដំណើរការវាឡើងវិញនៅលើស្ថាបត្យកម្មដូចគ្នា ដើម្បីទទួលបានតួលេខដែលអាចប្រៀបធៀបគ្នាបាន។

ម៉ូឌែល 7B LLMs កម្រិត Quantized

ទំហំ 16 GB អាចដំណើរការម៉ូឌែល 7B–8B កម្រិត 8-bit ឬម៉ូឌែលត្រកូល 13B កម្រិត 4-bit សម្រាប់ការធ្វើតេស្ត និងការដាក់ឱ្យដំណើរការ (serving) កម្រិតស្រាល។

ប្រព័ន្ធ HPC និងការគណនាបែបវិទ្យាសាស្ត្រ

bandwidth កម្រិត 780 GB/s ជួយដល់ការធ្វើ simulations, solvers និងកូដគណនាបែបវិទ្យាសាស្ត្រដែលទាមទារ memory ខ្ពស់ (memory-bound)។

តើ Tesla V100 ជា GPU ដ៏ស័ក្តិសមសម្រាប់បន្ទុកការងាររបស់អ្នកដែរឬទេ?

Tesla V100 16 GB ស័ក្តិសមឥតខ្ចោះសម្រាប់អ្នកស្រាវជ្រាវ និងអ្នកអភិវឌ្ឍន៍ដែលត្រូវការ memory bandwidth ខ្ពស់សម្រាប់ម៉ូឌែលខ្នាតតូចទៅមធ្យម និងកិច្ចការគណនាបែបវិទ្យាសាស្ត្រ ដោយមិនចាំបាច់ចំណាយថ្លៃលើ hardware datacenter ជំនាន់ថ្មី។ ជ្រើសរើស GPU កម្រិត consumer ខ្នាតតូចជាងនេះសម្រាប់ការអភិវឌ្ឍមូលដ្ឋានដែលមានតម្រូវការ memory ទាប ឬដំឡើងទៅ GPU ជំនាន់ថ្មីដែលមាន VRAM ធំជាងនេះ ប្រសិនបើម៉ូឌែលរបស់អ្នកលើសពី 16 GB ឬទាមទារលក្ខណៈពិសេសនៃស្ថាបត្យកម្មថ្មីលើសពី compute capability 7.0។

Tesla V100 ធៀបនឹង cloud GPU ស្រដៀងគ្នា

GPU	VRAM ក្នុងមួយ GPU	ការគណនា FP32	ដែនកំណត់ថាមពល
NVIDIA Tesla V100	16 GB	≈ 12.5 TFLOPS	300 W
NVIDIA L4	22 GB	≈ 24.2 TFLOPS	72 W	ព័ត៌មានលម្អិត →
NVIDIA Tesla P40	24 GB	≈ 9.4 TFLOPS	250 W	ព័ត៌មានលម្អិត →
NVIDIA A100 PCIE	40 GB	≈ 15.6 TFLOPS	250 W	ព័ត៌មានលម្អិត →
NVIDIA A100 SXM4	40 GB	≈ 15.6 TFLOPS	400 W	ព័ត៌មានលម្អិត →

cloud GPU Tesla V100៖ សំណួរដែលសួរញឹកញាប់

ជួល cloud GPU Tesla V100 គិតជាម៉ោង

ជ្រើសរើស template, ជ្រើសរើសការកំណត់រចនាសម្ព័ន្ធជាក់ស្តែង ហើយភ្ជាប់តាមរយៈ SSH ឬ browser terminal។ ការគិតប្រាក់នឹងបញ្ឈប់ភ្លាមៗនៅពេលអ្នកលុប GPU។

ជួល Tesla V100 GPU ទាំងអស់