Manofa GPU NVIDIA CMP 170HX misy VRAM 64 GB
Manofa mpizara GPU cloud CMP 170HX isan'ora ao amin'ny Cloudj: 64 GB VRAM voatanisa, maritrano Ampere ary bandwidth fitadidiana manodidina ny 1516 GB/s ho an'ny fikajiana mifototra amin'ny fitadidiana. Karatra fikajiana tsy misy fivoahana efijery (headless) izy ity ho an'ny mpamorona mila bandwidth sy fahafaha-mitahiry betsaka kokoa noho ny hafainganam-pandeha FP32 (12.1 TFLOPS, 250 W, compute capability 8.0). Manaova andrana fohy aloha amin'ny lasitra PyTorch na Ollama, avy eo ampitomboy ny asa.
Toetoetra ara-teknikan'ny CMP 170HX
VRAM isaky ny GPU
64 GB
Maritrano
NVIDIA Ampere
Fahaiza-mikajy (Compute capability)
8
Kajy FP32
≈ 12.1 TFLOPS
Bandwidth'ny fitadidiana
≈ 1516 GB/s
Fetra herinaratra (TDP)
250 W
Sanda nambaran'ny mpamatsy fotodrafitrasa ho an'ny milina voatanisa ankehitriny; miovaova arakaraka ny milina ny fahaiza-miasa tena izy.
Fikirakirana sy vidin'ny CMP 170HX misy ankehitriny
Tahiry sy vidiny mivantana, havaozina hatrany. Hamafisina alohan'ny hanafatra ny vidiny farany.
Manofà dieny izaoIzay azonao alefa amin'ny cloud GPU CMP 170HX
Famoahana tsoa-kevitra (inference) voafetran'ny bandwidth
Ny famokarana token LLM dia voafetran'ny bandwidth fitadidiana indrindraindrindra, ary ny 1516 GB/s dia mitovy laharana amin'ireo karatra sokajy A100.
Fampiantranoana LLM voaquantize
Ampidiro ao amin'ny Ollama na llama.cpp ireo maodely voaquantize ary toloro amin'ny alalan'ny API hanaovana andrana na fitaovana anatiny.
Fanaovana andrana kernel CUDA
Fakafakao ireo kernel mavesatra amin'ny fitadidiana eo amin'ny karatra Ampere manana compute capability 8.0 alohan'ny hamindrana azy ireo amin'ny fitaovana lehibe kokoa.
Fikarakarana angona am-bandoza (batch)
Ampandehano amin'ny fitadidian'ny GPU ireo array lehibe ho an'ny fanovana, hashing na asa famakafakana voafetran'ny fidiran'ny fitadidiana.
Moa ve ny CMP 170HX no GPU sahaza indrindra ho an'ny asanao?
Safidio ny CMP 170HX rehefa sakana ho an'ny asanao ny haben'ny fitadidiana sy ny bandwidth fa tsy ny fikajiana tsotra amin'ny single-precision. Mifidiana GPU manana fahaiza-mikajy ambony kokoa raha mila fampiofanana haingana kokoa ianao, na mifidiana karatra mahazatra kely kokoa raha tsy mila VRAM 64 GB ny maodelinao.
CMP 170HX ampitahaina amin'ireo cloud GPU mitovitovy aminy
| GPU | VRAM isaky ny GPU | Kajy FP32 | Fetra herinaratra (TDP) | |
|---|---|---|---|---|
| NVIDIA CMP 170HX | 64 GB | ≈ 12.1 TFLOPS | 250 W | |
| NVIDIA A800 PCIE | 80 GB | ≈ 15.6 TFLOPS | 300 W | Antsipiriany → |
| NVIDIA H100 PCIE | 80 GB | ≈ 41 TFLOPS | 350 W | Antsipiriany → |
| NVIDIA H100 SXM | 80 GB | ≈ 53.5 TFLOPS | 700 W | Antsipiriany → |
| NVIDIA A40 | 45 GB | ≈ 29.9 TFLOPS | 300 W | Antsipiriany → |
Cloud GPU CMP 170HX: Fanontaniana matetika apetraka
Manofà cloud GPU CMP 170HX aloa isan'ora
Misafidiana modely, fidio ny fikirakirana tianao, ary mifandraisa amin'ny alalan'ny SSH na ny terminal anaty navigateur. Mijanona avy hatrany ny fandoavam-bola rehefa voafafanao ilay GPU.