Īrē NVIDIA CMP 170HX GPU ar 64 GB VRAM
Nomājiet CMP 170HX mākoņa GPU serverus ar stundas maksu platformā Cloudj: norādīti 64 GB VRAM, Ampere arhitektūra un aptuveni 1516 GB/s atmiņas joslas platums aprēķiniem ar augstu atmiņas slodzi. Tā ir bezdispleja skaitļošanas karte izstrādātājiem, kuriem joslas platums un ietilpība ir svarīgāka par FP32 ātrumu (12.1 TFLOPS, 250 W, compute capability 8.0). Vispirms veiciet īsu testu ar PyTorch vai Ollama sagatavi un pēc tam mērogojiet darbu.
CMP 170HX specifikācijas
VRAM katrai GPU
64 GB
Arhitektūra
NVIDIA Ampere
Skaitļošanas spēja
8
FP32 veiktspēja
≈ 12.1 TFLOPS
Atmiņas joslas platums
≈ 1516 GB/s
Jaudas limits
250 W
Vērtības, ko infrastruktūras nodrošinātājs norādījis pašlaik sarakstā esošajām iekārtām; faktiskā veiktspēja var atšķirties atkarībā no mašīnas.
Aktuālās CMP 170HX konfigurācijas un cenas
Pieejamība un cenas reāllaikā, tiek atjauninātas nepārtraukti. Galīgā cena tiek apstiprināta pirms pasūtīšanas.
Iznomāt tūlītKo var darbināt uz CMP 170HX mākoņa GPU
Secināšana ar joslas platuma ierobežojumiem
LLM tokenu ģenerēšanu galvenokārt ierobežo atmiņas joslas platums, un 1516 GB/s ir tādā pašā līmenī kā A100 klases kartēm.
Kvantizētu LLM mitināšana
Ielādējiet kvantizētus modeļus Ollama vai llama.cpp un nodrošiniet to darbību caur API testēšanai vai iekšējiem rīkiem.
CUDA kodolu eksperimenti
Profilējiet atmiņietilpīgus kodolus uz Ampere kartes ar compute capability 8.0, pirms pārceļat tos uz jaudīgāku aparatūru.
Datu pakešapstrāde
Straumējiet lielus masīvus caur GPU atmiņu transformācijām, jaukšanai vai analītikas uzdevumiem, kuru veiktspēju ierobežo piekļuve atmiņai.
Vai CMP 170HX ir piemērotākais GPU jūsu darba slodzei?
Izvēlieties CMP 170HX, ja jūsu darba slodzes vājā vieta ir atmiņas ietilpība un joslas platums, nevis tīrā vienkāršās precizitātes skaitļošana. Izvēlieties GPU ar augstāku skaitļošanas caurlaides spēju, ja nepieciešamas ātrākas apmācības iterācijas, vai izvēlieties mazāku patērētāju karti, ja jūsu modeļiem nav nepieciešami 64 GB VRAM.
CMP 170HX salīdzinājumā ar līdzīgiem mākoņa GPU
CMP 170HX mākoņa GPU: biežāk uzdotie jautājumi
Nomājiet CMP 170HX mākoņa GPU pa stundām
Izvēlieties sagatavi, atlasiet pieejamo konfigurāciju un pieslēdzieties caur SSH vai pārlūka termināli. Apmaksa tiek apturēta, kad izdzēšat GPU.