Ali je CMP 170HX primeren za učenje modelov?

Primernejši je za inferenco in opravila, omejena s pomnilnikom. Z 12.1 TFLOPS FP32 je pri računsko zahtevnem učenju počasnejši od kartic, kot sta A40 ali RTX 3090, zato pred načrtovanjem dolgotrajnega izvajanja preizkusite svojo obremenitev.

Zakaj najprej preizkusiti delovno obremenitev?

CMP 170HX je izključno računska kartica in nekatere programske poti se na njej obnašajo drugače kot na običajnih grafičnih karticah. Kratek enourni zakup vam pokaže, ali vaše ogrodje, gonilniki in model delujejo po pričakovanjih.

Katera je najmočnejša specifikacija kartice CMP 170HX?

Pasovna širina pomnilnika: približno 1516 GB/s, kar je več od navedenih 1313 GB/s pri kartici A100 PCIE, to pa koristi vsaki delovni obremenitvi, ki bolj čaka na pomnilnik kot na matematične izračune.

Kako dolgo moram obdržati strežnik CMP 170HX na Cloudj?

Tako dolgo, kot ga potrebujete. Obračunavanje na uro vam zaračunava le čas delovanja strežnika, izbrišete pa ga lahko takoj, ko se preizkus ali opravilo zaključi.

GPU Cloud · NVIDIA · Ampere

Najemite GPU NVIDIA CMP 170HX s 64 GB VRAM

Najemite strežnike GPU v oblaku CMP 170HX na uro pri Cloudj: navedenih 64 GB VRAM, arhitektura Ampere in približno 1516 GB/s pasovne širine pomnilnika za računanje, omejeno s pomnilnikom. Gre za namensko računsko kartico brez video izhodov (headless) za razvijalce, ki jim pasovna širina in kapaciteta pomenita več kot hitrost FP32 (12.1 TFLOPS, 250 W, compute capability 8.0). Najprej zaženite kratek preizkus na predlogi PyTorch ali Ollama, nato pa razširite obseg opravila.

Najemite CMP 170HX Vsi GPU-ji

Specifikacije za CMP 170HX

VRAM na GPU

64 GB

Arhitektura

NVIDIA Ampere

Računska zmogljivost

Zmogljivost FP32

≈ 12.1 TFLOPS

Prepustnost pomnilnika

≈ 1516 GB/s

Omejitev porabe

250 W

Vrednosti, ki jih navaja ponudnik infrastrukture za trenutno navedene strežnike; dejanska zmogljivost se lahko razlikuje glede na sistem.

Aktivne konfiguracije in cene za CMP 170HX

Zaloga in cene v živo, ki se nenehno posodabljajo. Končna cena je potrjena pred naročilom.

Najemite zdaj

Kaj lahko poganjate na oblačnem GPU-ju CMP 170HX

Inferenca, omejena s pasovno širino

Generiranje žetonov pri modelih LLM je omejeno predvsem s pasovno širino pomnilnika, 1516 GB/s pa je v istem rangu kot pri karticah razreda A100.

Gostovanje kvantiziranih modelov LLM

Naložite kvantizirane modele v orodjih Ollama ali llama.cpp ter jih prek API-ja ponudite za testiranje ali interna orodja.

Eksperimentiranje z jedri CUDA

Profilirajte pomnilniško zahtevna jedra na kartici Ampere s compute capability 8.0, preden jih prenesete na zmogljivejšo strojno opremo.

Paketna obdelava podatkov

Pretakajte velika polja skozi pomnilnik GPU za transformacije, zgoščevanje ali analitična opravila, ki so omejena z dostopom do pomnilnika.

Je CMP 170HX pravi GPU za vaše delovne obremenitve?

Izberite CMP 170HX, kadar ozko grlo vaše delovne obremenitve predstavljata kapaciteta pomnilnika in pasovna širina, ne pa surova računska zmogljivost enojne natančnosti. Izberite GPU z večjo računsko prepustnostjo, če potrebujete hitrejše iteracije učenja, ali pa izberite manjšo potrošniško kartico, če vaši modeli ne potrebujejo 64 GB VRAM-a.

CMP 170HX v primerjavi s podobnimi oblačnimi GPU-ji

GPU	VRAM na GPU	Zmogljivost FP32	Omejitev porabe
NVIDIA CMP 170HX	64 GB	≈ 12.1 TFLOPS	250 W
NVIDIA A800 PCIE	80 GB	≈ 15.6 TFLOPS	300 W	Podrobnosti →
NVIDIA H100 PCIE	80 GB	≈ 41 TFLOPS	350 W	Podrobnosti →
NVIDIA H100 SXM	80 GB	≈ 53.5 TFLOPS	700 W	Podrobnosti →
NVIDIA A40	45 GB	≈ 29.9 TFLOPS	300 W	Podrobnosti →

Oblačni GPU CMP 170HX: pogosta vprašanja

Najemite oblačni GPU CMP 170HX na uro

Izberite predlogo, izberite aktivno konfiguracijo in se povežite prek SSH ali terminala v brskalniku. Obračunavanje se ustavi, ko izbrišete GPU.

Najemite CMP 170HX Vsi GPU-ji