Kas CMP 170HX sobib mudelite treenimiseks?

See sobib paremini järeldamiseks (inference) ja mälupiiranguga töödeks. 12.1 TFLOPS FP32 jõudlusega on see mahukal treenimisel aeglasem kui sellised kaardid nagu A40 või RTX 3090, seega testi oma töökoormust enne pikaajalise töö planeerimist.

Miks peaksin oma töökoormust esmalt testima?

CMP 170HX on ainult arvutusteks mõeldud kaart ja mõned tarkvaralahendused käituvad sellel teisiti kui tavapärastel GPU-del. Lühike tunnipõhine sessioon kinnitab, kas sinu raamistik, draiverid ja mudel töötavad ootuspäraselt.

Mis on CMP 170HX tugevaim tehniline näitaja?

Mäluriba: ligikaudu 1516 GB/s, mis on kiirem kui A100 PCIE märgitud 1313 GB/s, tulles kasuks igale töökoormusele, mis ootab rohkem mälu kui arvutuste taga.

Kui kaua peab CMP 170HX serverit platvormil Cloudj hoidma?

Nii kaua, kui vajad. Tunnipõhine arveldus kestab vaid serveri töötamise ajal ja saad selle kustutada kohe, kui test või töö on valmis.

GPU Cloud · NVIDIA · Ampere

Rendi NVIDIA CMP 170HX GPU 64 GB VRAM-iga

Rendi CMP 170HX GPU-pilveservereid tunnipõhiselt platvormil Cloudj: 64 GB VRAM, Ampere arhitektuur ja ligikaudu 1516 GB/s mäluriba mälupiiranguga arvutuste jaoks. See on ekraaniväljundita arvutuskaart arendajatele, kellele mäluriba ja maht on olulisemad kui FP32 kiirus (12.1 TFLOPS, 250 W, compute capability 8.0). Tee esmalt kiire test PyTorch või Ollama malliga ning skaleeri töö seejärel suuremaks.

Rendi CMP 170HX Kõik GPU-d

CMP 170HX tehnilised andmed

VRAM GPU kohta

64 GB

Arhitektuur

NVIDIA Ampere

Arvutusvõimekus (compute capability)

FP32 arvutusjõudlus

≈ 12.1 TFLOPS

Mälu ribalaius

≈ 1516 GB/s

Võimsuspiirang

250 W

Väärtused põhinevad taristupakkuja andmetel hetkel nimekirjas olevate masinate kohta; tegelik jõudlus võib masinati erineda.

Reaalajas CMP 170HX konfiguratsioonid ja hinnad

Reaalajas saadavus ja hinnad uuenevad pidevalt. Lõplikku hinda kinnitatakse enne tellimuse esitamist.

Rendi kohe

Mida saab käitada CMP 170HX pilve-GPU-l

Mäluriba piiranguga järeldamine

LLM tokenite genereerimist piirab peamiselt mäluriba ning 1516 GB/s on samas suurusjärgus A100 klassi kaartidega.

Kvantiseeritud LLM-ide majutus

Laadi kvantiseeritud mudelid rakendustes Ollama või llama.cpp ja paku neid API kaudu testimiseks või sisetööriistadele.

CUDA kerneli eksperimendid

Profiili mälumahukaid kerneleid compute capability 8.0 toega Ampere kaardil enne nende viimist suuremale riistvarale.

Andmete pakktöötlus

Voogedasta suuri massiive läbi GPU mälu teisenduste, räsimise või analüütikatööde jaoks, mida piirab mälupöördus.

Kas CMP 170HX on sinu töökoormusele õige GPU?

Vali CMP 170HX siis, kui sinu töökoormuse kitsaskohaks on mälumaht ja -riba, mitte puhas ühekordse täpsusega arvutusjõudlus. Vali suurema arvutusjõudlusega GPU, kui vajad kiiremaid treenimistsükleid, või väiksem tavakasutaja kaart, kui sinu mudelid ei vaja 64 GB VRAM-i.

CMP 170HX vs sarnased pilve-GPU-d

GPU	VRAM GPU kohta	FP32 arvutusjõudlus	Võimsuspiirang
NVIDIA CMP 170HX	64 GB	≈ 12.1 TFLOPS	250 W
NVIDIA A800 PCIE	80 GB	≈ 15.6 TFLOPS	300 W	Vaata lähemalt →
NVIDIA H100 PCIE	80 GB	≈ 41 TFLOPS	350 W	Vaata lähemalt →
NVIDIA H100 SXM	80 GB	≈ 53.5 TFLOPS	700 W	Vaata lähemalt →
NVIDIA A40	45 GB	≈ 29.9 TFLOPS	300 W	Vaata lähemalt →

CMP 170HX pilve-GPU: korduma kippuvad küsimused

Rendi CMP 170HX pilve-GPU tunnikaupa

Vali mall, vali reaalajas konfiguratsioon ja ühendu SSH või brauseriterminali kaudu. Arveldus peatub, kui GPU kustutad.

Rendi CMP 170HX Kõik GPU-d