La CMP 170HX è adatta per l'inferenza LLM?

Sì, i suoi 64 GB di VRAM e i circa 1516 GB/s di larghezza di banda della memoria la rendono molto adatta per caricare e servire modelli linguistici di grandi dimensioni utilizzando modelli come vLLM e Ollama. Tuttavia, poiché fornisce circa 12.1 TFLOPS di calcolo a precisione singola, l'elaborazione dei prompt sarà più lenta rispetto alle GPU da data center con maggiore densità di calcolo.

Come si confronta questa GPU con gli acceleratori standard da data center?

La CMP 170HX offre un ampio buffer di memoria da 64 GB e un'elevata larghezza di banda della memoria simili alle schede standard da data center basate su Ampere, operando con un TDP di 250 W. Il compromesso principale è un throughput di calcolo inferiore, pari a circa 12.1 TFLOPS, che la rende più appropriata per attività dipendenti dalla memoria rispetto a carichi di lavoro di calcolo intensivo.

Quali ambienti software sono disponibili per questa GPU?

La scheda supporta la compute capability CUDA 8.0 e può essere avviata su Cloudj utilizzando modelli preconfigurati tra cui PyTorch/CUDA, vLLM, Ollama e ComfyUI. È inoltre incluso l'accesso SSH diretto per installare librerie personalizzate e gestire il proprio ambiente.

Come funziona la fatturazione per il noleggio della CMP 170HX?

Le istanze su Cloudj utilizzano la fatturazione oraria, pertanto si paga solo per il periodo in cui la GPU rimane attiva.

GPU Cloud · NVIDIA · Ampere

Noleggia GPU NVIDIA CMP 170HX a ore

La NVIDIA CMP 170HX è una GPU da data center con architettura Ampere, dotata di 64 GB di VRAM e un TDP di 250 W. Offre circa 1516 GB/s di larghezza di banda della memoria insieme a circa 12.1 TFLOPS di calcolo a precisione singola con compute capability 8.0. Su Cloudj, è possibile distribuire questa scheda con fatturazione oraria, accesso SSH completo e modelli pronti per PyTorch/CUDA, vLLM, Ollama e ComfyUI.

Noleggia CMP 170HX Tutte le GPU

Specifiche

VRAM per GPU

64 GB

Architettura

NVIDIA Ampere

Capacità di calcolo

Calcolo FP32

≈ 12.1 TFLOPS

Larghezza di banda della memoria

≈ 1516 GB/s

Limite di potenza

250 W

Valori dichiarati dal provider dell'infrastruttura per le macchine attualmente in elenco; le prestazioni reali variano in base alla macchina.

Configurazioni disponibili

Disponibilità e prezzi in tempo reale, aggiornati costantemente. Il prezzo finale viene confermato prima dell'ordine.

Noleggia ora

A cosa è adatta la CMP 170HX

Inferenza LLM dipendente dalla memoria

Distribuzione di modelli linguistici di grandi dimensioni tramite vLLM o Ollama sfruttando la capacità di 64 GB di VRAM e circa 1516 GB/s di larghezza di banda della memoria.

Deep Learning ad alta capacità di memoria

Esecuzione di carichi di lavoro PyTorch/CUDA che richiedono un'elevata capacità di memoria e compute capability 8.0 senza dover suddividere i modelli su più dispositivi.

Flussi di lavoro complessi per la generazione di immagini

Caricamento simultaneo di molteplici checkpoint di diffusione di grandi dimensioni e ControlNet in ComfyUI all'interno del pool di memoria da 64 GB.

Elaborazione dati e simulazione

Esecuzione di attività da data center ad alto utilizzo di memoria che beneficiano di un elevato throughput di memoria entro un limite di consumo di 250 W.

È la GPU adatta alle tue esigenze?

La CMP 170HX è ideale quando il carico di lavoro è limitato dalla capacità e dalla larghezza di banda della memoria piuttosto che dalla potenza di calcolo pura a precisione singola. Si consiglia di optare per una GPU con un throughput di calcolo superiore se sono necessarie iterazioni di addestramento più rapide, oppure di selezionare una scheda consumer più piccola se i modelli non richiedono 64 GB di VRAM.

Confronta con GPU simili

GPU	VRAM per GPU	Calcolo FP32	Limite di potenza
NVIDIA CMP 170HX	64 GB	≈ 12.1 TFLOPS	250 W
NVIDIA A800 PCIE	80 GB	≈ 15.6 TFLOPS	300 W	Dettagli →
NVIDIA H100 PCIE	80 GB	≈ 41 TFLOPS	350 W	Dettagli →
NVIDIA H100 SXM	80 GB	≈ 53.5 TFLOPS	700 W	Dettagli →
NVIDIA A40	45 GB	≈ 29.9 TFLOPS	300 W	Dettagli →

Domande frequenti

Noleggia la CMP 170HX a ore

Crea un account, scegli una configurazione e connettiti tramite SSH. La fatturazione si interrompe quando elimini la GPU.

Noleggia CMP 170HX Tutte le GPU