Apakah CMP 170HX cocok untuk inferensi LLM?

Ya, kapasitas 64 GB VRAM dan bandwidth memori sekitar 1516 GB/s membuatnya sangat cocok untuk memuat dan menjalankan model bahasa besar menggunakan templat seperti vLLM dan Ollama. Namun, karena menyediakan komputasi presisi tunggal sekitar 12.1 TFLOPS, pemrosesan prompt akan lebih lambat dibandingkan pada GPU pusat data dengan kepadatan komputasi yang lebih tinggi.

Bagaimana perbandingan GPU ini dengan akselerator pusat data standar?

CMP 170HX menawarkan buffer memori 64 GB yang besar dan bandwidth memori tinggi yang serupa dengan kartu pusat data Ampere standar, sambil beroperasi pada TDP 250 W. Kompromi utamanya adalah throughput komputasi yang lebih rendah yaitu sekitar 12.1 TFLOPS, sehingga lebih tepat untuk tugas yang terikat memori daripada beban kerja komputasi berat.

Lingkungan perangkat lunak apa saja yang tersedia untuk GPU ini?

Kartu ini mendukung kapabilitas komputasi CUDA 8.0 dan dapat dijalankan di Cloudj menggunakan templat prakonfigurasi termasuk PyTorch/CUDA, vLLM, Ollama, dan ComfyUI. Anda juga mendapatkan akses SSH langsung untuk menginstal pustaka kustom dan mengelola lingkungan Anda.

Bagaimana sistem tagihan bekerja saat menyewa CMP 170HX?

Instans di Cloudj menggunakan tagihan per jam, sehingga Anda hanya membayar sesuai durasi GPU Anda tetap aktif.

GPU Cloud · NVIDIA · Ampere

Sewa GPU NVIDIA CMP 170HX per jam

NVIDIA CMP 170HX adalah GPU pusat data berarsitektur Ampere yang dilengkapi dengan 64 GB VRAM dan TDP 250 W. GPU ini menghasilkan bandwidth memori sekitar 1516 GB/s serta komputasi presisi tunggal sekitar 12.1 TFLOPS pada kapabilitas komputasi 8.0. Di Cloudj, Anda dapat men-deploy kartu ini dengan tagihan per jam, akses SSH penuh, dan templat siap pakai untuk PyTorch/CUDA, vLLM, Ollama, serta ComfyUI.

Sewa CMP 170HX Semua GPU

Spesifikasi

VRAM per GPU

64 GB

Arsitektur

NVIDIA Ampere

Kemampuan komputasi

Komputasi FP32

≈ 12.1 TFLOPS

Bandwidth memori

≈ 1516 GB/s

Batas daya

250 W

Nilai dilaporkan oleh penyedia infrastruktur untuk mesin yang saat ini terdaftar; performa sebenarnya bervariasi tergantung mesin.

Konfigurasi yang tersedia

Stok dan harga langsung, diperbarui terus-menerus. Harga akhir dikonfirmasi sebelum Anda memesan.

Sewa sekarang

Kegunaan utama CMP 170HX

Inferensi LLM yang Terikat Memori

Jalankan model bahasa besar melalui vLLM atau Ollama dengan memanfaatkan kapasitas 64 GB VRAM dan bandwidth memori sekitar 1516 GB/s.

Deep Learning Bermemori Tinggi

Jalankan beban kerja PyTorch/CUDA yang memerlukan kapasitas memori besar dan kapabilitas komputasi 8.0 tanpa harus membagi model ke beberapa perangkat.

Alur Kerja Pembuatan Gambar Kompleks

Muat beberapa checkpoint difusi berukuran besar dan control net secara bersamaan di ComfyUI dalam kapasitas memori 64 GB.

Pemrosesan Data dan Simulasi

Jalankan tugas pusat data intensif memori yang diuntungkan oleh throughput memori tinggi dalam batas daya 250 W.

Apakah ini GPU yang tepat untuk Anda?

Pilih CMP 170HX ketika beban kerja Anda dibatasi oleh kapasitas dan bandwidth memori, bukan oleh komputasi presisi tunggal mentah. Pilih GPU dengan throughput komputasi yang lebih tinggi jika Anda memerlukan iterasi pelatihan yang lebih cepat, atau pilih kartu konsumen yang lebih kecil jika model Anda tidak memerlukan 64 GB VRAM.

Bandingkan dengan GPU serupa

GPU	VRAM per GPU	Komputasi FP32	Batas daya
NVIDIA CMP 170HX	64 GB	≈ 12.1 TFLOPS	250 W
NVIDIA A800 PCIE	80 GB	≈ 15.6 TFLOPS	300 W	Detail →
NVIDIA H100 PCIE	80 GB	≈ 41 TFLOPS	350 W	Detail →
NVIDIA H100 SXM	80 GB	≈ 53.5 TFLOPS	700 W	Detail →
NVIDIA A40	45 GB	≈ 29.9 TFLOPS	300 W	Detail →

Pertanyaan yang sering diajukan

Sewa CMP 170HX per jam

Buat akun, pilih konfigurasi, dan hubungkan melalui SSH. Tagihan berhenti saat Anda menghapus GPU.

Sewa CMP 170HX Semua GPU