CMP 170HX เหมาะสำหรับการอนุมาน LLM หรือไม่?

เหมาะ ด้วย VRAM 64 GB และแบนด์วิดท์หน่วยความจำประมาณ 1516 GB/s จึงเหมาะอย่างยิ่งสำหรับการโหลดและให้บริการโมเดลภาษาขนาดใหญ่โดยใช้เทมเพลตอย่าง vLLM และ Ollama อย่างไรก็ตาม เนื่องจากมีพลังประมวลผลแบบ single-precision ประมาณ 12.1 TFLOPS การประมวลผลพรอมต์จะช้ากว่า GPU สำหรับศูนย์ข้อมูลที่มีความหนาแน่นของการประมวลผลสูงกว่า

GPU รุ่นนี้เทียบกับตัวเร่งประมวลผลระดับศูนย์ข้อมูลมาตรฐานเป็นอย่างไร?

CMP 170HX มอบบัฟเฟอร์หน่วยความจำขนาดใหญ่ 64 GB และแบนด์วิดท์หน่วยความจำสูงใกล้เคียงกับการ์ดระดับศูนย์ข้อมูลสถาปัตยกรรม Ampere มาตรฐาน โดยทำงานที่ TDP 250 W ข้อจำกัดหลักคืออัตราการประมวลผลที่ต่ำกว่าซึ่งอยู่ที่ประมาณ 12.1 TFLOPS จึงเหมาะสำหรับงานที่เน้นหน่วยความจำมากกว่างานที่เน้นการประมวลผลหนัก

มีสภาพแวดล้อมซอฟต์แวร์ใดบ้างที่พร้อมใช้งานสำหรับ GPU รุ่นนี้?

การ์ดรุ่นนี้รองรับ CUDA compute capability 8.0 และสามารถเปิดใช้งานบน Cloudj โดยใช้เทมเพลตที่ตั้งค่าไว้ล่วงหน้า ได้แก่ PyTorch/CUDA, vLLM, Ollama และ ComfyUI นอกจากนี้คุณยังสามารถเข้าถึง SSH ได้โดยตรงเพื่อติดตั้งไลบรารีเพิ่มเติมและจัดการสภาพแวดล้อมของคุณ

การเรียกเก็บเงินทำงานอย่างไรเมื่อเช่า CMP 170HX?

อินสแตนซ์บน Cloudj ใช้การเรียกเก็บเงินรายชั่วโมง คุณจึงจ่ายเฉพาะช่วงเวลาที่ GPU ของคุณยังคงทำงานอยู่เท่านั้น

GPU Cloud · NVIDIA · Ampere

เช่า GPU NVIDIA CMP 170HX รายชั่วโมง

NVIDIA CMP 170HX คือ GPU สำหรับศูนย์ข้อมูลสถาปัตยกรรม Ampere ที่มาพร้อม VRAM 64 GB และ TDP 250 W มอบแบนด์วิดท์หน่วยความจำประมาณ 1516 GB/s พร้อมพลังประมวลผลแบบ single-precision ประมาณ 12.1 TFLOPS ที่ compute capability 8.0 บน Cloudj คุณสามารถใช้งานการ์ดรุ่นนี้ด้วยการเรียกเก็บเงินรายชั่วโมง การเข้าถึง SSH แบบเต็มรูปแบบ และเทมเพลตพร้อมใช้สำหรับ PyTorch/CUDA, vLLM, Ollama และ ComfyUI

เช่า CMP 170HX GPU ทั้งหมด

ข้อมูลจำเพาะ

VRAM ต่อ GPU

64 GB

สถาปัตยกรรม

NVIDIA Ampere

Compute capability

ประสิทธิภาพ FP32

≈ 12.1 TFLOPS

แบนด์วิดท์หน่วยความจำ

≈ 1516 GB/s

ขีดจำกัดพลังงาน

250 W

ค่าที่รายงานโดยผู้ให้บริการโครงสร้างพื้นฐานสำหรับเครื่องที่แสดงอยู่ในขณะนี้ ประสิทธิภาพจริงอาจแตกต่างกันไปในแต่ละเครื่อง

คอนฟิกูเรชันที่พร้อมใช้งาน

สต็อกและราคาแบบเรียลไทม์ อัปเดตอย่างต่อเนื่อง ราคาสุดท้ายจะได้รับการยืนยันก่อนที่คุณจะสั่งซื้อ

เช่าเลย

CMP 170HX เหมาะกับงานอะไรบ้าง

การอนุมาน LLM ที่เน้นหน่วยความจำ

ให้บริการโมเดลภาษาขนาดใหญ่ผ่าน vLLM หรือ Ollama ด้วยความจุ VRAM 64 GB และแบนด์วิดท์หน่วยความจำประมาณ 1516 GB/s

Deep Learning ที่ใช้หน่วยความจำสูง

รันงาน PyTorch/CUDA ที่ต้องการความจุหน่วยความจำสูงและ compute capability 8.0 โดยไม่ต้องแบ่งโมเดลไปไว้ในหลายอุปกรณ์

เวิร์กโฟลว์การสร้างภาพที่ซับซ้อน

โหลด diffusion checkpoint ขนาดใหญ่และ ControlNet หลายตัวพร้อมกันใน ComfyUI ภายในพื้นที่หน่วยความจำ 64 GB

การประมวลผลข้อมูลและการจำลอง

ประมวลผลงานระดับศูนย์ข้อมูลที่ใช้หน่วยความจำสูงซึ่งได้ประโยชน์จากอัตราการส่งข้อมูลหน่วยความจำสูงภายในกรอบพลังงาน 250 W

นี่คือ GPU ที่เหมาะกับคุณหรือไม่?

เลือก CMP 170HX เมื่องานของคุณติดคอขวดที่ความจุและแบนด์วิดท์ของหน่วยความจำมากกว่าพลังประมวลผลแบบ single-precision ดิบ เลือก GPU ที่มีอัตราการประมวลผลสูงกว่าหากคุณต้องการรอบการฝึกฝนที่เร็วขึ้น หรือเลือกการ์ดระดับทั่วไปที่เล็กลงหากโมเดลของคุณไม่จำเป็นต้องใช้ VRAM ถึง 64 GB

เปรียบเทียบกับ GPU ที่ใกล้เคียง

GPU	VRAM ต่อ GPU	ประสิทธิภาพ FP32	ขีดจำกัดพลังงาน
NVIDIA CMP 170HX	64 GB	≈ 12.1 TFLOPS	250 W
NVIDIA A800 PCIE	80 GB	≈ 15.6 TFLOPS	300 W	รายละเอียด →
NVIDIA H100 PCIE	80 GB	≈ 41 TFLOPS	350 W	รายละเอียด →
NVIDIA H100 SXM	80 GB	≈ 53.5 TFLOPS	700 W	รายละเอียด →
NVIDIA A40	45 GB	≈ 29.9 TFLOPS	300 W	รายละเอียด →

คำถามที่พบบ่อย

เช่า CMP 170HX รายชั่วโมง

สร้างบัญชี เลือกคอนฟิกูเรชัน และเชื่อมต่อผ่าน SSH การเรียกเก็บเงินจะหยุดลงเมื่อคุณลบ GPU

เช่า CMP 170HX GPU ทั้งหมด