H100 SXM เหมาะสำหรับการทำ Fine-tuning และ Inference ของ LLM หรือไม่?

ใช่ ด้วย VRAM ขนาด 80 GB และแบนด์วิดท์หน่วยความจำประมาณ 2869 GB/s จึงเหมาะอย่างยิ่งสำหรับทั้งการให้บริการและการทำ Fine-tuning โมเดลภาษาขนาดใหญ่ คุณสามารถเริ่มใช้งานได้ทันทีบน Cloudj โดยใช้เทมเพลตสำเร็จรูปสำหรับ vLLM, Ollama หรือ PyTorch/CUDA

รุ่น SXM แตกต่างจาก GPU ดาต้าเซ็นเตอร์ที่ใช้พลังงานต่ำกว่าหรือ GPU สำหรับเวิร์กสเตชันอย่างไร?

H100 SXM ทำงานที่ระดับพลังงานความร้อน (TDP) 700 W ช่วยให้สามารถรักษาประสิทธิภาพการประมวลผลและแบนด์วิดท์หน่วยความจำได้สูงกว่ารุ่นดาต้าเซ็นเตอร์แบบ PCIe หรือการ์ดสำหรับเวิร์กสเตชัน หากเวิร์กโหลดของคุณไม่ได้ใช้พลังประมวลผลเต็มพิกัดประมาณ 53.5 TFLOPS หรือหน่วยความจำ 80 GB การเลือกใช้ GPU ขนาดเล็กกว่าก็อาจเพียงพอ

CUDA compute capability 9.0 รองรับความเข้ากันได้ของซอฟต์แวร์อย่างไรบ้าง?

Compute capability 9.0 บ่งบอกถึงการรองรับชุดคำสั่งและฟีเจอร์ของสถาปัตยกรรม NVIDIA Hopper ในระดับฮาร์ดแวร์ เทมเพลต PyTorch/CUDA ที่ตั้งค่าไว้ล่วงหน้าของเรามาพร้อมใช้งานร่วมกับฮาร์ดแวร์นี้ได้ทันทีโดยไม่ต้องติดตั้งไดรเวอร์ด้วยตนเอง

การเรียกเก็บเงินและการเข้าถึงอินสแตนซ์บน Cloudj ทำงานอย่างไร?

อินสแตนซ์จะมีการเรียกเก็บเงินเป็นรายชั่วโมงตามระยะเวลาที่คุณเช่าใช้งาน เมื่อปรับใช้เสร็จแล้ว คุณสามารถเชื่อมต่อเข้าสู่สภาพแวดล้อมของคุณได้โดยตรงผ่าน SSH หรือใช้งานเครื่องมือที่ติดตั้งไว้ล่วงหน้าอย่าง ComfyUI ได้ทันที

GPU Cloud · NVIDIA · Hopper

เช่า GPU NVIDIA H100 SXM รายชั่วโมง

NVIDIA H100 SXM คือ GPU สำหรับดาต้าเซ็นเตอร์สถาปัตยกรรม Hopper ที่มาพร้อมกับ VRAM ขนาด 80 GB และอัตราการใช้พลังงาน 700 W ให้พลังประมวลผลแบบจุดทศนิยมมาตรฐานประมาณ 53.5 TFLOPS และแบนด์วิดท์หน่วยความจำประมาณ 2869 GB/s รองรับ CUDA compute capability 9.0 เช่าใช้งานบน Cloudj ด้วยการเรียกเก็บเงินรายชั่วโมง สิทธิ์เข้าถึง SSH เต็มรูปแบบ และเทมเพลตพร้อมใช้งานสำหรับ PyTorch/CUDA, vLLM, Ollama และ ComfyUI

เช่า H100 SXM GPU ทั้งหมด

ข้อมูลจำเพาะ

VRAM ต่อ GPU

80 GB

สถาปัตยกรรม

NVIDIA Hopper

Compute capability

ประสิทธิภาพ FP32

≈ 53.5 TFLOPS

แบนด์วิดท์หน่วยความจำ

≈ 2869 GB/s

ขีดจำกัดพลังงาน

700 W

ค่าที่รายงานโดยผู้ให้บริการโครงสร้างพื้นฐานสำหรับเครื่องที่แสดงอยู่ในขณะนี้ ประสิทธิภาพจริงอาจแตกต่างกันไปในแต่ละเครื่อง

คอนฟิกูเรชันที่พร้อมใช้งาน

สต็อกและราคาแบบเรียลไทม์ อัปเดตอย่างต่อเนื่อง ราคาสุดท้ายจะได้รับการยืนยันก่อนที่คุณจะสั่งซื้อ

เช่าเลย

H100 SXM เหมาะกับงานอะไรบ้าง

การทำ Inference โมเดลภาษาขนาดใหญ่ (LLM)

นำโมเดลภาษาที่ต้องการทรัพยากรสูงขึ้นสู่ระบบใช้งานจริงด้วยความจุ VRAM 80 GB และแบนด์วิดท์หน่วยความจำประมาณ 2869 GB/s ผ่านเทมเพลต vLLM หรือ Ollama

การทำ Fine-Tuning สำหรับ Deep Learning

เทรนและปรับจูนโครงข่ายประสาทเทียมด้วยสถาปัตยกรรม Hopper และ CUDA compute capability 9.0 พร้อมสภาพแวดล้อม PyTorch/CUDA ที่ตั้งค่าไว้ล่วงหน้า

การประมวลผลแบบกลุ่มที่มีปริมาณงานสูง

รันงานประมวลผลข้อมูลและการจำลองที่ซับซ้อนซึ่งได้รับประโยชน์จากประสิทธิภาพการคำนวณประมาณ 53.5 TFLOPS ในรูปแบบฮาร์ดแวร์ดาต้าเซ็นเตอร์ขนาด 700 W

เวิร์กโฟลว์สร้างสื่อ Generative ขั้นสูง

รันไปป์ไลน์ ComfyUI ที่ซับซ้อนและโมเดล Diffusion ด้วยขนาดแบตช์ใหญ่ได้อย่างราบรื่นภายในพื้นที่หน่วยความจำขนาด 80 GB

นี่คือ GPU ที่เหมาะกับคุณหรือไม่?

เลือก H100 SXM เมื่องานเทรนหรือการทำ Inference ของคุณต้องการหน่วยความจำระดับดาต้าเซ็นเตอร์ที่มีแบนด์วิดท์สูงขนาด 80 GB และฟีเจอร์ของสถาปัตยกรรม Hopper ทั้งนี้ GPU สำหรับเวิร์กสเตชันหรือระดับผู้ใช้งานทั่วไปที่มีขนาดเล็กกว่าจะเป็นตัวเลือกที่คุ้มค่ากว่าสำหรับงานพัฒนาขนาดเบาหรือโมเดลขนาดเล็ก ในขณะที่ GPU ดาต้าเซ็นเตอร์รุ่นใหม่กว่าหรือมีความจุสูงกว่าจะเหมาะสมกว่าหากอินสแตนซ์เดียวที่มี VRAM 80 GB ไม่สามารถรองรับโมเดลทั้งหมดของคุณได้

เปรียบเทียบกับ GPU ที่ใกล้เคียง

GPU	VRAM ต่อ GPU	ประสิทธิภาพ FP32	ขีดจำกัดพลังงาน
NVIDIA H100 SXM	80 GB	≈ 53.5 TFLOPS	700 W
NVIDIA H100 PCIE	80 GB	≈ 41 TFLOPS	350 W	รายละเอียด →
NVIDIA A800 PCIE	80 GB	≈ 15.6 TFLOPS	300 W	รายละเอียด →
NVIDIA H100 NVL	94 GB	≈ 48.3 TFLOPS	400 W	รายละเอียด →
NVIDIA CMP 170HX	64 GB	≈ 12.1 TFLOPS	250 W	รายละเอียด →

คำถามที่พบบ่อย

เช่า H100 SXM รายชั่วโมง

สร้างบัญชี เลือกคอนฟิกูเรชัน และเชื่อมต่อผ่าน SSH การเรียกเก็บเงินจะหยุดลงเมื่อคุณลบ GPU

เช่า H100 SXM GPU ทั้งหมด