Mengapa memilih H100 SXM berbanding H100 PCIE?

H100 SXM disenaraikan pada 53.5 TFLOPS FP32 dan 2869 GB/s berbanding 41 TFLOPS dan 1760 GB/s untuk kad PCIE, dengan had 700 W berbanding 350 W. Berdasarkan setiap tugasan, ia biasanya selesai dengan lebih pantas.

Adakah H100 SXM atau H200 NVL lebih baik untuk LLM?

H200 NVL mempunyai 140 GB dan 3884 GB/s, menjadikannya pilihan utama untuk model yang amat besar dan konteks panjang. H100 SXM mempunyai lebih banyak pengkomputeran FP32 (53.5 berbanding 48.3 TFLOPS) dan sesuai untuk tugas latihan yang muat dalam 80 GB.

Bolehkah saya menala halus model 70B pada satu H100 SXM?

Dengan QLoRA, ya: pemberat 4-bit 70B mengambil kira-kira 35–40 GB, meninggalkan ruang untuk penyesuai (adapter), pengaktifan dan keadaan pengoptimum. Penalaan halus penuh 16-bit untuk 70B memerlukan berbilang GPU.

Berapakah bayaran yang dikenakan apabila pelayan H100 SXM dihentikan di Cloudj?

Bagi pengebilan setiap jam, pelayan yang dihentikan hanya dikenakan caj untuk cakeranya. Padamkan pelayan sebaik sahaja anda menyalin titik pemeriksaan (checkpoints) anda dan anda tidak perlu membayar apa-apa lagi sepenuhnya.

GPU Cloud · NVIDIA · Hopper

Sewa GPU NVIDIA H100 SXM dengan 80 GB VRAM

Sewa pelayan GPU awan H100 SXM mengikut jam di Cloudj: 80 GB VRAM, NVIDIA Hopper, kira-kira 53.5 TFLOPS FP32 dan lebar jalur memori 2869 GB/s. Dengan had kuasa 700 W, ini adalah H100 untuk pasukan yang melatih, menala halus dan menggunakan model besar serta mahukan modul Hopper terpantas dalam barisan ini untuk pengkomputeran. Lancarkan templat PyTorch, vLLM atau Unsloth dan sambung melalui SSH dalam beberapa langkah mudah.

Sewa H100 SXM Semua GPU

Spesifikasi H100 SXM

VRAM setiap GPU

80 GB

Seni bina

NVIDIA Hopper

Keupayaan komputasi

Komputasi FP32

≈ 53.5 TFLOPS

Lebar jalur memori

≈ 2869 GB/s

Had kuasa

700 W

Nilai dilaporkan oleh penyedia infrastruktur untuk mesin yang disenaraikan pada masa ini; prestasi sebenar berbeza mengikut mesin.

Konfigurasi dan harga terkini H100 SXM

Stok dan harga langsung, dikemas kini secara berterusan. Harga muktamad disahkan sebelum anda membuat pesanan.

Sewa sekarang

Apa yang boleh anda jalankan pada GPU awan H100 SXM

Latihan intensif pengkomputeran

53.5 TFLOPS FP32 dan had kuasa 700 W memberikan H100 SXM kuasa komputasi tertinggi berbanding mana-mana kad Hopper yang disenaraikan di sini.

Inferens LLM pantas

Lebar jalur 2869 GB/s mempercepatkan penjanaan token bagi model 13B–34B dalam 16-bit atau model 70B terkuantisasi.

Penalaan halus penuh model 7B–13B

80 GB memberi ruang untuk penalaan halus parameter penuh bagi LLM yang lebih kecil, bukan sekadar penyesuai (adapter), dengan tetapan pengoptimum yang betul.

Latihan model resapan dan video

Latih atau tala halus model imej dan video di mana kedua-dua memori dan kuasa komputasi menentukan tempoh proses berjalan.

Adakah H100 SXM GPU yang tepat untuk beban kerja anda?

Pilih H100 SXM apabila beban kerja latihan atau inferens anda memerlukan 80 GB memori pusat data berlebar jalur tinggi dan ciri-ciri seni bina Hopper. GPU stesen kerja atau GPU pengguna yang lebih kecil adalah pilihan yang lebih praktikal untuk pembangunan ringan atau model kecil, manakala GPU pusat data yang lebih baharu atau berkapasiti lebih tinggi lebih diutamakan jika satu instans tidak dapat memuatkan keseluruhan model anda dalam 80 GB VRAM.

H100 SXM vs GPU awan yang serupa

GPU	VRAM setiap GPU	Komputasi FP32	Had kuasa
NVIDIA H100 SXM	80 GB	≈ 53.5 TFLOPS	700 W
NVIDIA H100 PCIE	80 GB	≈ 41 TFLOPS	350 W	Butiran →
NVIDIA A800 PCIE	80 GB	≈ 15.6 TFLOPS	300 W	Butiran →
NVIDIA H100 NVL	94 GB	≈ 48.3 TFLOPS	400 W	Butiran →
NVIDIA CMP 170HX	64 GB	≈ 12.1 TFLOPS	250 W	Butiran →

GPU awan H100 SXM: soalan lazim

Sewa GPU awan H100 SXM mengikut jam

Pilih templat, pilih konfigurasi langsung dan sambung melalui SSH atau terminal pelayar. Pengebilan terhenti apabila anda memadam GPU.

Sewa H100 SXM Semua GPU