H100 NVL va H100 SXM: qaysi biri tezroq?

LLM dekodlash uchun H100 NVL ko‘proq xotira (94 GB ga qarshi 80 GB) va yuqoriroq o‘tkazuvchanlik (3381 GB/s ga qarshi 2869 GB/s) bilan ko‘rsatilgan. H100 SXM esa 53.5 TFLOPS bilan yuqoriroq FP32 ga va 700 W limitga ega, shuning uchun u hisoblashga boy o‘qitish (training) jarayonlari uchun mos keladi.

H100 NVL da 70B modelni 16-bit formatida ishga tushirsa bo‘ladimi?

Yo‘q. 16-bitli 70B model vaznlari uchun taxminan 140 GB zarur. 94 GB da 70B modelni 4 yoki 8 bitga kvantlab ishlatishingiz mumkin; 16-bit 70B uchun esa 140 GB xotiraga ega H200 NVL eng to‘g‘ri tanlovdir.

Hopper uchun maxsus dasturiy ta’minot kerakmi?

Hopper arxitekturasi 9.0 hisoblash imkoniyatiga (compute capability) ega bo‘lib, joriy CUDA, PyTorch, vLLM va SGLang distributivlarini qo‘llab-quvvatlaydi. Cloudj shablonlarida minimal CUDA versiyasi ko‘rsatiladi va har bir shablon uchun faqat mos keladigan GPU lar taqdim etiladi.

H100 NVL uchun to‘lov qanday amalga oshiriladi?

Server ishlab turgan vaqtda Cloudj balansingizdan soatbay to‘lang yoki oylik yoxud undan uzoqroq muddatli tarifni tanlang. Boshqaruv paneli buyurtma berishdan oldin narxni tasdiqlaydi, to‘xtatilgan soatbay server uchun esa faqat disk maydoniga haq olinadi.

GPU Cloud · NVIDIA · Hopper

94 GB VRAM-li NVIDIA H100 NVL GPU ijarasi

Cloudj platformasida H100 NVL bulutli GPU serverlarini soatbay ijaraga oling: katta modellarni inferens qilish uchun 94 GB VRAM, NVIDIA Hopper va qariyb 3381 GB/s xotira o‘tkazuvchanligi. Standart 80 GB H100 dan ko‘ra ko‘proq xotira va ancha tezroq dekodlash talab qiladigan LLM jamoalari uchun mo‘ljallangan bo‘lib, 400 W quvvat sarfida 48.3 TFLOPS FP32 unumdorligini taqdim etadi. vLLM yoki SGLang shablonini ishga tushiring, kerakli H100 NVL konfiguratsiyasini tanlang va SSH orqali ulaning.

H100 NVL ijarasi Barcha GPU’lar

H100 NVL texnik xususiyatlari

Har bir GPU uchun VRAM

94 GB

Arxitektura

NVIDIA Hopper

Hisoblash imkoniyati

FP32 unumdorligi

≈ 48.3 TFLOPS

Xotira o‘tkazuvchanligi

≈ 3381 GB/s

Quvvat sarfi (TDP)

400 W

Hozirda ro‘yxatda keltirilgan mashinalar uchun infratuzilma provayderi tomonidan ko‘rsatilgan ko‘rsatkichlar; haqiqiy unumdorlik mashinaga qarab farqlanishi mumkin.

Mavjud H100 NVL konfiguratsiyalari va narxlari

Real vaqtdagi mavjudlik va narxlar muntazam yangilanadi. Yakuniy narx buyurtma berishdan oldin tasdiqlanadi.

Ijaraga olish

H100 NVL bulutli GPU'sida nimalarni ishga tushirish mumkin

Yuqori o‘tkazuvchanlikdagi LLM serving

3381 GB/s tezlikdagi xotira o‘tkazuvchanligi token generatsiyasini tezlashtiradi, 94 GB esa kvantlangan 70B model hamda katta KV-keshni bitta GPU ichida saqlash imkonini beradi.

Katta kontekst va RAG tizimlari

80 GB kartaga nisbatan qo‘shimcha 14 GB to‘g‘ridan-to‘g‘ri kontekst uzunligini oshirishga va bir vaqtning o‘zida ko‘proq so‘rovlarni qayta ishlashga sarflanadi.

30B–70B modellarni fine-tuning qilish

Bitta Hopper GPU yordamida 30B toifasidagi modellarda BF16 rejimida LoRA yoki 70B toifasidagi modellarda Unsloth bilan QLoRA ishga tushiring.

Modellarni keng miqyosda baholash (eval)

Benchmark to‘plamlari va nazorat nuqtalarini (checkpoints) o‘zaro A/B baholashni tezda o‘tkazing, natijalar olingach esa serverni o‘chirib yuboring.

H100 NVL sizning vazifalaringiz uchun to‘g‘ri GPUmi?

Agar AI yoki hisoblash vazifalaringiz standart server videokartalaridan ko‘ra ko‘proq xotira talab qilsa, 94 GB VRAM gacha bo‘lgan H100 NVL ni tanlang. Yengil inferens va dasturlash uchun kichikroq ish stansiyasi yoki oddiy foydalanuvchi GPU serverlari ma’qulroq, agar modellaringiz hajmi 94 GB dan oshsa, multi-GPU konfiguratsiyasi yoki kattaroq xotira tariflari talab etiladi.

H100 NVL va o‘xshash bulutli GPU'lar taqqoslovi

GPU	Har bir GPU uchun VRAM	FP32 unumdorligi	Quvvat sarfi (TDP)
NVIDIA H100 NVL	94 GB	≈ 48.3 TFLOPS	400 W
NVIDIA H100 SXM	80 GB	≈ 53.5 TFLOPS	700 W	Batafsil →
NVIDIA H100 PCIE	80 GB	≈ 41 TFLOPS	350 W	Batafsil →
NVIDIA A800 PCIE	80 GB	≈ 15.6 TFLOPS	300 W	Batafsil →
NVIDIA CMP 170HX	64 GB	≈ 12.1 TFLOPS	250 W	Batafsil →

H100 NVL bulutli GPU: ko‘p beriladigan savollar

H100 NVL bulutli GPU'sini soatbay ijaraga oling

Shablonni tanlang, mavjud konfiguratsiyani belgilang va SSH yoki brauzer terminali orqali ulaning. GPU serverini o‘chirishingiz bilan to‘lov to‘xtatiladi.

H100 NVL ijarasi Barcha GPU’lar