94 GB VRAM бүхий NVIDIA H100 NVL GPU түрээслэх
Cloudj дээр H100 NVL үүлэн GPU серверийг цагаар түрээслээрэй: том загваруудын инференс (inference)-д зориулсан 94 GB VRAM, NVIDIA Hopper архитектур болон ойролцоогоор 3381 GB/s санах ойн зурвасын өргөн. 80 GB H100-аас илүү их санах ой, хамаагүй хурдан декодинг (decoding) шаардлагатай LLM багуудад тусгайлан зориулагдсан бөгөөд 400 W эрчим хүчний хязгаартайгаар 48.3 TFLOPS FP32 тооцооллын хүчин чадлыг үзүүлнэ. vLLM эсвэл SGLang загварыг эхлүүлж, бэлэн байгаа H100 NVL тохиргоог сонгон SSH-ээр шууд холбогдоорой.
H100 NVL техникийн үзүүлэлтүүд
GPU тус бүрийн VRAM
94 GB
Архитектур
NVIDIA Hopper
Compute capability
9
FP32 тооцоолох чадвар
≈ 48.3 TFLOPS
Санах ойн зурвасын өргөн
≈ 3381 GB/s
Цахилгаан зарцуулалт (TDP)
400 W
Одоо бүртгэлтэй байгаа машинуудын дэд бүтцийн нийлүүлэгчээс өгсөн үзүүлэлтүүд; бодит гүйцэтгэл төхөөрөмжөөс хамаарч өөр байж болно.
H100 NVL-ийн бодит тохиргоо болон үнэ
Бодит нөөц болон үнэ байнга шинэчлэгдэнэ. Эцсийн үнэ захиалга хийхээс өмнө баталгаажна.
ТүрээслэхH100 NVL үүлэн GPU дээр юу ажиллуулах боломжтой вэ
Өндөр хүчин чадалтай LLM серверинг (serving)
3381 GB/s зурвасын өргөн нь токен үүсгэх хурдыг нэмэгдүүлж, 94 GB санах ой нь quantize хийсэн 70B загвар болон том хэмжээний KV cache-ийг нэг GPU дээр найдвартай багтаана.
Урт контекст болон RAG системүүд
80 GB картаас илүү гарсан 14 GB санах ой нь контекстийн урт болон зэрэг ажиллах хүсэлтүүдийн багтаамжийг шууд өсгөнө.
30B–70B загваруудыг fine-tuning хийх
Нэг Hopper GPU дээр Unsloth ашиглан 30B ангиллын загваруудыг BF16 форматаар LoRA, эсвэл 70B загваруудыг QLoRA-аар сургах боломжтой.
Загварын өргөн цар хүрээтэй үнэлгээ (Model evaluation)
Олон checkpoint дээр бенчмарк тестүүд болон A/B үнэлгээнүүдийг хурдан гүйцэтгээд, үр дүнгээ авсны дараа серверээ устган зардлаа хэмнээрэй.
H100 NVL нь таны ажлын ачаалалд тохирох GPU мөн үү?
Хэрэв таны хиймэл оюун ухаан болон тооцооллын ачаалалд дата төвийн стандарт картуудаас илүү буюу 94 GB хүртэлх VRAM шаардлагатай бол H100 NVL-ийг сонгоорой. Хөнгөн инференс болон хөгжүүлэлтийн ажилд илүү жижиг workstation эсвэл хэрэглэгчийн GPU тохиромжтой бол загварын хэмжээ тань 94 GB-аас давсан тохиолдолд олон GPU-ийн тохиргоо эсвэл илүү их санах ойтой шийдэл шаардлагатай.
H100 NVL болон төстэй үүлэн GPU-үүдийн харьцуулалт
| GPU | GPU тус бүрийн VRAM | FP32 тооцоолох чадвар | Цахилгаан зарцуулалт (TDP) | |
|---|---|---|---|---|
| NVIDIA H100 NVL | 94 GB | ≈ 48.3 TFLOPS | 400 W | |
| NVIDIA H100 SXM | 80 GB | ≈ 53.5 TFLOPS | 700 W | Дэлгэрэнгүй → |
| NVIDIA H100 PCIE | 80 GB | ≈ 41 TFLOPS | 350 W | Дэлгэрэнгүй → |
| NVIDIA A800 PCIE | 80 GB | ≈ 15.6 TFLOPS | 300 W | Дэлгэрэнгүй → |
| NVIDIA CMP 170HX | 64 GB | ≈ 12.1 TFLOPS | 250 W | Дэлгэрэнгүй → |
H100 NVL үүлэн GPU: түгээмэл асуулт, хариулт
H100 NVL үүлэн GPU-г цагаар түрээслээрэй
Бэлэн загвар болон тохиргоогоо сонгоод SSH эсвэл хөтчийн терминалаар шууд холбогдоорой. GPU-г устгахад төлбөр тооцоо шууд зогсоно.