140 GB VRAM бүхий NVIDIA H200 NVL GPU түрээслэх
Cloudj дээр H200 NVL клауд GPU серверийг цагаар түрээслээрэй: 140 GB VRAM, NVIDIA Hopper архитектур болон ойролцоогоор 3884 GB/s санах ойн зурвасын өргөн бүхий манай хамгийн их санах ойтой GPU. Энэ нь 70B ангиллын моделиудыг өндөр нарийвчлалтай эсвэл маш урт контексттэйгээр ажиллуулах (serving) багуудад зориулагдсан бөгөөд 48.3 TFLOPS FP32 болон 600 W цахилгаан зарцуулалтын хязгаартай. vLLM эсвэл SGLang загварыг сонгож, бэлэн байгаа H200 NVL тохиргоог сонгон SSH-ээр холбогдоорой.
H200 NVL техникийн үзүүлэлтүүд
GPU тус бүрийн VRAM
140 GB
Архитектур
NVIDIA Hopper
Compute capability
9
FP32 тооцоолох чадвар
≈ 48.3 TFLOPS
Санах ойн зурвасын өргөн
≈ 3884 GB/s
Цахилгаан зарцуулалт (TDP)
600 W
Одоо бүртгэлтэй байгаа машинуудын дэд бүтцийн нийлүүлэгчээс өгсөн үзүүлэлтүүд; бодит гүйцэтгэл төхөөрөмжөөс хамаарч өөр байж болно.
H200 NVL-ийн бодит тохиргоо болон үнэ
Бодит нөөц болон үнэ байнга шинэчлэгдэнэ. Эцсийн үнэ захиалга хийхээс өмнө баталгаажна.
ТүрээслэхH200 NVL үүлэн GPU дээр юу ажиллуулах боломжтой вэ
Бүрэн нарийвчлалд ойр 70B ангиллын моделиуд
140 GB санах ой нь ганц GPU дээр 70B моделийг том хэмжээний KV cache-тэйгээр 8-bit хэлбэрээр, эсвэл 16-bit-тэй ойролцоо хэмжээгээр багтаана.
Урт контекстийн serving
3884 GB/s хурд нь декодчиллыг өндөр хурдтай байлгахын зэрэгцээ нэмэлт санах ой нь урт prompt болон олон зэрэгцээ сессийг найдвартай хадгална.
70B моделийг QLoRA ашиглан fine-tune хийх
80 GB картаас илүү урт sequence болон илүү том batch-тайгаар 70B QLoRA-г ажиллуулаарай.
Mixture-of-experts туршилтууд
MoE моделиуд нь нийт жин ихтэй байдаг; 140 GB санах ой нь sharding хийх шаардлагагүйгээр илүү том эксперт багцуудыг туршилтад ачаалах боломжийг олгоно.
H200 NVL нь таны ажлын ачаалалд тохирох GPU мөн үү?
Таны үндсэн гацаа VRAM багтаамж болон санах ойн зурвасын өргөн байвал, ялангуяа том моделиудыг ганц карт дээр байршуулахад H200 NVL-ийг сонгоорой. Хэрэв та 140 GB санах ой шаардахгүй хөнгөн inference, энгийн зураг үүсгэх эсвэл хөгжүүлэлтийн даалгавар гүйцэтгэж байгаа бол жижиг хэмжээний workstation эсвэл хэрэглэгчийн GPU нь илүү бодит, оновчтой сонголт болно.
H200 NVL болон төстэй үүлэн GPU-үүдийн харьцуулалт
| GPU | GPU тус бүрийн VRAM | FP32 тооцоолох чадвар | Цахилгаан зарцуулалт (TDP) | |
|---|---|---|---|---|
| NVIDIA H200 NVL | 140 GB | ≈ 48.3 TFLOPS | 600 W | |
| NVIDIA H100 NVL | 94 GB | ≈ 48.3 TFLOPS | 400 W | Дэлгэрэнгүй → |
| NVIDIA H100 SXM | 80 GB | ≈ 53.5 TFLOPS | 700 W | Дэлгэрэнгүй → |
| NVIDIA H100 PCIE | 80 GB | ≈ 41 TFLOPS | 350 W | Дэлгэрэнгүй → |
| NVIDIA A800 PCIE | 80 GB | ≈ 15.6 TFLOPS | 300 W | Дэлгэрэнгүй → |
H200 NVL үүлэн GPU: түгээмэл асуулт, хариулт
H200 NVL үүлэн GPU-г цагаар түрээслээрэй
Бэлэн загвар болон тохиргоогоо сонгоод SSH эсвэл хөтчийн терминалаар шууд холбогдоорой. GPU-г устгахад төлбөр тооцоо шууд зогсоно.