ເຊົ່າ GPU NVIDIA H200 NVL ພ້ອມ 140 GB VRAM
ເຊົ່າເຊີບເວີ cloud GPU H200 NVL ລາຍຊົ່ວໂມງເທິງ Cloudj: VRAM 140 GB, NVIDIA Hopper ແລະ memory bandwidth ປະມານ 3884 GB/s, ເຊິ່ງເປັນ GPU ທີ່ມີໜ່ວຍຄວາມຈຳສູງສຸດໃນສາຍຜະລິດຕະພັນຂອງພວກເຮົາ. ອອກແບບມາສຳລັບທີມທີ່ຕ້ອງການ deploy ໂມເດວລະດັບ 70B ດ້ວຍຄວາມຊັດເຈນສູງ ຫຼື context ຍາວຫຼາຍ, ພ້ອມປະສິດທິພາບ FP32 48.3 TFLOPS ແລະ ຂີດຈຳກັດພະລັງງານ 600 W. ເລືອກ template vLLM ຫຼື SGLang, ເລືອກສະເປັກ H200 NVL ທີ່ມີໃຫ້ບໍລິການທັນທີ ແລ້ວເຊື່ອມຕໍ່ຜ່ານ SSH ໄດ້ເລີຍ.
ຂໍ້ມູນສະເພາະຂອງ H200 NVL
VRAM ຕໍ່ GPU
140 GB
ສະຖາປັດຕະຍະກຳ
NVIDIA Hopper
Compute capability
9
ພະລັງປະມວນຜົນ FP32
≈ 48.3 TFLOPS
ແບນວິດໜ່ວຍຄວາມຈຳ
≈ 3884 GB/s
ຂີດຈຳກັດພະລັງງານ
600 W
ຄ່າທີ່ສະແດງແມ່ນລາຍງານຈາກຜູ້ໃຫ້ບໍລິການໂຄງສ້າງພື້ນຖານສຳລັບເຄື່ອງທີ່ມີໃນລາຍການປັດຈຸບັນ; ປະສິດທິພາບຕົວຈິງອາດແຕກຕ່າງກັນໄປຕາມແຕ່ລະເຄື່ອງ.
ການກຳນົດຄ່າ ແລະ ລາຄາ H200 NVL ແບບສົດໆ
ສະຕັອກ ແລະ ລາຄາຕົວຈິງ ອັບເດດຢ່າງຕໍ່ເນື່ອງ. ລະບົບຈະຢືນຢັນລາຄາສຸດທ້າຍກ່ອນທີ່ທ່ານຈະສັ່ງຊື້.
ເຊົ່າເລີຍສິ່ງທີ່ທ່ານສາມາດຣັນໄດ້ເທິງ Cloud GPU H200 NVL
ໂມເດວລະດັບ 70B ດ້ວຍຄວາມຊັດເຈນເກືອບເຕັມຮູບແບບ
140 GB ຮອງຮັບໂມເດວ 70B ແບບ 8-bit ພ້ອມ KV cache ຂະໜາດໃຫຍ່, ຫຼື ໃກ້ຄຽງກັບຂະໜາດ 16-bit ໄດ້ໃນ GPU ດຽວ.
ການ deploy ໂມເດວທີ່ຮອງຮັບ context ຍາວ
3884 GB/s ຊ່ວຍໃຫ້ການຖອດລະຫັດ (decoding) ໄວຕໍ່ເນື່ອງ ໃນຂະນະທີ່ໜ່ວຍຄວາມຈຳທີ່ເພີ່ມຂຶ້ນສາມາດຮອງຮັບ prompt ຍາວໆ ແລະ ຫຼາຍ session ພ້ອມກັນໄດ້.
ການ Fine-tuning ໂມເດວ 70B ດ້ວຍ QLoRA
ຣັນ 70B QLoRA ດ້ວຍ sequence ທີ່ຍາວກວ່າ ແລະ batch ໃຫຍ່ກວ່າທີ່ກາດ 80 GB ສາມາດຮອງຮັບໄດ້.
ການທົດລອງໂມເດວ Mixture-of-experts
ໂມເດວ MoE ມີນ້ຳໜັກລວມ (total weights) ຂະໜາດໃຫຍ່; 140 GB ຊ່ວຍໃຫ້ທ່ານໂຫຼດຊຸດ expert ທີ່ໃຫຍ່ກວ່າເກົ່າເພື່ອທົດສອບໂດຍບໍ່ຕ້ອງເຮັດ sharding.
H200 NVL ແມ່ນ GPU ທີ່ເໝາະສົມສຳລັບໜ້າວຽກຂອງທ່ານບໍ່?
ເລືອກ H200 NVL ເມື່ອຂໍ້ຈຳກັດຫຼັກຂອງທ່ານແມ່ນຄວາມຈຸ VRAM ແລະ memory bandwidth, ໂດຍສະເພາະສຳລັບການ host ໂມເດວຂະໜາດໃຫຍ່ເທິງກາດດຽວ. ຖ້າທ່ານກຳລັງຣັນການ inference ແບບເບົາບາງ, ການສ້າງຮູບພາບທົ່ວໄປ, ຫຼື ວຽກພັດທະນາທີ່ບໍ່ຕ້ອງການໜ່ວຍຄວາມຈຳເຖິງ 140 GB, ການເລືອກ workstation ຂະໜາດນ້ອຍກວ່າ ຫຼື consumer GPU ຈະເປັນທາງເລືອກທີ່ຄຸ້ມຄ່າກວ່າ.
H200 NVL ທຽບກັບ Cloud GPU ອື່ນໆ ທີ່ຄ້າຍຄືກັນ
| GPU | VRAM ຕໍ່ GPU | ພະລັງປະມວນຜົນ FP32 | ຂີດຈຳກັດພະລັງງານ | |
|---|---|---|---|---|
| NVIDIA H200 NVL | 140 GB | ≈ 48.3 TFLOPS | 600 W | |
| NVIDIA H100 NVL | 94 GB | ≈ 48.3 TFLOPS | 400 W | ລາຍລະອຽດ → |
| NVIDIA H100 SXM | 80 GB | ≈ 53.5 TFLOPS | 700 W | ລາຍລະອຽດ → |
| NVIDIA H100 PCIE | 80 GB | ≈ 41 TFLOPS | 350 W | ລາຍລະອຽດ → |
| NVIDIA A800 PCIE | 80 GB | ≈ 15.6 TFLOPS | 300 W | ລາຍລະອຽດ → |
Cloud GPU H200 NVL: ຄຳຖາມທີ່ພົບເລື້ອຍ
ເຊົ່າ Cloud GPU H200 NVL ແບບລາຍຊົ່ວໂມງ
ເລືອກ Template, ເລືອກການກຳນົດຄ່າພ້ອມໃຊ້ງານ ແລະ ເຊື່ອມຕໍ່ຜ່ານ SSH ຫຼື Terminal ເທິງບຣາວເຊີ. ການຄິດໄລ່ເງິນຈະຢຸດລົງເມື່ອທ່ານລຶບ GPU.