H100 NVL ທຽບກັບ H100 SXM: ລຸ້ນໃດໄວກວ່າກັນ?

ສຳລັບການ decoding ຂອງ LLM, H100 NVL ຈະມີຫນ່ວຍຄວາມຈຳຫຼາຍກວ່າ (94 GB ທຽບກັບ 80 GB) ແລະ ມີແບນວິດສູງກວ່າ (3381 GB/s ທຽບກັບ 2869 GB/s). ສ່ວນ H100 SXM ຈະມີກຳລັງ FP32 ສູງກວ່າທີ່ 53.5 TFLOPS ແລະ ຂີດຈຳກັດພະລັງງານ 700 W, ຈຶ່ງເໝາະສຳລັບການ training ທີ່ເນັ້ນການປະມວນຜົນໜັກ.

ຂ້ອຍສາມາດຣັນໂມເດວ 70B ແບບ 16-bit ເທິງ H100 NVL ໄດ້ບໍ່?

ບໍ່ໄດ້. weights ຂອງ 70B ແບບ 16-bit ຕ້ອງການພື້ນທີ່ປະມານ 140 GB. ເທິງ 94 GB, ທ່ານສາມາດຣັນ 70B ທີ່ຖືກ quantized ເປັນ 4 ຫຼື 8 bits; ແຕ່ສຳລັບ 70B ແບບ 16-bit, H200 NVL ທີ່ມີ 140 GB ຈະຕອບໂຈດໄດ້ກົງກວ່າ.

Hopper ຈຳເປັນຕ້ອງໃຊ້ຊອບແວພິເສດບໍ່?

Hopper ມີ compute capability 9.0 ແລະ ສາມາດຣັນ CUDA, PyTorch, vLLM ແລະ SGLang ເວີຊັນປັດຈຸບັນໄດ້. ເທມເພຼດເທິງ Cloudj ຈະລະບຸເວີຊັນ CUDA ຂັ້ນຕ່ຳໄວ້, ແລະ ຈະສະແດງສະເພາະ GPU ທີ່ເຂົ້າກັນໄດ້ກັບແຕ່ລະເທມເພຼດເທົ່ານັ້ນ.

ລະບົບຄິດໄລ່ລາຄາຂອງ H100 NVL ເຮັດວຽກແນວໃດ?

ຈ່າຍເປັນລາຍຊົ່ວໂມງໃນຂະນະທີ່ server ເຮັດວຽກ ໂດຍຫັກຈາກຍອດເງິນ Cloudj ຂອງທ່ານ, ຫຼື ເລືອກຮອບບິນເປັນລາຍເດືອນ ຫຼື ໄລຍະຍາວຂຶ້ນ. ຄອນໂຊລຈະຢືນຢັນລາຄາກ່ອນທີ່ທ່ານຈະສັ່ງຊື້, ແລະ server ແບບລາຍຊົ່ວໂມງທີ່ຖືກປິດຢຸດໄວ້ ຈະຖືກຄິດໄລ່ຄ່າບໍລິການສະເພາະພື້ນທີ່ disk ເທົ່ານັ້ນ.

GPU Cloud · NVIDIA · Hopper

ເຊົ່າ GPU NVIDIA H100 NVL ພ້ອມ 94 GB VRAM

ເຊົ່າ Cloud GPU Server H100 NVL ແບບລາຍຊົ່ວໂມງເທິງ Cloudj: ມາພ້ອມ VRAM 94 GB, ສະຖາປັດຕະຍະກຳ NVIDIA Hopper ແລະ ແບນວິດຫນ່ວຍຄວາມຈຳປະມານ 3381 GB/s ສຳລັບການປະມວນຜົນ inference ຂອງໂມເດວຂະໜາດໃຫຍ່. ອອກແບບມາສຳລັບທີມພັດທະນາ LLM ທີ່ຕ້ອງການຫນ່ວຍຄວາມຈຳຫຼາຍກວ່າ H100 80 GB ແລະ ຕ້ອງການຄວາມໄວໃນການ decoding ທີ່ໄວຂຶ້ນຫຼາຍ, ໃຫ້ກຳລັງປະມວນຜົນ 48.3 TFLOPS FP32 ພາຍໃຕ້ຂີດຈຳກັດການໃຊ້ພະລັງງານ 400 W. ເລີ່ມຕົ້ນໃຊ້ງານເທມເພຼດ vLLM ຫຼື SGLang, ເລືອກການກຳນົດຄ່າ H100 NVL ທີ່ພ້ອມໃຊ້ງານ ແລະ ເຊື່ອມຕໍ່ຜ່ານ SSH ໄດ້ທັນທີ.

ເຊົ່າ H100 NVL GPU ທັງໝົດ

ຂໍ້ມູນສະເພາະຂອງ H100 NVL

VRAM ຕໍ່ GPU

94 GB

ສະຖາປັດຕະຍະກຳ

NVIDIA Hopper

Compute capability

ພະລັງປະມວນຜົນ FP32

≈ 48.3 TFLOPS

ແບນວິດໜ່ວຍຄວາມຈຳ

≈ 3381 GB/s

ຂີດຈຳກັດພະລັງງານ

400 W

ຄ່າທີ່ສະແດງແມ່ນລາຍງານຈາກຜູ້ໃຫ້ບໍລິການໂຄງສ້າງພື້ນຖານສຳລັບເຄື່ອງທີ່ມີໃນລາຍການປັດຈຸບັນ; ປະສິດທິພາບຕົວຈິງອາດແຕກຕ່າງກັນໄປຕາມແຕ່ລະເຄື່ອງ.

ການກຳນົດຄ່າ ແລະ ລາຄາ H100 NVL ແບບສົດໆ

ສະຕັອກ ແລະ ລາຄາຕົວຈິງ ອັບເດດຢ່າງຕໍ່ເນື່ອງ. ລະບົບຈະຢືນຢັນລາຄາສຸດທ້າຍກ່ອນທີ່ທ່ານຈະສັ່ງຊື້.

ເຊົ່າເລີຍ

ສິ່ງທີ່ທ່ານສາມາດຣັນໄດ້ເທິງ Cloud GPU H100 NVL

ການໃຫ້ບໍລິການ LLM ທີ່ມີ Throughput ສູງ

ແບນວິດ 3381 GB/s ຊ່ວຍເລັ່ງຄວາມໄວໃນການສ້າງ token, ແລະ 94 GB ຮອງຮັບໂມເດວ 70B ແບບ quantized ພ້ອມກັບ KV cache ຂະໜາດໃຫຍ່ເທິງ GPU ດຽວ.

ລະບົບ Long-context ແລະ RAG pipelines

ຫນ່ວຍຄວາມຈຳທີ່ເພີ່ມຂຶ້ນອີກ 14 GB ເມື່ອທຽບກັບກາດ 80 GB ຊ່ວຍຮອງຮັບ context ທີ່ຍາວກວ່າ ແລະ ຄຳຂໍພ້ອມກັນໄດ້ຫຼາຍຂຶ້ນໂດຍກົງ.

ການ Fine-tuning ໂມເດວຂະໜາດ 30B–70B

ຣັນ LoRA ເທິງໂມເດວຕະກູນ 30B ໃນຮູບແບບ BF16 ຫຼື QLoRA ເທິງໂມເດວຕະກູນ 70B ດ້ວຍ Unsloth ເທິງ Hopper GPU ພຽງໜ່ວຍດຽວ.

ການປະເມີນຜົນໂມເດວຂະໜາດໃຫຍ່

ຣັນຊຸດທົດສອບ benchmark ແລະ ການປະເມີນຜົນແບບ A/B ໃນແຕ່ລະ checkpoint ໄດ້ຢ່າງວ່ອງໄວ, ແລ້ວສາມາດລຶບ server ໄດ້ທັນທີເມື່ອໄດ້ຄະແນນຄົບຖ້ວນ.

H100 NVL ແມ່ນ GPU ທີ່ເໝາະສົມສຳລັບໜ້າວຽກຂອງທ່ານບໍ່?

ເລືອກໃຊ້ H100 NVL ເມື່ອວຽກ AI ຫຼື ວຽກປະມວນຜົນຂອງທ່ານຕ້ອງການຫນ່ວຍຄວາມຈຳຫຼາຍກວ່າທີ່ກາດ datacenter ມາດຕະຖານມີໃຫ້, ສູງເຖິງ 94 GB VRAM. ສຳລັບການ inference ຂະໜາດເບົາ ແລະ ການພັດທະນາເບື້ອງຕົ້ນ, GPU ລະດັບ workstation ຫຼື consumer ຂະໜາດນ້ອຍກວ່າຈະເປັນທາງເລືອກທີ່ດີກວ່າ, ຂະນະທີ່ການຕິດຕັ້ງແບບ multi-GPU ຫຼື ລະດັບຫນ່ວຍຄວາມຈຳທີ່ໃຫຍ່ກວ່ານີ້ແມ່ນຈຳເປັນຫາກໂມເດວຂອງທ່ານມີຂະໜາດເກີນ 94 GB.

H100 NVL ທຽບກັບ Cloud GPU ອື່ນໆ ທີ່ຄ້າຍຄືກັນ

GPU	VRAM ຕໍ່ GPU	ພະລັງປະມວນຜົນ FP32	ຂີດຈຳກັດພະລັງງານ
NVIDIA H100 NVL	94 GB	≈ 48.3 TFLOPS	400 W
NVIDIA H100 SXM	80 GB	≈ 53.5 TFLOPS	700 W	ລາຍລະອຽດ →
NVIDIA H100 PCIE	80 GB	≈ 41 TFLOPS	350 W	ລາຍລະອຽດ →
NVIDIA A800 PCIE	80 GB	≈ 15.6 TFLOPS	300 W	ລາຍລະອຽດ →
NVIDIA CMP 170HX	64 GB	≈ 12.1 TFLOPS	250 W	ລາຍລະອຽດ →

Cloud GPU H100 NVL: ຄຳຖາມທີ່ພົບເລື້ອຍ

ເຊົ່າ Cloud GPU H100 NVL ແບບລາຍຊົ່ວໂມງ

ເລືອກ Template, ເລືອກການກຳນົດຄ່າພ້ອມໃຊ້ງານ ແລະ ເຊື່ອມຕໍ່ຜ່ານ SSH ຫຼື Terminal ເທິງບຣາວເຊີ. ການຄິດໄລ່ເງິນຈະຢຸດລົງເມື່ອທ່ານລຶບ GPU.

ເຊົ່າ H100 NVL GPU ທັງໝົດ