Tesla V100 ຮອງຮັບ BF16 ບໍ່?

ບໍ່ຮອງຮັບ. Volta (compute capability 7.0) ຮອງຮັບການຄຳນວນ FP16 Tensor Core ແຕ່ບໍ່ຮອງຮັບ BF16. ສຳລັບວຽກທີ່ຕ້ອງການ BF16 ແມ່ນຈຳເປັນຕ້ອງໃຊ້ GPU ລຸ້ນ Ampere ຂຶ້ນໄປ ເຊັ່ນ A100 ຫຼື RTX 3090.

ເລືອກ Tesla V100 ຫຼື RTX 4060 Ti 16 GB ດີ?

ທັງສອງລຸ້ນມີ 16 GB ຄືກັນ. V100 ມີ bandwidth ສູງກວ່າຫຼາຍຄື 780 ທຽບກັບ 236 GB/s, ເຊິ່ງຊ່ວຍໃນການຖອດລະຫັດ (decoding) ຂອງ LLM ໄດ້ດີກວ່າ; ສ່ວນ RTX 4060 Ti ຈະມີ FP32 ຫຼາຍກວ່າ (21.6 TFLOPS) ພ້ອມຮອງຮັບ BF16 ເທິງສະຖາປັດຕະຍະກຳ Ada Lovelace.

ສາມາດ fine-tune LLMs ເທິງ V100 ໄດ້ບໍ່?

ໄດ້ສຳລັບໂມເດວຂະໜາດນ້ອຍ. ການເຮັດ QLoRA ເທິງໂມເດວ 7B ສາມາດບັນຈຸລົງໃນ 16 GB ໄດ້ ໂດຍໃຊ້ FP16 ແທນ BF16. ແຕ່ສຳລັບໂມເດວທີ່ໃຫຍ່ກວ່ານີ້ ຫຼື sequence ທີ່ຍາວກວ່າ, ການໃຊ້ກາດ 24 GB ຫຼື 40 GB ຈະເໝາະສົມກັບການໃຊ້ງານຕົວຈິງຫຼາຍກວ່າ.

ເລີ່ມຕົ້ນໃຊ້ງານ Tesla V100 ເທິງ Cloudj ແນວໃດ?

ເລືອກ template ທີ່ຮອງຮັບ Volta, ເລືອກການກຳນົດຄ່າ V100 ທີ່ພ້ອມໃຊ້ງານ ແລະ ຢືນຢັນລາຄາ. ເຊື່ອມຕໍ່ຜ່ານ SSH ຫຼື terminal ເທິງບຣາວເຊີ; ຄິດໄລ່ຄ່າບໍລິການເປັນລາຍຊົ່ວໂມງ ເວັ້ນເສຍແຕ່ທ່ານຈະເລືອກຮອບການຈ່າຍທີ່ຍາວກວ່ານັ້ນ.

GPU Cloud · NVIDIA · Volta

ເຊົ່າ GPU NVIDIA Tesla V100 ພ້ອມ 16 GB VRAM

ເຊົ່າເຊີບເວີ cloud GPU Tesla V100 ລາຍຊົ່ວໂມງເທິງ Cloudj: 16 GB VRAM, ສະຖາປັດຕະຍະກຳ NVIDIA Volta ແລະ memory bandwidth ປະມານ 780 GB/s ພ້ອມ 12.5 TFLOPS FP32. V100 ເປັນລຸ້ນທີ່ເລີ່ມນຳໃຊ້ Tensor Cores ແລະ ຍັງຄົງເປັນກາດ datacenter ທີ່ດີເລີດສຳລັບການຝຶກອົບຮົມ (training) ແບບ FP16 mixed-precision, ການທົດລອງຊ້ຳຕາມງານວິໄຈ (research reproduction) ແລະ ການປະມວນຜົນ inference ຂະໜາດກາງ ພາຍໃຕ້ຂີດຈຳກັດການໃຊ້ໄຟ 300 W. ເລືອກ template PyTorch, ກວດສອບຄວາມຕ້ອງການ CUDA ແລ້ວເຊື່ອມຕໍ່ຜ່ານ SSH ໄດ້ທັນທີ.

ເຊົ່າ Tesla V100 GPU ທັງໝົດ

ຂໍ້ມູນສະເພາະຂອງ Tesla V100

VRAM ຕໍ່ GPU

16 GB

ສະຖາປັດຕະຍະກຳ

NVIDIA Volta

Compute capability

ພະລັງປະມວນຜົນ FP32

≈ 12.5 TFLOPS

ແບນວິດໜ່ວຍຄວາມຈຳ

≈ 780 GB/s

ຂີດຈຳກັດພະລັງງານ

300 W

ຄ່າທີ່ສະແດງແມ່ນລາຍງານຈາກຜູ້ໃຫ້ບໍລິການໂຄງສ້າງພື້ນຖານສຳລັບເຄື່ອງທີ່ມີໃນລາຍການປັດຈຸບັນ; ປະສິດທິພາບຕົວຈິງອາດແຕກຕ່າງກັນໄປຕາມແຕ່ລະເຄື່ອງ.

ການກຳນົດຄ່າ ແລະ ລາຄາ Tesla V100 ແບບສົດໆ

ສະຕັອກ ແລະ ລາຄາຕົວຈິງ ອັບເດດຢ່າງຕໍ່ເນື່ອງ. ລະບົບຈະຢືນຢັນລາຄາສຸດທ້າຍກ່ອນທີ່ທ່ານຈະສັ່ງຊື້.

ເຊົ່າເລີຍ

ສິ່ງທີ່ທ່ານສາມາດຣັນໄດ້ເທິງ Cloud GPU Tesla V100

ການຝຶກອົບຮົມແບບ FP16 mixed-precision

Volta Tensor Cores ຊ່ວຍເລັ່ງຄວາມໄວໃນການຝຶກອົບຮົມ FP16 ສຳລັບ CNNs, transformers ຂະໜາດນ້ອຍ ແລະ ໂມເດວສຽງ (speech models).

ທົດລອງຊ້ຳຕາມຜົນງານວິໄຈທີ່ເຜີຍແຜ່

ບົດຄວາມວິໄຈ ແລະ baselines ຈຳນວນຫຼາຍຖືກຝຶກອົບຮົມເທິງ V100; ສາມາດຣັນຊ້ຳເທິງສະຖາປັດຕະຍະກຳດຽວກັນເພື່ອປຽບທຽບຕົວເລກໄດ້ຢ່າງຊັດເຈນ.

ຣັນ LLMs 7B ແບບ quantized

16 GB ສາມາດຣັນໂມເດວ 7B–8B ທີ່ 8-bit ຫຼື ໂມເດວລະດັບ 13B ທີ່ 4-bit ສຳລັບການທົດສອບ ແລະ ການໃຫ້ບໍລິການ (serving) ຂະໜາດເບົາ.

HPC ແລະ ການຄຳນວນທາງວິທະຍາສາດ

Bandwidth 780 GB/s ຊ່ວຍເພີ່ມປະສິດທິພາບໃຫ້ກັບ simulations, solvers ແລະ ໂຄດທາງວິທະຍາສາດທີ່ໃຊ້ memory ສູງ (memory-bound).

Tesla V100 ແມ່ນ GPU ທີ່ເໝາະສົມສຳລັບໜ້າວຽກຂອງທ່ານບໍ່?

Tesla V100 16 GB ເໝາະສຳລັບນັກວິໄຈ ແລະ ນັກພັດທະນາທີ່ຕ້ອງການ memory bandwidth ສູງສຳລັບໂມເດວຂະໜາດນ້ອຍຫາປານກາງ ແລະ ວຽກຄຳນວນທາງວິທະຍາສາດ ໂດຍບໍ່ຕ້ອງຈ່າຍຄ່າຮາດແວ datacenter ລຸ້ນໃໝ່ທີ່ມີລາຄາສູງກວ່າ. ເລືອກ consumer GPU ຂະໜາດນ້ອຍກວ່າສຳລັບການພັດທະນາຂັ້ນພື້ນຖານທີ່ໃຊ້ memory ໜ້ອຍ, ຫຼື ອັບເກຣດໄປໃຊ້ GPU ລຸ້ນໃໝ່ທີ່ມີ VRAM ໃຫຍ່ກວ່າ ຫາກໂມເດວຂອງທ່ານມີຂະໜາດເກີນ 16 GB ຫຼື ຕ້ອງການຟີເຈີສະຖາປັດຕະຍະກຳໃໝ່ທີ່ເກີນກວ່າ compute capability 7.0.

Tesla V100 ທຽບກັບ Cloud GPU ອື່ນໆ ທີ່ຄ້າຍຄືກັນ

GPU	VRAM ຕໍ່ GPU	ພະລັງປະມວນຜົນ FP32	ຂີດຈຳກັດພະລັງງານ
NVIDIA Tesla V100	16 GB	≈ 12.5 TFLOPS	300 W
NVIDIA L4	22 GB	≈ 24.2 TFLOPS	72 W	ລາຍລະອຽດ →
NVIDIA Tesla P40	24 GB	≈ 9.4 TFLOPS	250 W	ລາຍລະອຽດ →
NVIDIA A100 PCIE	40 GB	≈ 15.6 TFLOPS	250 W	ລາຍລະອຽດ →
NVIDIA A100 SXM4	40 GB	≈ 15.6 TFLOPS	400 W	ລາຍລະອຽດ →

Cloud GPU Tesla V100: ຄຳຖາມທີ່ພົບເລື້ອຍ

ເຊົ່າ Cloud GPU Tesla V100 ແບບລາຍຊົ່ວໂມງ

ເລືອກ Template, ເລືອກການກຳນົດຄ່າພ້ອມໃຊ້ງານ ແລະ ເຊື່ອມຕໍ່ຜ່ານ SSH ຫຼື Terminal ເທິງບຣາວເຊີ. ການຄິດໄລ່ເງິນຈະຢຸດລົງເມື່ອທ່ານລຶບ GPU.

ເຊົ່າ Tesla V100 GPU ທັງໝົດ