Khi công việc đã vượt quá card phổ thông 24 GB nhưng chưa tới mức cần card 80 GB, ba cái tên xuất hiện liên tục: L40S, A100 và RTX 6000 Ada. Riêng câu hỏi L40S hay A100 làm nhiều người bối rối, vì A100 nổi tiếng là card huấn luyện, trong khi L40S mới hơn và ở một số thông số thì mạnh hơn hẳn. Bài viết so sánh ba card cho inference, fine-tune và render, chỉ dùng số liệu trên trang model của Cloudj, và hướng dẫn cách tìm khi lựa chọn đầu tiên chưa có máy.
Về sự khác nhau giữa các lớp card nói chung, hãy đọc trước bài GPU phổ thông hay GPU datacenter trên cloud.
Ba card đặt cạnh nhau
| L40S | A100 PCIe | RTX 6000 Ada | |
|---|---|---|---|
| Kiến trúc | Ada Lovelace | Ampere | Ada Lovelace |
| VRAM | Lớp 48 GB | 40 GB | 48 GB |
| FP32 (trang model) | 73.3 TFLOPS | 15.6 TFLOPS | 81.4 TFLOPS |
| Băng thông bộ nhớ (trang model) | 626 GB/s | 1313 GB/s | 764 GB/s |
| Công suất | 350 W | 250 W | 300 W |
| Phân khúc | Datacenter | Datacenter | Workstation |
Điểm nổi bật: hai card Ada có nhiều VRAM hơn và sức tính FP32 cao hơn hẳn, còn A100 có băng thông bộ nhớ gần gấp đôi. Riêng khác biệt này đã giải thích phần lớn kết quả thực tế bên dưới. Việc nào phải đọc trọng số lớn qua bộ nhớ liên tục (huấn luyện batch lớn, một số kiểu sinh token của LLM) thì dựa vào băng thông; việc nào tính toán nặng trên mỗi byte (render, sinh ảnh, nhiều model thị giác) thì dựa vào sức tính.
Trang model còn có biến thể A100 SXM4, cùng 40 GB nhưng mức công suất cao hơn. Cả ba lớp card đều cần cấp tài khoản cao hơn mức khởi đầu của tài khoản mới.
Inference
Phục vụ LLM. Sinh token cho một luồng thường bị giới hạn bởi băng thông bộ nhớ, nên A100 có lợi thế. Nhưng 40 GB của A100 chứa được ít hơn: model 30B đến 34B ở 4-bit với KV cache rộng rãi chạy thoải mái trên 48 GB nhưng khá sát trên 40 GB. Với nhiều team, 8 GB dư ra trên card Ada (phục vụ thêm người dùng cùng lúc, context dài hơn) đáng giá hơn băng thông thuần. Hai card Ada còn hỗ trợ đường chạy FP8 trong các engine inference mới, điều mà A100 không có.
Sinh ảnh và video. Model diffusion nặng về tính toán. L40S và RTX 6000 Ada là lựa chọn tự nhiên, với 48 GB cho model lớn và độ phân giải cao. Nếu bạn làm dịch vụ sinh ảnh sản phẩm cho các shop online, đây là nhóm card nên nhắm tới.
Kết luận: L40S hoặc RTX 6000 Ada cho phần lớn inference; A100 nếu model vừa 40 GB và engine của bạn bị giới hạn bởi băng thông.
Fine-tune
LoRA và QLoRA. Cả ba đều chạy LoRA cho model 7B đến 13B. Card 48 GB cho phép batch lớn hơn hoặc model gốc lớn hơn ở 4-bit.
Fine-tune toàn phần và huấn luyện nhiều GPU. A100 có hệ sinh thái huấn luyện chín muồi nhất, và máy A100 SXM4 thường được lắp nhiều GPU trong một host. Nếu bạn cần máy nhiều GPU để huấn luyện song song dữ liệu, hãy xem khi tìm có máy A100 nhiều card hay không. Card Ada cũng huấn luyện tốt, nhất là với BF16, nhưng băng thông bộ nhớ thấp hơn có thể làm chậm huấn luyện batch lớn.
Kết luận: hãy chạy thử job của chính bạn. Chạy vài trăm bước trên mỗi lựa chọn đang có và so chi phí cho mỗi lượt chạy hoàn chỉnh (giá chạy nhân số giờ), đừng so giá theo giờ.
Render
Với Blender Cycles và các công việc dò tia (ray tracing) khác, card Ada thắng rõ ràng: chúng có nhân RT mà A100 hoàn toàn không có, cộng sức tính FP32 cao hơn. RTX 6000 Ada là card workstation được thiết kế đúng cho việc này; L40S là "anh em" phiên bản datacenter. A100 là lựa chọn kém cho render. Các studio diễn họa kiến trúc ở Việt Nam nên bỏ qua A100 khi tìm máy render.
Kết luận: RTX 6000 Ada hoặc L40S.
Bảng tóm tắt
| Công việc | Lựa chọn đầu | Phương án thay thế |
|---|---|---|
| Phục vụ LLM, model vừa 40 GB, giới hạn bởi băng thông | A100 | L40S |
| Phục vụ LLM, model lớn hơn hoặc nhiều người dùng | L40S hoặc RTX 6000 Ada | A100 với model nhỏ hơn |
| Sinh ảnh và video | L40S hoặc RTX 6000 Ada | A100 |
| Fine-tune LoRA | Card nào cũng được; chạy thử | Card nào cũng được |
| Huấn luyện nhiều GPU | A100 (nếu có máy nhiều card) | L40S nhiều card |
| Render | RTX 6000 Ada hoặc L40S | Không dùng A100 |
Tìm máy khi card bạn chọn chưa có
Vị trí GPU trên Cloudj là bộ lọc quốc gia áp lên danh sách máy chủ đang có, và hàng thay đổi trong ngày. Mở trang triển khai L40S và đặt các nước bạn muốn. Nếu lựa chọn đầu tiên chưa có:
- Bỏ chọn mẫu card và đặt VRAM tối thiểu 40 GB. Bạn sẽ thấy cả ba (và các card khác như RTX A6000) đang có ở các nước của bạn.
- Mở rộng dãy mã quốc gia, hoặc bỏ hẳn với job chạy theo lô.
- So tổng chi phí, kể cả giá băng thông, trước khi triển khai.
Các bài tìm theo khu vực: thuê L40S ở châu Âu, RTX 6000 Ada ở châu Âu và thuê A100 châu Á. Giá "từ" có trên từng trang model và trên GPU cloud. Số dư tài khoản bạn nạp bằng chuyển khoản VND, tiền trừ theo phút khi máy chạy.
Câu hỏi thường gặp
L40S có tốt hơn A100 không?
Với inference model lớn, sinh ảnh và render thì thường là có. Với việc giới hạn bởi băng thông mà vừa 40 GB, A100 vẫn có thể nhanh hơn.
L40S và RTX 6000 Ada khác nhau thế nào?
Cùng thế hệ, VRAM tương đương. L40S là card datacenter; RTX 6000 Ada là card workstation. Hãy chọn theo giá trực tiếp và máy đang có.
Render bằng A100 được không?
Chạy được ở chế độ CUDA nhưng không có nhân RT. Card Ada tốt hơn nhiều cho render.
Tài khoản mới có thuê được ba card này không?
Thường là chưa ngay. Cả ba đều cần cấp tài khoản cao hơn; hãy liên hệ hỗ trợ trên console.
So sánh trực tiếp
Mở trang triển khai L40S, đặt VRAM tối thiểu 40 GB và các nước bạn muốn, rồi xem card nào trong ba đang có. Mọi giá trực tiếp có trên GPU cloud.