RTX 4090 hay A100 là câu hỏi rất hay gặp khi một đội chuyển mô hình từ notebook lên production. Một bên là card phổ thông mạnh nhất thế hệ của nó, bên kia là "ngựa thồ" data center của thế hệ trước. Với inference, câu trả lời đúng ít phụ thuộc vào card nào "tốt hơn" mà phụ thuộc nhiều vào nhu cầu của mô hình: bộ nhớ, batch size, và việc thuê card đó có dễ ở nơi gần người dùng hay không. Bài này đi qua từng yếu tố, rồi đưa ra kết luận cho các tình huống phục vụ thường gặp.
Ví dụ ở Việt Nam: một startup làm chatbot bán hàng cho các shop trên Zalo và Shopee, hay một nhóm làm trợ lý tra cứu văn bản pháp luật, đều sẽ gặp câu hỏi này khi lượng người dùng tăng. Với câu hỏi chung về GPU phổ thông và GPU data center, hãy bắt đầu từ bài GPU phổ thông hay GPU data center.
Sơ lược hai card
- RTX 4090: GPU phổ thông kiến trúc Ada Lovelace, 24 GB GDDR6X.
- A100 PCIe và A100 SXM4: GPU data center kiến trúc Ampere, trên Cloudj niêm yết bản 40 GB dùng bộ nhớ HBM2.
Xung nhịp, băng thông và thông số hiệu năng chính xác có trên từng trang model. Hãy dùng số liệu đó thay vì nhận định chung chung, và thử chính mô hình của bạn, vì hiệu năng phục vụ phụ thuộc rất nhiều vào phần mềm.
So sánh từng yếu tố
| Yếu tố | RTX 4090 | A100 (40 GB) | Ý nghĩa khi phục vụ |
|---|---|---|---|
| Dung lượng bộ nhớ | 24 GB | 40 GB | A100 chứa được mô hình lớn hơn, hoặc cùng mô hình với KV cache lớn hơn |
| Loại bộ nhớ và băng thông | GDDR6X | HBM2, bus bộ nhớ rộng | Sinh token thường bị giới hạn bởi bộ nhớ; hãy so số băng thông trên trang model |
| Dư địa batch size | Bị giới hạn bởi 24 GB | Nhiều chỗ hơn cho request đồng thời | A100 phục vụ nhiều người cùng lúc hơn trên mỗi card khi bộ nhớ là giới hạn |
| Định dạng độ chính xác thấp | Thế hệ mới hơn, hỗ trợ FP8 bằng phần cứng | Không có FP8 phần cứng | Một số phần mềm phục vụ tận dụng được FP8 trên card mới |
| Kết nối nhiều GPU | Qua PCIe | Máy SXM4 thường có NVLink | Chia mô hình trên nhiều GPU mở rộng tốt hơn với SXM4 |
| Cấp tài khoản | Tài khoản mới dùng được | Cần cấp cao hơn | 4090 bắt đầu được ngay |
| Số máy thường thấy | Nhiều host phổ thông | Ít hơn, thường đặt trong data center | 4090 thường dễ tìm hơn ở một nước cụ thể |
Hai dòng thường quyết định câu trả lời: bộ nhớ và khả năng tiếp cận. Nếu mô hình ở độ chính xác bạn chọn, cộng KV cache cho số người dùng đồng thời mục tiêu, vừa 24 GB và còn dư, thì 4090 là lựa chọn mạnh và đơn giản. Nếu không vừa, phần bộ nhớ dư của A100 quan trọng hơn mọi khác biệt về tốc độ.
Cấp tài khoản và quyền thuê
Tài khoản Cloudj mới thuê được ngay GPU phổ thông như 4090. GPU data center, trong đó có A100, cần cấp tài khoản cao hơn; nếu thử quá sớm, console sẽ báo "This GPU class is not available at your account level", và bạn liên hệ hỗ trợ Cloudj từ đó. Nếu bạn cần ra mắt ngay trong tuần, riêng điều này có thể đã quyết định lựa chọn.
Vị trí: thuê mỗi card ở đâu?
Trên Cloudj, vị trí là bộ lọc quốc gia trên danh sách máy độc lập thay đổi liên tục. Card phổ thông như 4090 thường xuất hiện ở nhiều máy hơn, còn card data center nằm trong ít máy hơn và có thể bị thuê liền nhiều ngày. Vì vậy tìm A100 ở một nước cụ thể dễ ra danh sách trống hơn so với tìm 4090. Tình trạng máy thay đổi trong ngày, nên hãy kiểm tra console thay vì đoán.
Nếu người dùng ở Đông Nam Á, bài thuê RTX 4090 Singapore hướng dẫn tìm với SG, TH, MY và VN. Giá theo thời gian thực của cả hai card có trên GPU cloud.
Kết luận cho các tình huống thường gặp
Mô hình chat 7B đến 14B đã lượng tử hóa, vài chục người dùng đồng thời. 4090 thường thắng: vừa bộ nhớ, dễ thuê gần người dùng, không cần nâng cấp tài khoản.
Mô hình hạng 30B ở 4 bit với ngữ cảnh dài. 4090 bắt đầu chật khi KV cache tăng. 40 GB của A100 cho thêm chỗ; card 48 GB là một lựa chọn khác.
Nhiều người dùng đồng thời trên mô hình cỡ vừa. Bộ nhớ cho KV cache trở thành giới hạn. A100 cho phép gom nhiều request hơn trên mỗi card. Hoặc bạn chạy hai instance 4090 sau một bộ cân bằng tải.
Mô hình phải chia trên nhiều GPU. Nên chọn máy A100 SXM4 có kết nối GPU nhanh, hoặc một card lớn hơn. Bài so sánh A100 và H100 nói về bước tiếp theo.
API tạo ảnh. 4090 thường là lựa chọn thực tế: pipeline diffusion vừa 24 GB và máy phổ thông dễ tìm hơn.
Thử trước khi chốt
Tính tiền theo phút giúp việc thử song song rất rẻ. Triển khai mỗi card, chạy cùng phần mềm phục vụ với cùng tải, rồi so sánh thời gian ra token đầu tiên, số token mỗi giây cho mỗi người dùng và bộ nhớ đỉnh. Ví dụ với vLLM:
vllm serve <hf-model-id> --host 127.0.0.1 --port 8000 --max-model-len 8192
nvidia-smi --query-gpu=memory.used,utilization.gpu --format=csv -l 5Bài dựng inference server vLLM tại Mỹ hướng dẫn trọn bộ. Lần triển khai không khởi động được thì không bị tính tiền. Bạn nạp tiền vào số dư bằng chuyển khoản VND, mỗi instance trừ tiền riêng theo phút.
Câu hỏi thường gặp
A100 có luôn nhanh hơn RTX 4090 không?
Không. Với mô hình nhỏ vừa thoải mái trong 24 GB, 4090 có thể ngang hoặc nhanh hơn. A100 phát huy khi bộ nhớ hoặc batch là giới hạn.
Cloudj niêm yết A100 loại nào?
A100 PCIe và A100 SXM4 bản 40 GB.
Tôi bắt đầu với 4090 rồi chuyển sang A100 sau được không?
Được. Hãy giữ cấu hình phục vụ trong script hoặc image, và đặt một VPS phía trước để đổi GPU không làm thay đổi endpoint.
Xem giá ở đâu?
Giá theo thời gian thực trên trang RTX 4090, trang A100 PCIe và GPU cloud.
Bước tiếp theo
Ước tính bộ nhớ của mô hình cộng KV cache, rồi mở trang triển khai với RTX 4090 để thử. Nếu 24 GB không đủ, hãy so sánh với A100 khi cấp tài khoản của bạn cho phép.