Thuê GPU NVIDIA L4 hợp với một việc rất cụ thể: phục vụ mô hình nhỏ và vừa, xử lý video hiệu quả, chứ không phải train mô hình lớn thật nhanh. Vì thế L4 là ứng viên tự nhiên cho inference cần chạy gần người dùng, khi bạn muốn đặt một GPU vừa phải ở nhiều khu vực thay vì một GPU lớn ở một chỗ. Bài này giải thích L4 mạnh ở đâu, cách tìm nó gần người dùng trên Cloudj, và so với card RTX phổ thông cho cùng một việc thì thế nào.
Phương pháp chung để chọn khu vực GPU có trong hướng dẫn chọn GPU theo vị trí.
Thuê GPU NVIDIA L4: đây là card gì
L4 là GPU datacenter kiến trúc Ada Lovelace của NVIDIA, bộ nhớ nhóm 24 GB. Trong dòng sản phẩm của NVIDIA, đây là card inference công suất thấp, một khe cắm, có bộ mã hóa và giải mã video phần cứng (kể cả AV1), nên được ưa chuộng trong các pipeline AI xử lý video. Hãy xem thông số trên trang mẫu thay vì nhớ đại khái.
Những việc hợp với L4:
- phục vụ mô hình ngôn ngữ 7B-8B, mô hình cỡ vừa đã lượng tử hóa, mô hình embedding và reranker;
- nhận dạng giọng nói và chuyển văn bản thành giọng nói;
- phân loại ảnh, nhận diện vật thể, OCR trên luồng hình ảnh, ví dụ đọc hóa đơn hay biển số;
- pipeline video giải mã, chạy mô hình trên từng khung hình rồi mã hóa lại, như phân tích video livestream bán hàng.
Những việc kém hợp: huấn luyện mô hình lớn, hay tạo ảnh và video, nơi sức tính toán thô quyết định người dùng phải chờ bao lâu.
L4, RTX 4090 hay RTX 3090 cho inference
Cả ba đều có bộ nhớ nhóm 24 GB, nên câu hỏi không phải "có vừa không" mà là "phục vụ thế nào".
| L4 | RTX 4090 | RTX 3090 | |
|---|---|---|---|
| Phân khúc | Card inference datacenter | Phổ thông, Ada Lovelace | Phổ thông, Ampere |
| Bộ nhớ | Nhóm 24 GB | 24 GB | 24 GB |
| Thiết kế điện năng | Công suất thấp, một khe | Công suất cao | Công suất cao |
| Điểm mạnh | Phục vụ ổn định, tiết kiệm; có engine video | Tốc độ thô cho việc sinh nội dung và mô hình nặng | Cùng dung lượng bộ nhớ, thế hệ cũ hơn |
| Cấp tài khoản | Nhóm datacenter, có thể cần cấp cao hơn | Tài khoản mới dùng được | Tài khoản mới dùng được |
Cách đọc bảng: nếu người dùng phải chờ những lần sinh nội dung dài (tạo ảnh, câu trả lời chat dài), 4090 thường xong mỗi yêu cầu sớm hơn. Nếu bạn phục vụ đều đặn rất nhiều yêu cầu ngắn, hoặc chạy pipeline video, L4 có thể là lựa chọn gọn gàng hơn. Câu trả lời đáng tin duy nhất là thử với mô hình và lưu lượng của chính bạn. Tính tiền theo phút cho phép bạn triển khai mỗi card một giờ để đo. Bài GPU phổ thông hay GPU datacenter bàn rộng hơn về sự đánh đổi này.
Về cấp tài khoản: card datacenter cần cấp cao hơn mức của tài khoản mới. Nếu console báo "This GPU class is not available at your account level", hãy liên hệ bộ phận hỗ trợ Cloudj trong console, hoặc bắt đầu với card RTX trong lúc chờ.
Tìm L4 gần người dùng
Vị trí trên Cloudj là bộ lọc quốc gia trên danh sách máy chủ độc lập đang sẵn sàng. Mở trang triển khai với L4 được chọn sẵn, triển khai L4, rồi nhập mã quốc gia gần người dùng nhất. Vài ví dụ:
| Người dùng chủ yếu ở | Thử | Thêm sau |
|---|---|---|
| Việt Nam, Đông Nam Á | SG | HK, JP |
| Nhật, Hàn | JP | KR, TW |
| Trung và Tây Âu | DE | NL, FR |
| Bắc Mỹ | US | CA |
Nếu có máy, xem reliability, max duration và giá băng thông rồi triển khai. Nếu không, thêm mã nước lân cận, nới bộ lọc, hoặc thử 4090, 3090 ở cùng nước. Tình trạng máy thay đổi trong ngày, nên hãy kiểm tra trên console thay vì đoán. Chi tiết về bộ lọc có trong bài lọc GPU theo quốc gia.
Mỗi khu vực một GPU nhỏ
Vì L4 là card vừa phải, một số nhóm phục vụ từ nhiều khu vực cùng lúc: một máy ở SG cho người dùng châu Á, một ở DE cho châu Âu, một ở US cho châu Mỹ. Mỗi khu vực có đường mạng ngắn, và không máy nào là điểm hỏng duy nhất.
Cách làm này cần chuẩn bị một chút:
- lớp phía trước cho từng khu vực, hoặc một bộ định tuyến toàn cầu, đưa mỗi người dùng tới GPU gần nhất;
- cùng một mô hình và container image ở mọi khu vực để hành vi giống hệt nhau;
- kiểm tra sức khỏe định kỳ, vì mỗi máy là máy chủ độc lập không có SLA phần cứng, và instance không được chuyển đi khi máy chủ mất kết nối;
- kế hoạch cho ngày "available until" của từng máy, khi instance và ổ đĩa bị xóa.
Nếu hệ thống của bạn đặt trọng tâm ở Singapore để phục vụ người Việt, bài chạy LLM inference tại Singapore nói về phần phục vụ mô hình.
Đo điều người dùng thật sự cảm nhận
Với inference tương tác, con số quan trọng là thời gian tới token đầu tiên hay kết quả đầu tiên, đo từ mạng của người dùng, chứ không chỉ tốc độ GPU. Hãy đo từ nơi người dùng ở, ví dụ từ một máy dùng mạng Viettel hay FPT:
curl -o /dev/null -s -w "connect=%{time_connect} first_byte=%{time_starttransfer} total=%{time_total}\n" https://api.example.com/healthChạy lệnh trên với lớp phía trước khi L4 đứng sau, rồi khi card RTX đứng sau, và so sánh. Bài độ trễ cho AI thời gian thực giải thích cách đặt ngân sách độ trễ.
Câu hỏi thường gặp
L4 có bao nhiêu bộ nhớ?
Nhóm 24 GB. Trang mẫu ghi con số dùng được chính xác.
Tài khoản mới có thuê được L4 không?
GPU datacenter cần cấp tài khoản cao hơn. Console sẽ báo nếu cấp của bạn chưa cho phép; hãy liên hệ bộ phận hỗ trợ Cloudj trong console.
L4 có tốt hơn RTX 4090 cho inference không?
Tùy việc. 4090 thường xử lý mỗi yêu cầu nhanh hơn; L4 hiệu quả khi phục vụ đều đặn và xử lý video. Hãy thử cả hai với mô hình của bạn.
Lúc nào ở Singapore cũng có L4 chứ?
Không. Lọc SG; nếu không có máy, thêm mã lân cận hoặc quay lại sau.
Tìm L4 gần người dùng
Mở trang triển khai L4, nhập mã quốc gia gần người dùng nhất và xem những máy đang có. Giá "từ" theo thời gian thực của L4 và các card RTX có trên GPU cloud.