Câu hỏi nên dùng GPU server hay VPS cho AI thường bắt đầu theo kiểu chọn một: thuê GPU và chạy mọi thứ trên đó, hoặc ở lại với VPS và hy vọng mô hình chạy đủ nhanh. Thực tế, phần lớn ứng dụng AI gồm nhiều thành phần có nhu cầu rất khác nhau, và chỉ một hai thành phần cần GPU. Tách chúng ra giúp rẻ hơn, bền hơn và dễ chuyển khu vực hơn. Bài này chỉ ra phần nào nên đặt ở đâu, hai bên kết nối thế nào, và khi nào bạn có thể bỏ qua GPU. Đây là câu hỏi rất hay gặp ở các startup Việt Nam đang làm chatbot bán hàng, công cụ tóm tắt tài liệu hay trợ lý nội bộ.
Vị trí đặt máy liên quan thế nào đến các lựa chọn này, xem hướng dẫn chọn GPU theo vị trí.
Mỗi loại máy chủ mạnh ở đâu
VPS của Cloudj là máy chủ Linux hoặc Windows ổn định, chạy liên tục, đặt ở một trong 14 quốc gia, tính tiền theo giờ hoặc theo kỳ 1, 3, 6, 12 tháng. Nó giữ nguyên địa chỉ và ổ đĩa, là nơi tự nhiên cho mọi thứ cần truy cập được mọi lúc.
Instance GPU của Cloudj là một container trên máy chủ độc lập có 1, 2, 4 hoặc 8 GPU, tính tiền theo phút từ số dư. Máy chủ không có SLA phần cứng, mỗi máy có ngày "available until" mà sau đó instance và ổ đĩa bị xóa, và nếu máy chủ mất kết nối, instance không được chuyển đi đâu. Nó rất mạnh cho tính toán nặng và không nên chứa thứ gì bạn không dựng lại được.
Khác biệt đó gợi ý luôn cách chia.
GPU server hay VPS cho AI: phần nào cần GPU
| Thành phần | Nên đặt ở | Lý do |
|---|---|---|
| Tên miền, TLS, reverse proxy | VPS | Phải luôn truy cập được ở địa chỉ cố định |
| Giao diện web, API, xác thực người dùng | VPS | Việc CPU nhẹ, chạy liên tục |
| Cơ sở dữ liệu, lịch sử hội thoại, file người dùng | VPS (kèm sao lưu) | Phải còn nguyên khi đổi GPU |
| Hàng đợi công việc và bộ lập lịch | VPS | Điều phối việc cho GPU, không mất khi khởi động lại |
| Agent và tool calling dùng API mô hình bên ngoài | VPS | Không chạy mô hình cục bộ nên không cần GPU |
| Embedding cho kho dữ liệu nhỏ, reranker lưu lượng thấp | VPS thường là đủ | Mô hình nhỏ chạy CPU vẫn chấp nhận được |
| Inference LLM lớn hơn mô hình nhỏ, tạo ảnh và video | Instance GPU | Cần bộ nhớ và sức tính của GPU |
| Fine-tune và huấn luyện | Instance GPU | Cần GPU, bản chất là việc tạm thời |
| Chuyển giọng nói hàng loạt, gắn nhãn ảnh, embedding khối lớn | Instance GPU ngắn hạn | Nặng, rồi xong |
Nguyên tắc dễ nhớ: trạng thái để trên VPS, tính toán để trên GPU. Bài VPS phía trước, GPU phía sau hướng dẫn trọn vẹn một hệ thống như vậy.
Hai bên kết nối thế nào
Cách đơn giản nhất là SSH tunnel từ VPS tới instance GPU, để máy chủ mô hình không bao giờ lộ ra internet:
ssh -N -L 8000:localhost:8000 -p <port> root@<gpu-host>Host và port lấy ở tab Connection của instance GPU. API trên VPS gọi http://localhost:8000 rồi stream câu trả lời về cho người dùng. Hãy chạy tunnel dưới systemd hoặc một trình giám sát tương tự để nó tự kết nối lại. Khi thay máy GPU, bạn chỉ sửa host và port ở một chỗ.
Với việc chạy theo hàng đợi, VPS cũng có thể đẩy việc sang GPU và thu kết quả về bằng rsync, rất hợp với xử lý hàng loạt.
Chọn vị trí cho từng phần
Đặt VPS gần người dùng. Các vị trí VPS của Cloudj gồm Singapore cho Việt Nam và Đông Nam Á, Frankfurt tại Đức cho châu Âu, và tám thành phố trên khắp nước Mỹ, trong tổng số 14 quốc gia. Cloudj không có VPS tại Việt Nam, nên với người dùng trong nước, Singapore là lựa chọn quen thuộc.
Sau đó đặt GPU càng gần VPS càng tốt trong phạm vi danh sách máy cho phép. Vị trí GPU là bộ lọc quốc gia: mở trang triển khai GPU, nhập mã quốc gia của VPS (ví dụ SG, DE hay US), và nếu không có máy phù hợp, thêm mã các nước lân cận. Với việc chạy hàng loạt, GPU ở đâu cũng được, cứ chọn giá tốt nhất. Tình trạng máy thay đổi trong ngày; hãy kiểm tra trên console thay vì đoán.
Khi nào chạy inference bằng CPU trên VPS là đủ
Không phải lúc nào cũng cần GPU. Một VPS có thể đảm nhận:
- Mô hình embedding nhỏ cho vài nghìn tài liệu hoặc lượng truy vấn vừa phải.
- Học máy cổ điển như gradient boosting, hồi quy logistic hay pipeline scikit-learn nhỏ.
- Mô hình ngôn ngữ rất nhỏ đã lượng tử hóa chạy bằng runtime CPU như llama.cpp, cho công cụ nội bộ vài người dùng và chấp nhận chờ vài giây.
- Agent gọi API mô hình bên ngoài. Mô hình nặng chạy ở nơi khác; VPS chỉ điều phối. Bài VPS chạy AI agent tại Mỹ nói về trường hợp này.
- OCR và xử lý giọng nói nhẹ với file ngắn, số lượng ít.
Dấu hiệu bạn đã vượt quá CPU: người dùng phàn nàn phản hồi chậm, CPU luôn chạy hết công suất, hoặc mô hình đơn giản là không vừa RAM với tốc độ dùng được. Đó là lúc thêm một instance GPU phía sau chính VPS đó, không cần dựng lại phần nào khác.
Nếu bạn đang cân nhắc một máy cố định lớn hơn, bài VPS hay máy chủ riêng giải thích sự đánh đổi đó.
Chi phí khi tách hai phần
- VPS là khoản chi đều đặn, dễ dự đoán.
- GPU chỉ chạy khi cần, tính theo phút; giá hiển thị lúc triển khai được khóa cho instance. Instance đang dừng chỉ trả tiền lưu trữ nhưng nhả GPU ra, instance đã xóa thì không tốn gì.
- Băng thông trên GPU tính theo GB với giá riêng của từng máy, nên hãy để file tĩnh lớn ở phía VPS.
Tiền GPU được trừ từ số dư trả trước, và bạn nạp số dư bằng chuyển khoản ngân hàng bằng VND. Giá "từ" theo thời gian thực của từng mẫu GPU có trên GPU cloud.
Câu hỏi thường gặp
Chạy toàn bộ ứng dụng trên instance GPU được không?
Được, nhưng rủi ro. Máy GPU không có SLA phần cứng và hết hạn vào ngày "available until". Hãy giữ ứng dụng và dữ liệu trên VPS.
Làm chatbot có cần GPU không?
Nếu dùng API mô hình bên ngoài thì không. Nếu tự chạy một mô hình mở có kích thước đáng kể, thường là cần.
GPU có nên ở cùng nước với VPS không?
Với dịch vụ tương tác, càng gần càng tốt. Với việc chạy hàng loạt, không quan trọng.
Một tài khoản Cloudj dùng được cả VPS và GPU không?
Được. Bạn có thể chạy VPS phía trước và thuê instance GPU trong cùng một tài khoản Cloudj.
Bắt đầu bằng cách tách hai phần
Chạy API trên một VPS gần người dùng, rồi mở trang triển khai GPU và chỉ thêm GPU cho phần mô hình. So sánh các lựa chọn GPU trên GPU cloud.