Các đội muốn chạy Qwen DeepSeek trên GPU cloud thường có chung một mục tiêu: một model đủ giỏi tiếng Việt, tiếng Trung, Nhật, Hàn hay Thái, chạy trên hạ tầng mình tự kiểm soát thay vì gửi dữ liệu khách hàng qua API bên ngoài. Hai dòng model này phát hành rất nhiều kích thước, tốt cho việc lựa chọn nhưng dễ rối khi lập kế hoạch. Bài viết giúp bạn khớp kích thước model với VRAM định thuê, chọn mức lượng tử hóa, tìm máy ở châu Á trên Cloudj, và tránh những lỗi giấy phép hay gặp về sau.
Vì sao chọn hai dòng model này cho ngôn ngữ châu Á
Các dòng model mã nguồn mở như Qwen và DeepSeek được train với lượng lớn văn bản tiếng Trung và các ngôn ngữ châu Á khác, và nhiều đội thấy chúng mạnh hơn ở ngôn ngữ châu Á so với model chủ yếu train trên tiếng Anh. Đó là nhận xét chung, không phải cam kết: chất lượng thay đổi theo kích thước, phiên bản và loại việc. Hãy luôn thử bằng prompt tiếng Việt thật của bạn trước khi chọn.
Hai điều thực tế về hai dòng model này:
- Nhiều kích thước. Qwen có các bản từ dưới 1B tới vài chục tỷ tham số ở dạng dense, cộng thêm các biến thể mixture-of-experts lớn hơn.
- Model chủ lực rất lớn. Model lớn nhất của DeepSeek cần nhiều GPU datacenter. Các biến thể distill nhỏ hơn, thường xây trên nền Qwen hoặc model khác, vừa một hai card, và đó là thứ phần lớn các đội thực sự chạy.
Chọn kích thước model theo VRAM
Gợi ý sơ bộ cho trọng số lượng tử hóa 4-bit. Độ dài context, batch size và công cụ phục vụ sẽ cộng thêm, nên hãy chừa dư:
| Kích thước model | Trọng số 4-bit khoảng | Card vừa thoải mái |
|---|---|---|
| 7B đến 8B | Khoảng 5 đến 6 GB | Gần như mọi card từ 12 GB trở lên |
| 14B | Khoảng 9 đến 10 GB | RTX 4090, 24 GB, dư nhiều context |
| 30B đến 32B | Khoảng 18 đến 20 GB | RTX 4090 với context ngắn, hoặc RTX 5090, 32 GB |
| Lớp 70B | Khoảng 40 GB | RTX A6000, 48 GB, hoặc 2× card 24 GB trong một máy |
RTX 4090 và RTX 5090 là card consumer, thuê được ở cấp tài khoản khởi đầu. RTX A6000 là card workstation, cần cấp tài khoản cao hơn. Với model 70B chạy trên nhiều GPU, bài chạy LLM 70B trên nhiều GPU hướng dẫn cấu hình tensor parallel. Giá "từ" theo thời gian thực có trên GPU cloud.
Chọn mức lượng tử hóa
- 8-bit: gần như giữ nguyên chất lượng, tốn bộ nhớ khoảng gấp đôi 4-bit.
- 4-bit (GGUF Q4, AWQ, GPTQ): điểm cân bằng thường dùng khi chạy trên một card.
- Dưới 4-bit: nhét được model lớn vào card nhỏ, nhưng chất lượng giảm rõ, nhất là với ngôn ngữ ít phổ biến.
Model lớn ở 4-bit thường tốt hơn model nhỏ ở 8-bit, nhưng hãy thử bằng tiếng Việt; lượng tử hóa có thể làm hại tiếng Việt nhiều hơn tiếng Anh, ví dụ sai dấu hoặc trộn từ tiếng Trung vào câu trả lời.
Tìm máy ở châu Á
Nếu người dùng chat trực tiếp với model, hãy đặt máy gần họ. Trên trang triển khai đã chọn sẵn RTX 4090:
| Người dùng chính | Ô Country nên bắt đầu |
|---|---|
| Đông Nam Á, gồm cả Việt Nam | SG, HK |
| Nhật Bản | JP, rồi thêm KR |
| Hàn Quốc | KR, rồi thêm JP |
| Khu vực Trung Hoa | HK, rồi thêm SG |
| Khắp châu Á | SG, JP, HK, KR |
Với Việt Nam, bạn cũng có thể thử VN, nhưng không có gì bảo đảm có máy ở Việt Nam được liệt kê; SG và HK là các lựa chọn thay thế quen thuộc. Hàng thay đổi trong ngày, nên nếu chưa có máy phù hợp, hãy mở rộng mã, thử lại sau, hoặc chọn card khác đủ VRAM. Hướng dẫn thuê GPU châu Á giải thích các mã trong khu vực.
Nếu chỉ chạy tác vụ batch, như tóm tắt tài liệu qua đêm, vị trí ít quan trọng; hãy tìm rộng và chọn theo giá, độ tin cậy.
Chạy model: hai cách phổ biến
Cloudj có template Ubuntu + CUDA, PyTorch + JupyterLab và Custom image. Công cụ phục vụ model thì bạn tự cài qua SSH.
Ollama, để bắt đầu nhanh gọn
ssh -p PORT root@HOST
curl -fsSL https://ollama.com/install.sh | sh
ollama pull MODEL_TAG
ollama run MODEL_TAGThay MODEL_TAG bằng biến thể Qwen hoặc DeepSeek và mức lượng tử bạn chọn trong thư viện Ollama. Bài chạy Ollama trên máy chủ GPU châu Á nói kỹ cách này, gồm cả cách mở API an toàn.
vLLM, khi cần phục vụ nhiều người
Khi có nhiều người dùng đồng thời, vLLM với model lượng tử hóa AWQ hoặc GPTQ cho bạn API tương thích OpenAI và gom batch hiệu quả:
pip install vllm
vllm serve MODEL_ID --host 127.0.0.1 --port 8000 --max-model-len 8192Cả hai cách đều nên giữ API trên localhost và truy cập qua SSH tunnel hoặc một VPS lo phần TLS và xác thực.
Giấy phép: kiểm tra trước khi đưa vào sản phẩm
Giấy phép model khác nhau giữa các dòng, thậm chí giữa các phiên bản trong cùng một dòng. Có giấy phép thoáng, có giấy phép kèm giới hạn sử dụng hoặc yêu cầu ghi nguồn, và model distill có thể kế thừa điều khoản của model gốc. Trước khi dùng thương mại, hãy đọc giấy phép trên model card và lưu một bản cùng tài liệu triển khai.
Ví dụ: chatbot tiếng Việt
Với chatbot chăm sóc khách hàng tiếng Việt, ví dụ trả lời tin nhắn Zalo OA hay inbox shop, nhiều đội bắt đầu bằng model instruct 7B đến 14B ở 4-bit trên RTX 4090 đặt ở SG, thử với câu hỏi thật của khách, và chỉ nâng kích thước khi câu trả lời chưa đủ tốt. Bài chatbot LLM tiếng Việt trên GPU đi qua toàn bộ dự án này. Chi phí trừ theo phút từ số dư tài khoản, nạp bằng chuyển khoản VND, nên giai đoạn thử nghiệm chỉ tốn đúng số giờ bạn bật máy.
Câu hỏi thường gặp
Có chạy được model DeepSeek bản đầy đủ trên một GPU không?
Không. Model lớn nhất cần nhiều GPU datacenter. Các biến thể distill vừa một hai card.
Model 14B nên bắt đầu với GPU nào?
RTX 4090 24 GB là khởi đầu thoải mái ở 4-bit.
Cloudj có cài sẵn Ollama không?
Không. Bạn tự cài Ollama qua SSH chỉ với vài lệnh.
Singapore không có máy thì sao?
Thêm HK, JP hoặc KR, thử lại sau, hoặc chọn card khác có VRAM tương đương.
Bước tiếp theo
Mở trang triển khai RTX 4090, tìm SG, JP, HK, KR, và thử hai kích thước model bằng tiếng Việt trước khi chốt.