Chạy LLM tiếng Nhật trên GPU có vài yêu cầu mà chatbot tiếng Anh không có. Văn bản tiếng Nhật được tách token theo cách khác, các mô hình mở giỏi tiếng Nhật đến từ một số dòng và bản fine-tune cụ thể, và người dùng Nhật rất nhạy với độ trễ trong giao diện chat. Bài này đi qua ba điểm đó: chọn mô hình hiểu tiếng Nhật, tính VRAM có tính đến token tiếng Nhật, và tìm host gần Nhật Bản trên Cloudj bằng cách lọc danh sách GPU với mã JP và KR, kèm VPS Tokyo làm lớp biên ổn định.
Đối tượng quen thuộc ở Việt Nam là các công ty outsource làm cho khách Nhật, trung tâm tiếng Nhật muốn có trợ lý luyện hội thoại, hay đội phát triển chatbot chăm sóc khách hàng cho thị trường Nhật. Về phần vị trí, bài thuê GPU tại Nhật Bản đi sâu hơn.
Bước 1: chọn dòng mô hình hiểu tiếng Nhật
Chất lượng tiếng Nhật khác nhau rất nhiều giữa các mô hình, và kích thước không nói lên tất cả. Thay vì chạy theo bảng xếp hạng, hãy lọc theo dòng:
- Dòng mô hình mở đa ngôn ngữ có nhiều dữ liệu châu Á. Một số dòng mô hình mở phổ biến được huấn luyện trên lượng lớn văn bản tiếng Trung, Nhật, Hàn và xử lý tiếng Nhật khá tốt ngay từ đầu.
- Bản huấn luyện tiếp bằng tiếng Nhật của mô hình toàn cầu. Các nhóm nghiên cứu và công ty Nhật đã phát hành phiên bản của những mô hình mở nổi tiếng được huấn luyện thêm trên dữ liệu tiếng Nhật, đôi khi mở rộng cả bộ từ vựng.
- Mô hình lấy tiếng Nhật làm ngôn ngữ chính. Một số tổ chức công bố mô hình huấn luyện với tiếng Nhật là ngôn ngữ chính, thường ở kích thước nhỏ, vừa một GPU.
Hãy thử hai ba ứng viên với prompt của chính bạn: cách nói chăm sóc khách hàng, kính ngữ keigo, tên sản phẩm viết katakana, và câu trộn Nhật với Anh. Đọc kỹ giấy phép của từng mô hình trước khi dùng cho mục đích thương mại; điều khoản khác nhau giữa các dòng và bản fine-tune.
Bước 2: tính VRAM khi chạy LLM tiếng Nhật trên GPU
Tiếng Nhật không có dấu cách giữa các từ và trộn kanji, hiragana, katakana với chữ Latin. Tokenizer xây chủ yếu cho tiếng Anh thường cắt tiếng Nhật thành nhiều token hơn so với cùng ý nghĩa bằng tiếng Anh. Mô hình có bộ từ vựng mở rộng cho tiếng Nhật thường cần ít token hơn cho mỗi câu. Điều này quan trọng vì hai lẽ: nhiều token hơn nghĩa là KV cache lớn hơn cho cùng một cuộc hội thoại, và thời gian sinh mỗi câu trả lời dài hơn.
Hướng dẫn ước lượng sơ bộ để lên kế hoạch:
| Cỡ mô hình (xấp xỉ) | Độ chính xác | Card nên bắt đầu |
|---|---|---|
| 7B đến 9B | 8 bit hoặc 16 bit | RTX 4090, 24 GB |
| 13B đến 14B | 4 bit hoặc 8 bit | RTX 4090 cho 4 bit; 48 GB cho 8 bit với ngữ cảnh dài |
| 30B đến 35B | 4 bit | RTX A6000 hoặc L40S, 48 GB |
| Hạng 70B | 4 bit | Hai card 48 GB hoặc một card lớn hơn |
Hãy chừa chỗ cho KV cache, nhất là khi xử lý tài liệu tiếng Nhật dài hoặc nhiều người dùng đồng thời. Đo bằng nvidia-smi với tải sát thực tế thay vì tin vào bảng. RTX 4090 dùng được với tài khoản mới; RTX A6000 và L40S cần cấp tài khoản cao hơn, console sẽ báo cho bạn.
Bước 3: tìm host gần Nhật Bản
Mở trang triển khai với RTX 4090, hoặc đổi model, rồi gõ JP vào ô Country. Nếu có máy hiện ra, so sánh độ tin cậy, thời hạn tối đa và giá băng thông. Nếu chưa ưng, thử JP, KR; Hàn Quốc là lựa chọn thứ hai phổ biến cho lưu lượng từ Nhật. Mỗi dòng ghi quốc gia ở cấp quốc gia, và tình trạng máy thay đổi trong ngày, nên hãy kiểm tra console khi bạn sẵn sàng triển khai. Bài lọc GPU theo quốc gia trong console giải thích từng trường.
Nếu cả hai mã đều không có máy mà bạn cần ra mắt, hãy cân nhắc TW hoặc HK, và đo độ trễ từ người dùng Nhật trước khi chuyển lưu lượng. Với ứng dụng chat tương tác, bài độ trễ AI thời gian thực trên GPU giải thích vì sao stream token và thời gian ra token đầu tiên quan trọng hơn khoảng cách đơn thuần.
Bước 4: phục vụ mô hình
Chọn template Ubuntu 22.04 + CUDA hoặc dùng Docker image công khai (custom image cần cấp tài khoản cao hơn). Cài phần mềm phục vụ qua SSH. Lựa chọn phổ biến là server tương thích OpenAI như vLLM:
pip install vllm
vllm serve <hf-model-id> --host 127.0.0.1 --port 8000 --max-model-len 8192Lắng nghe trên 127.0.0.1 giúp API không lộ ra internet. Tài liệu vLLM nói về mô hình lượng tử hóa và các tham số bộ nhớ. Để thử nhanh với mô hình nhỏ, Ollama là một lựa chọn khác; bài cài Ollama trên máy chủ GPU hướng dẫn cài đặt và bảo mật.
Bước 5: đặt VPS Tokyo ở lớp biên
Host GPU có ngày "available until", và nếu host mất kết nối thì không có cơ chế tự chuyển máy. Người dùng không nên phụ thuộc vào một máy duy nhất. Hãy chạy một VPS tại Nhật Bản, đặt ở Tokyo, làm lớp biên công khai: tên miền, TLS, xác thực, giới hạn request và hàng đợi. Kết nối VPS tới GPU qua SSH tunnel và chuyển tiếp request bằng Nginx. Khi đổi host GPU, bạn cập nhật tunnel, người dùng Nhật không thấy thay đổi. Bài reverse proxy ở Tokyo có cấu hình đầy đủ.
Những lỗi hay gặp
- Chỉ thử bằng tiếng Anh. Mô hình trông rất tốt bằng tiếng Anh có thể viết tiếng Nhật cứng nhắc. Hãy thử bằng câu chữ thật của người dùng.
- Quên ngân sách ngữ cảnh. Tài liệu tiếng Nhật dài làm đầy KV cache nhanh hơn bạn nghĩ.
- Ổ đĩa quá nhỏ. Không thể nới ổ sau khi triển khai; hãy chừa chỗ cho hai ba mô hình ứng viên.
- Không sao lưu. Giữ prompt, bản fine-tune và cấu hình trong kho lưu trữ của bạn.
Câu hỏi thường gặp
Cloudj có GPU ở Nhật không?
Hãy tìm với mã JP trong console; nếu có máy hiện ra thì bạn triển khai được. Tình trạng thay đổi trong ngày, nên thêm KR làm dự phòng.
GPU nào đủ cho chatbot tiếng Nhật?
Nhiều mô hình 7B đến 14B hiểu tiếng Nhật chạy được trên RTX 4090 24 GB khi đã lượng tử hóa. Mô hình lớn hơn cần card 48 GB.
Có cần VPS ở Tokyo không?
Với dịch vụ công khai thì nên có. VPS giữ endpoint ổn định trong khi host GPU có thể thay đổi.
Xem giá ở đâu?
Giá theo thời gian thực trên GPU cloud và từng trang model. Bạn nạp tiền vào số dư tài khoản bằng chuyển khoản VND, GPU trừ tiền theo phút.
Bước tiếp theo
Chọn ra hai mô hình hiểu tiếng Nhật, mở trang triển khai với JP, KR, và thử trên card 24 GB trước. Khi đã ưng ý, đặt VPS Tokyo phía trước và sao lưu mọi thứ bạn xây dựng.