App giọng nói rất khó chiều. Chatbot gõ chữ chậm một nhịp thì không sao; trợ lý giọng nói ngừng một nhịp trước khi nói là người dùng thấy ngay có gì đó sai. Vì vậy chọn máy chủ GPU chạy TTS giọng nói không phải là chuyện GPU mạnh đến đâu, mà là từng khâu xử lý âm thanh nằm ở đâu. Bài viết giúp bạn lập ngân sách độ trễ cho một app voice phục vụ người dùng Đông Nam Á và Đông Á, giải thích vì sao GPU nhỏ thường là đủ, và cách tìm máy ở Singapore, Hong Kong, Nhật Bản trên Cloudj.
Nhu cầu này đang tăng ở Việt Nam: tổng đài tự động, trợ lý bán hàng đọc đơn qua điện thoại, app đọc truyện bằng giọng AI, hay bot chăm sóc khách hàng cho shop online. Lý thuyết chung về vị trí và độ trễ inference có trong bài giảm độ trễ AI inference bằng vị trí GPU.
Lập ngân sách độ trễ trước khi chọn phần cứng
Cái mà người dùng cảm nhận là "độ trễ" trong một app voice thực ra là tổng của nhiều bước. Với một trợ lý kiểu nói rồi đáp:
- Thu âm và gửi lên: âm thanh từ điện thoại tới máy chủ.
- Nhận dạng giọng nói: máy chủ chuyển lời nói thành chữ (thường theo kiểu stream).
- Suy nghĩ: LLM hoặc logic nghiệp vụ quyết định câu trả lời. Thời gian ra token đầu tiên là quan trọng nhất.
- Tổng hợp giọng nói: model TTS tạo ra đoạn âm thanh đầu tiên.
- Tải về và phát: đoạn âm thanh đầu tiên quay về và bắt đầu phát.
Hai trong số các bước này hoàn toàn là thời gian đi đường của dữ liệu, và trong một cuộc hội thoại chúng lặp lại ở mỗi lượt nói. Các bước 2 đến 4 cũng phát sinh thêm chặng mạng nếu dịch vụ nằm trên nhiều máy ở nhiều nơi. Mục tiêu là rút ngắn thời gian tới lúc đoạn âm thanh đầu tiên được phát; phần còn lại có thể stream trong lúc người dùng đang nghe.
Hãy tự lập ngân sách cho hệ thống của bạn. Đo riêng từng bước bằng mốc thời gian trong log, rồi mới quyết định nên tối ưu chỗ nào. Rất thường gặp: đưa cả đường xử lý lại gần người dùng bớt được nhiều độ trễ hơn bất kỳ GPU nhanh hơn nào.
GPU nhỏ thường là đủ cho TTS
Phần lớn model TTS mã nguồn mở hiện nay nhỏ hơn LLM rất nhiều. Một card phổ thông thường phục vụ được vài luồng cùng lúc, và nút thắt hay nằm ở CPU hoặc mạng chứ không phải GPU. Hướng dẫn chung:
| Card | VRAM | Chạy được |
|---|---|---|
| RTX 3060 | 12 GB | Phần lớn model TTS mã nguồn mở, kèm một model nhận dạng giọng nói nhỏ; điểm khởi đầu chắc chắn |
| RTX 4070 | 12 GB | Cùng bộ nhớ, thế hệ mới hơn và nhanh hơn trên mỗi luồng |
| L4 | Lớp 24 GB | TTS, nhận dạng giọng nói và một LLM nhỏ trên cùng card; card datacenter, cần cấp tài khoản cao hơn |
Nếu bạn chạy thêm một LLM cỡ vừa trên cùng máy, hãy chọn card theo LLM. Riêng phần nhận dạng tiếng Việt, bài chạy Whisper phiên âm tiếng Việt trên GPU hướng dẫn chọn model và VRAM. Với giọng đọc tiếng Việt, hãy thử vài model TTS hỗ trợ tiếng Việt và nghe kỹ phần dấu thanh trước khi chọn.
Tìm máy ở Singapore, Hong Kong và Nhật Bản
Vị trí GPU trên Cloudj là bộ lọc quốc gia áp lên danh sách máy chủ đang có. Mở trang triển khai RTX 3060, hoặc tìm theo VRAM tối thiểu 12 GB để thấy mọi card phù hợp, rồi điền ô Country:
| Người dùng chính ở | Mã nên bắt đầu |
|---|---|
| Việt Nam, Thái Lan, Malaysia, Indonesia, Philippines | SG, HK |
| Hong Kong, Đài Loan, miền nam Trung Quốc | HK, TW |
| Nhật Bản và Hàn Quốc | JP, KR |
Kết quả hiển thị quốc gia của từng máy (không có thành phố), độ tin cậy, thời hạn tối đa, tốc độ tải xuống và giá băng thông. Với app giọng nói, ưu tiên độ tin cậy cao: máy rớt là cuộc gọi rớt. Có máy thì bạn triển khai được; hàng thay đổi trong ngày, nên khi chưa có máy phù hợp hãy thêm mã lân cận. Giá "từ" có trên GPU cloud. Bài máy chủ GPU Singapore nói kỹ về cách tìm với mã SG.
Giữ cả đường xử lý âm thanh ở một chỗ
Sai lầm lớn nhất là xé lẻ đường xử lý ra nhiều châu lục: nhận dạng giọng nói một nơi, LLM một nơi, TTS một nơi khác. Mỗi chặng thêm một vòng khứ hồi ở mọi lượt nói.
Cách bố trí tốt hơn cho app voice ở châu Á:
- Một VPS Singapore nhận kết nối WebSocket hoặc WebRTC từ người dùng, lo xác thực và trạng thái phiên, rồi nói chuyện với GPU qua một đường hầm riêng.
- Một instance GPU ở gần chạy nhận dạng giọng nói, TTS và, nếu đủ chỗ, cả LLM, tất cả trên cùng một máy.
- Nếu gọi API LLM bên ngoài, chọn nhà cung cấp có endpoint trong cùng khu vực.
Đo từ mạng của người dùng. Từ văn phòng ở Việt Nam, hãy thử cả Singapore lẫn Hong Kong vào nhiều giờ khác nhau, trên cả Viettel, VNPT và FPT; bài đo độ trễ VPS bằng ping và mtr hướng dẫn cách đọc kết quả:
ping -c 30 <host>
mtr -rwc 50 <host>Mẹo stream giúp nhiều hơn nâng phần cứng
- Stream đầu ra TTS theo từng đoạn nhỏ thay vì chờ hết câu.
- Tổng hợp giọng sớm: gửi vế đầu tiên của câu trả lời từ LLM sang TTS ngay khi vế đó hoàn chỉnh.
- Giữ model luôn nóng: nạp model lúc khởi động và gửi một yêu cầu khởi động ngắn, để người dùng đầu tiên không phải chờ nạp model.
- Dùng kết nối giữ lâu giữa VPS và GPU thay vì mở kết nối mới cho mỗi yêu cầu.
Độ ổn định cho dịch vụ giọng nói
Mỗi máy GPU là host độc lập, không có SLA phần cứng và có ngày "available until". Với sản phẩm giọng nói, hãy giữ sẵn script triển khai, kiểm tra sức khỏe GPU từ VPS, và cho VPS phát một câu ngắn kiểu "vui lòng thử lại sau" khi backend gặp sự cố. Tôn trọng giấy phép của giọng đọc và model bạn dùng, và phải có sự đồng ý trước khi nhân bản giọng nói của bất kỳ ai. Chi phí GPU trừ theo phút từ số dư, nạp bằng chuyển khoản VND.
Câu hỏi thường gặp
Chạy TTS có cần GPU lớn không?
Thường là không. Card 12 GB chạy được phần lớn model TTS mã nguồn mở. Chỉ nâng lên khi chạy thêm LLM trên cùng máy.
GPU ở Singapore lúc nào cũng có chứ?
Không. Hàng thay đổi trong ngày. Tìm với SG, HK; nếu có máy trong danh sách, bạn triển khai được.
Nhận dạng giọng nói và TTS có nên chạy chung một GPU?
Nếu vừa bộ nhớ thì nên. Một máy duy nhất bớt được một chặng mạng ở mỗi lượt hội thoại.
Có dùng GPU ở Mỹ cho app voice ở châu Á được không?
Với việc tạo audio offline, như đọc sẵn sách nói, thì được. Với hội thoại trực tiếp, khoảng cách xa sẽ bị cảm nhận ở mọi lượt nói.
Tìm GPU cho app voice gần bạn
Mở trang triển khai RTX 3060, đặt Country là SG, HK và xem đang có máy nào. So sánh giá trực tiếp trên GPU cloud.