# Cài Ollama trên máy chủ GPU ở châu Á: cài đặt, chọn mô hình, bảo mật

URL: https://cloudj.net/vi/blog/ollama-gpu-server-asia
Published: 2026-11-12 · Updated: 2026-11-12

> Hướng dẫn cài Ollama trên máy chủ GPU ở châu Á: cài trong container CUDA, chọn mô hình theo VRAM, giữ API trên localhost và mở ra ngoài một cách an toàn.

Cài Ollama trên máy chủ GPU là cách gọn nhẹ để thử các mô hình mở trên GPU thật: một lệnh cài, một lệnh pull, và bạn có ngay một API cục bộ. Vấn đề nằm ở bảo mật. API của Ollama không có xác thực sẵn, nên cấu hình cẩu thả sẽ để lộ một GPU miễn phí cho cả internet dùng. Bài này hướng dẫn cài Ollama trên instance GPU của Cloudj gần người dùng châu Á, chọn mô hình vừa VRAM của card, giữ API trên localhost, và đưa ra hai cách truy cập an toàn: SSH tunnel cho cá nhân, hoặc reverse proxy trên VPS có xác thực cho ứng dụng.

Đây là bài phù hợp với sinh viên muốn tự chạy chatbot cho đồ án, lập trình viên muốn có trợ lý code riêng, hay nhóm nhỏ làm sản phẩm AI cho shop online. Nếu cần chọn vị trí ở châu Á trước, hãy xem [hướng dẫn thuê GPU châu Á](https://cloudj.net/vi/blog/gpu-cloud-asia-guide).

## Bước 1: triển khai GPU gần người dùng

Cloudj không cài sẵn Ollama. Bạn tự cài trong template Ubuntu 22.04 + CUDA (SSH), mất vài phút.

Mở [trang triển khai với RTX 3090](https://app.cloudj.net/deploy/gpu?model=rtx-3090), hoặc chọn card khác, rồi nhập `SG, JP, HK` vào ô Country. Nếu có máy hiện ra, kiểm tra độ tin cậy, thời hạn tối đa và tốc độ tải xuống; mô hình tải về khá nặng nên tải nhanh sẽ đỡ chờ. Tình trạng máy thay đổi trong ngày; nếu chưa có máy phù hợp, thêm `KR` hoặc `TW`, hoặc đổi sang card có VRAM tương đương. Bạn ở Việt Nam có thể thử thêm `VN`, nhưng máy đặt tại Việt Nam không chắc có trong danh sách.

Chọn dung lượng ổ đủ cho các mô hình định giữ, cộng phần dư. Không thể nới ổ sau khi triển khai.

## Bước 2: chọn mô hình theo VRAM

Mặc định Ollama tải bản mô hình đã lượng tử hóa, nhờ vậy mới vừa card phổ thông. Hãy lấy bộ nhớ của card làm thước đo chính, và chừa chỗ cho ngữ cảnh:

| Card | VRAM | Khoảng thoải mái (đã lượng tử hóa, ước lượng) |
|---|---|---|
| [RTX 3090](https://cloudj.net/vi/gpu-cloud/rtx-3090) | 24 GB | Mô hình nhỏ và vừa, tới khoảng hạng 30B ở 4 bit với ngữ cảnh vừa phải |
| [RTX 4090](https://cloudj.net/vi/gpu-cloud/rtx-4090) | 24 GB | Cùng cỡ như 3090, sinh câu trả lời nhanh hơn |
| [RTX 5090](https://cloudj.net/vi/gpu-cloud/rtx-5090) | 32 GB | Hạng 30B với ngữ cảnh dài hơn, hoặc nạp cùng lúc vài mô hình nhỏ |

Nếu mô hình không vừa hoàn toàn, Ollama có thể chia giữa GPU và CPU, chậm hơn nhiều. Kiểm tra bằng `ollama ps`, lệnh này cho biết bao nhiêu phần mô hình nằm trên GPU. Cả ba đều là GPU phổ thông, tài khoản mới dùng được. Giá theo thời gian thực có trên [GPU cloud](https://cloudj.net/vi/gpu-cloud).

Với tiếng Việt, hãy ưu tiên các dòng mô hình đa ngôn ngữ có dữ liệu tiếng Việt tốt, và thử với chính câu hỏi khách hàng của bạn trước khi chọn.

## Bước 3: cài Ollama trên máy chủ GPU và chạy

Kết nối bằng lệnh SSH trong tab Connection của instance. Bài [SSH vào instance GPU](https://cloudj.net/vi/blog/ssh-into-gpu-instance) hướng dẫn về key và cổng nếu bạn mới làm lần đầu.

```bash
apt-get update && apt-get install -y curl tmux
curl -fsSL https://ollama.com/install.sh | sh
```

Nếu trình cài đặt đòi thêm gói nào, cài bằng `apt-get` rồi chạy lại. Container thường không có systemd, nên hãy tự khởi động server trong `tmux`:

```bash
tmux new -s ollama
ollama serve
```

Thoát khỏi tmux bằng `Ctrl-b d`, rồi tải và thử một mô hình:

```bash
ollama pull <model>
ollama run <model> "Say hello in Vietnamese and Japanese."
nvidia-smi
```

Mặc định Ollama lắng nghe tại `127.0.0.1:11434`. Hãy giữ nguyên như vậy. Đừng đặt `OLLAMA_HOST=0.0.0.0` trên instance GPU: API không có đăng nhập, ai dò ra cổng là dùng GPU của bạn và bạn trả tiền. [Thư viện mô hình của Ollama](https://ollama.com/library) liệt kê các mô hình và dung lượng.

## Cách A: SSH tunnel cho cá nhân

Nếu chỉ bạn hoặc vài đồng đội cần API, hãy chuyển tiếp cổng qua SSH từ laptop:

```bash
ssh -N -L 11434:localhost:11434 -p <port> root@<host>
```

Giờ `http://localhost:11434` trên laptop sẽ tới Ollama trên GPU. Các ứng dụng chat và trình soạn code hỗ trợ Ollama dùng địa chỉ này được ngay. Không có gì bị lộ ra công khai.

## Cách B: reverse proxy trên VPS có xác thực

Với ứng dụng hoặc cả nhóm, hãy đặt một [VPS Singapore](https://cloudj.net/vi/cloud-servers/singapore) ổn định phía trước. VPS giữ SSH tunnel tới GPU, còn Nginx thêm TLS và mật khẩu:

```nginx
server {
    listen 443 ssl;
    server_name llm.example.com;
    ssl_certificate     /etc/letsencrypt/live/llm.example.com/fullchain.pem;
    ssl_certificate_key /etc/letsencrypt/live/llm.example.com/privkey.pem;

    location / {
        auth_basic "LLM";
        auth_basic_user_file /etc/nginx/.htpasswd;
        proxy_pass http://127.0.0.1:11434;
        proxy_read_timeout 300s;
        proxy_buffering off;
    }
}
```

`proxy_buffering off` giúp token được stream tới client ngay khi sinh ra. Khi host GPU thay đổi, vì tới ngày "available until" hoặc bạn chuyển sang card lớn hơn, bạn trỏ tunnel sang host mới và URL vẫn giữ nguyên. Bài [VPS làm frontend cho máy chủ GPU](https://cloudj.net/vi/blog/vps-frontend-gpu-backend) hướng dẫn chạy tunnel như một dịch vụ systemd.

## Giữ mọi thứ gọn gàng

- Mô hình nằm trong `~/.ollama/models`. Xóa mô hình không dùng nữa bằng `ollama rm`.
- Các máy là host độc lập, không có SLA phần cứng. Giữ Modelfile và prompt trong một repository để dựng lại ở đâu cũng được.
- Tôn trọng giấy phép của từng mô hình, nhất là khi dùng thương mại.
- Tiền trừ theo phút từ số dư tài khoản; bạn nạp bằng chuyển khoản ngân hàng VND. Xong việc thì xóa instance để không tốn thêm.

Riêng với mô hình tiếng Nhật, bài [chạy LLM tiếng Nhật trên GPU](https://cloudj.net/vi/blog/japanese-llm-inference-gpu-japan) nói về chọn mô hình và ngân sách token.

## Câu hỏi thường gặp

### Cloudj có cài sẵn Ollama không?

Không. Hãy cài bằng script chính thức trong template Ubuntu + CUDA, chỉ mất vài phút.

### Vì sao mô hình chạy chậm?

Có thể nó không vừa hoàn toàn trong VRAM. Chạy `ollama ps`; nếu một phần chạy trên CPU, hãy chọn mô hình nhỏ hơn hoặc card lớn hơn.

### Tôi mở cổng 11434 ra internet được không?

Không nên. Ollama không có xác thực. Hãy dùng SSH tunnel hoặc proxy trên VPS có mật khẩu.

### Ở châu Á nên chọn nước nào?

Nước gần người dùng nhất mà đang có máy. Thử `SG, JP, HK` rồi đo.

## Bắt đầu

Mở [trang triển khai với RTX 3090](https://app.cloudj.net/deploy/gpu?model=rtx-3090), nhập `SG, JP, HK`, cài Ollama bằng vài lệnh và giữ nó trên localhost. Dùng tunnel cho cá nhân, hoặc VPS Singapore có xác thực cho ứng dụng.