# A100 hay H100: chọn GPU nào cho lượt huấn luyện của bạn

URL: https://cloudj.net/vi/blog/a100-vs-h100-cloud
Published: 2026-11-12 · Updated: 2026-11-12

> A100 hay H100 khi thuê GPU cloud? So sánh kiến trúc, VRAM và băng thông theo trang model, tính chi phí cho mỗi lượt chạy thay vì theo giờ, các biến thể và cấp tài khoản.

A100 hay H100 là câu hỏi hiếm khi có một đáp án chung cho mọi người. H100 mới hơn, nhanh hơn; A100 cũ hơn nhưng đã được kiểm chứng kỹ. Nên thuê card nào phụ thuộc vào việc job cần bao nhiêu bộ nhớ, phần mềm của bạn tận dụng kiến trúc mới tốt đến đâu, và quan trọng nhất là mỗi lượt chạy hoàn chỉnh tốn bao nhiêu. Bài viết so sánh các biến thể trên Cloudj bằng số liệu in trên trang model, rồi hướng dẫn cách quyết định bằng một lượt chạy thử ngắn thay vì đoán.

Nếu bạn còn đang phân vân giữa card phổ thông và card datacenter nói chung, hãy đọc trước bài [GPU phổ thông hay GPU datacenter trên cloud](https://cloudj.net/vi/blog/consumer-vs-datacenter-gpu-cloud).

## Bốn biến thể trong danh sách

Cloudj có hai mẫu A100 và hai mẫu H100. Số liệu dưới đây lấy từ trang model của từng card:

| Model | Kiến trúc | VRAM | FP32 (trang model) | Băng thông bộ nhớ (trang model) | Công suất |
|---|---|---|---|---|---|
| [A100 PCIe](https://cloudj.net/vi/gpu-cloud/a100-pcie) | Ampere | 40 GB | 15.6 TFLOPS | 1313 GB/s | 250 W |
| [A100 SXM4](https://cloudj.net/vi/gpu-cloud/a100-sxm4) | Ampere | 40 GB | 15.6 TFLOPS | 1313 GB/s | 400 W |
| [H100 PCIe](https://cloudj.net/vi/gpu-cloud/h100-pcie) | Hopper | 80 GB | 41 TFLOPS | 1760 GB/s | 350 W |
| [H100 SXM](https://cloudj.net/vi/gpu-cloud/h100-sxm) | Hopper | 80 GB | 53.5 TFLOPS | 2869 GB/s | 700 W |

Có hai điều cần lưu ý khi đọc bảng. Thứ nhất, FP32 không phải thứ mà phần lớn việc huấn luyện hiện đại dùng; huấn luyện độ chính xác hỗn hợp chạy trên tensor core với BF16 hoặc FP16 (và FP8 trên Hopper), nơi khoảng cách giữa hai thế hệ khác hẳn. Thứ hai, dạng SXM thường chạy ở mức công suất cao hơn, giúp hiệu năng duy trì tốt hơn. Hãy coi bảng là chỉ dẫn về bộ nhớ và thế hệ, không phải kết quả benchmark.

## Bộ nhớ: bộ lọc đầu tiên

A100 trong danh sách là bản 40 GB; cả hai H100 đều có 80 GB. Khác biệt này thường quyết định trước cả tốc độ:

- **Vừa 40 GB và còn dư** (LoRA trên model cỡ vừa, fine-tune model 7B cẩn thận, nhiều model thị giác máy tính): cả hai đều được; hãy so chi phí mỗi lượt chạy.
- **Cần 40 đến 80 GB** (fine-tune toàn phần model 7B đến 13B, batch lớn, chuỗi dài): H100 chạy trên một card; A100 cần mẹo tiết kiệm bộ nhớ hoặc nhiều GPU.
- **Cần hơn 80 GB trên một card**: không card nào trong hai. Hãy xem H200 NVL lớp 141 GB trong bài [thuê H200 cloud](https://cloudj.net/vi/blog/h200-cloud-rental), hoặc chia ra máy nhiều GPU.

Máy nhiều GPU (2×, 4×, 8× trong một host) chỉ xuất hiện khi có host liệt kê, với cả hai mẫu.

## Tốc độ và phần mềm

Hopper có thêm những tính năng mà các bộ công cụ huấn luyện mới tận dụng: hỗ trợ FP8, tensor core thế hệ mới nhanh hơn và băng thông bộ nhớ cao hơn. Bạn có được lợi hay không tùy phần mềm. PyTorch bản gần đây, các kernel attention và framework huấn luyện mới nhìn chung tận dụng tốt Hopper; còn môi trường cũ bị "đóng băng" phiên bản thì có thể không. Nếu hệ thống của bạn cũ và không muốn động vào, lợi thế đã được kiểm chứng kỹ của A100 có khi quan trọng hơn tốc độ đỉnh của H100.

Kiểm tra nhanh ngay sau khi kết nối:

```bash
nvidia-smi
python -c "import torch; print(torch.__version__, torch.cuda.get_device_name(0), torch.cuda.is_bf16_supported())"
```

## Tính chi phí mỗi lượt chạy, không tính theo giờ

Giá theo giờ của H100 thường cao hơn. Nhưng bạn trả tiền theo phút sử dụng, nên con số cần quan tâm là:

```text
chi phí một lượt ≈ giá chạy mỗi giờ × số giờ để xong
                 + băng thông (GB tải xuống và tải lên) × giá mỗi GB
```

Nếu H100 xong job nhanh hơn nhiều, nó có thể rẻ hơn tính trên mỗi lượt dù giá theo giờ cao hơn. Nếu job bị nghẽn ở khâu nạp dữ liệu hoặc batch nhỏ, H100 có thể ngồi chơi một phần thời gian và A100 lại là lựa chọn kinh tế hơn. Đừng đoán; hãy chạy thử:

1. Triển khai một máy A100 và, riêng biệt, một máy H100 (cùng image và cùng code).
2. Chạy cùng một đoạn huấn luyện ngắn, ví dụ vài trăm bước, trên mỗi máy.
3. Đo thời gian mỗi bước sau khi đã chạy ổn định.
4. Nhân với tổng số bước của lượt chạy đầy đủ và với giá chạy trực tiếp của từng máy.

Console hiển thị giá chính xác trước khi triển khai, và giá đó được giữ cố định cho instance. Giá "từ" của cả bốn biến thể có trên trang model và trên [GPU cloud](https://cloudj.net/vi/gpu-cloud). Với nhóm nghiên cứu hay startup ở Việt Nam, bước chạy thử này chỉ tốn ít phút GPU nhưng có thể giúp tiết kiệm đáng kể cho lượt chạy thật.

## Vị trí và tình trạng có máy

Vị trí GPU trên Cloudj là bộ lọc quốc gia áp lên danh sách máy chủ đang có. Với huấn luyện, vị trí chủ yếu liên quan đến quy định dữ liệu và thời gian truyền dữ liệu. Hãy bắt đầu rộng: tìm không lọc quốc gia, hoặc với các khu vực mà quy định cho phép. Bài [thuê H100 ở Mỹ](https://cloudj.net/vi/blog/h100-cloud-usa) và [thuê A100 ở châu Âu](https://cloudj.net/vi/blog/a100-cloud-europe) hướng dẫn tìm theo khu vực. Hàng thay đổi trong ngày; mẫu này không có thì mẫu kia có thể có.

Trước lượt chạy dài, so ngày "available until" của máy với ước lượng của bạn. Qua ngày đó, instance và ổ đĩa bị xóa. Hãy sao checkpoint ra ngoài thường xuyên; mỗi máy là host độc lập, không có SLA phần cứng.

## Cấp tài khoản

A100 và H100 là GPU datacenter, cần cấp tài khoản cao hơn mức khởi đầu của tài khoản mới. Nếu console báo "This GPU class is not available at your account level", hãy liên hệ bộ phận hỗ trợ của Cloudj ngay trên console.

## Hướng dẫn quyết định nhanh

- Cần hơn 40 GB trên một card: **H100**.
- Vừa 40 GB, phần mềm mới, lượt chạy dài: **chạy thử cả hai**, chọn bên có chi phí mỗi lượt thấp hơn.
- Vừa 40 GB, phần mềm cũ không muốn nâng cấp: **A100** thường an toàn hơn.
- Lúc cần bắt đầu mà chỉ có một loại: dùng loại đó, để dành phép so sánh cho lần sau.

## Câu hỏi thường gặp

### H100 có luôn nhanh hơn A100 không?

Nhìn chung là có, nhất là khi huấn luyện độ chính xác hỗn hợp trên phần mềm mới. Nhanh hơn bao nhiêu tùy công việc, nên hãy đo bằng một lượt chạy thử.

### Vì sao A100 trong danh sách là bản 40 GB?

A100 PCIe và SXM4 trong danh sách là bản 40 GB. Hai mẫu H100 có 80 GB.

### Nên chọn SXM hay PCIe?

Bản SXM chạy ở mức công suất cao hơn và, với H100, có băng thông bộ nhớ ghi trên trang model cao hơn nhiều. Nếu có cả hai, hãy so chi phí mỗi lượt chạy.

### Tài khoản mới có thuê được card nào trong hai không?

Thường là chưa ngay. Cả hai đều cần cấp tài khoản cao hơn.

## Chạy thử ngay

Mở [trang triển khai A100](https://app.cloudj.net/deploy/gpu?model=a100-pcie) và [trang triển khai H100](https://app.cloudj.net/deploy/gpu?model=h100-sxm), chạy cùng một đoạn ngắn trên mỗi máy và so chi phí mỗi lượt. Mọi giá trực tiếp có trên [GPU cloud](https://cloudj.net/vi/gpu-cloud).