Thuê H100 Mỹ thường chỉ vì một mục đích: hoàn thành một lượt huấn luyện hoặc fine-tune quá chậm hay quá lớn với card phổ thông. Điều đó thay đổi hẳn những câu hỏi bạn cần đặt ra. Vị trí ít quan trọng hơn ba chuyện: máy có trụ được hết thời gian chạy job không, nên dùng một card hay tám card, và checkpoint sẽ ra sao nếu máy đột ngột biến mất. Bài này là hướng dẫn lập kế hoạch cho đúng tình huống đó, viết cho các team AI nhỏ, nhóm nghiên cứu ở trường đại học hay startup ở Việt Nam cần sức mạnh tính toán theo đợt.
Về cách tìm máy ở Mỹ nói chung, xem hướng dẫn thuê GPU ở Mỹ.
Trước khi tìm: cấp tài khoản
H100 là GPU datacenter. Trên Cloudj, những gì tài khoản thuê được phụ thuộc vào cấp tài khoản, và tài khoản mới bắt đầu với GPU phổ thông. Nếu chọn H100 mà console báo "This GPU class is not available at your account level", hãy liên hệ bộ phận hỗ trợ của Cloudj ngay trên console trước khi lên kế hoạch tiếp.
Tìm H100 ở Mỹ và Canada
Mở trang triển khai H100 SXM và điền ô Country. Với Bắc Mỹ:
US, CADanh sách có hai biến thể H100 chính, đều có 80 GB VRAM:
- H100 SXM: dạng module công suất cao. Trang model ghi băng thông bộ nhớ cao hơn bản PCIe.
- H100 PCIe: card PCIe tiêu chuẩn, công suất và băng thông thấp hơn.
Hãy tìm cả hai. Mỗi kết quả hiển thị quốc gia (không có bang hay thành phố), số card, vCPU, RAM, tốc độ tải xuống, độ tin cậy, thời hạn tối đa, giá băng thông và nhãn Datacenter nếu có. Có máy trong danh sách thì bạn triển khai được; hàng thay đổi trong ngày, nên nếu chưa có máy phù hợp hãy xem lại sau. Giá "từ" của từng biến thể có trên trang model.
Với huấn luyện, vị trí là yếu tố phụ. Nếu Mỹ và Canada không có H100 phù hợp, bỏ hẳn bộ lọc quốc gia là lựa chọn hoàn toàn hợp lý, miễn là quy định về dữ liệu của bạn cho phép. Ngồi ở Việt Nam điều khiển máy ở Mỹ cũng không làm job chạy chậm đi.
Máy 1x hay 8x
Ô số lượng GPU có 1×, 2×, 4× và 8×, luôn nằm trong cùng một máy. Máy nhiều H100 chỉ xuất hiện khi có host như vậy.
| Cấu hình | Hợp với | Cần cẩn thận |
|---|---|---|
| 1× H100 | Fine-tune model cỡ vừa, LoRA trên model lớn, thử nghiệm, gỡ lỗi script huấn luyện | Fine-tune toàn phần model lớn sẽ không vừa 80 GB |
| 2× hoặc 4× H100 | Huấn luyện song song dữ liệu cho model cỡ vừa, rút ngắn thời gian | Code phải thực sự dùng hết các GPU |
| 8× H100 | Fine-tune lớn, huấn luyện chia nhỏ model lớn | Giá theo giờ cao nhất; một sự cố là dừng cả lượt chạy |
Cách làm hợp lý là gỡ lỗi trên 1× cho tới khi script chạy trơn tru từ đầu đến cuối, rồi mới chuyển sang cấu hình lớn cho lượt chạy thật. Đừng gỡ lỗi trên máy 8×, vì mỗi phút loay hoay đều tốn tiền gấp tám. Bài một GPU hay nhiều GPU trên cloud giải thích khi nào chia ra nhiều GPU thực sự có lợi và khi nào chỉ thêm chi phí.
Khớp ngày hết hạn của máy với job
Mỗi máy hiển thị ngày "available until" và thời hạn tối đa tính bằng ngày. Đến ngày đó, instance và ổ đĩa bị xóa. Với một lượt huấn luyện, đây là con số quan trọng nhất trên dòng kết quả.
Hãy tính trước khi triển khai:
- Ước lượng thời gian chạy bằng một bài đo ngắn trên cùng loại GPU (ví dụ đo thời gian 100 bước rồi nhân lên).
- Cộng thêm khoảng dư rộng rãi cho đánh giá, khởi động lại và nạp dữ liệu.
- Chọn máy có ngày "available until" muộn hơn ước lượng một cách thoải mái.
Nếu không máy nào trụ đủ lâu, hãy chia job: huấn luyện theo từng giai đoạn, lưu checkpoint cuối mỗi giai đoạn, rồi chạy tiếp trên máy mới.
Đưa checkpoint ra khỏi instance
Mỗi máy là một host độc lập, không có SLA phần cứng. Nếu máy mất kết nối, việc tính tiền tạm dừng nhưng không có gì tự chuyển job sang máy khác. Ổ đĩa nằm trên chính máy đó. Vì vậy hãy coi ổ đĩa cục bộ là chỗ làm việc tạm, và sao checkpoint ra ngoài liên tục.
Cách đơn giản là đẩy mỗi checkpoint sang kho lưu trữ bạn kiểm soát ngay khi vừa ghi xong:
rsync -avP -e "ssh -p 22" /workspace/checkpoints/ user@your-storage-host:/backups/run-01/Chạy lệnh này trong vòng lặp hoặc callback của quá trình huấn luyện. Giữ ít nhất hai checkpoint mới nhất ở ngoài instance. Bài sao lưu trước ngày máy hết hạn đi sâu hơn: sao những gì và vào lúc nào.
Ước tính chi phí
Cloudj không công bố giá H100 cố định; giá thay đổi vài phút một lần. Hãy dùng số liệu trực tiếp trên console và một công thức đơn giản:
tổng ≈ giá chạy mỗi giờ × số giờ chạy
+ giá khi dừng mỗi giờ × số giờ dừng
+ dữ liệu tải xuống (GB) × giá mỗi GB
+ dữ liệu tải lên (GB) × giá mỗi GBGiá chạy gồm GPU và ổ đĩa. Tiền được trừ theo phút từ số dư trả trước, và giá lúc triển khai được giữ cố định cho instance đó. Đừng quên khoản cọc bị giữ lúc triển khai (khoảng một giờ GPU cộng lưu trữ và một phần dự phòng băng thông); phần chưa dùng được trả lại sau khi bạn hủy instance. Với team ở Việt Nam, hãy nạp đủ số dư bằng chuyển khoản VND trước khi bắt đầu lượt chạy dài. Bài GPU huấn luyện AI ở Mỹ có ví dụ lập kế hoạch đầy đủ hơn.
Mẹo thực tế
- Chọn ổ đĩa đủ cho bộ dữ liệu, trọng số gốc và vài checkpoint. Không thể mở rộng sau này.
- Tải model gốc và bộ dữ liệu ngay trên máy từ nguồn gốc, thay vì upload từ laptop qua đường quốc tế.
- Theo dõi mức sử dụng GPU trên trang instance. Con số thấp thường có nghĩa khâu nạp dữ liệu đang là nút thắt.
- Hủy instance ngay khi checkpoint cuối đã được sao an toàn. Để ở trạng thái Stop vẫn tốn phí lưu trữ và còn nhả mất GPU.
Câu hỏi thường gặp
Tài khoản mới có thuê H100 được không?
Nhiều khả năng là chưa. H100 cần cấp tài khoản cao hơn. Console sẽ báo, và bạn liên hệ hỗ trợ ngay tại đó.
Máy 8× H100 lúc nào cũng có chứ?
Không. Máy nhiều GPU phụ thuộc vào những host đang có lúc đó. Hãy tìm và triển khai nếu có máy phù hợp.
Máy hỏng giữa chừng khi đang huấn luyện thì sao?
Việc tính tiền tạm dừng khi máy mất kết nối và không có cơ chế tự chuyển. Hãy chạy tiếp từ checkpoint mới nhất đã lưu bên ngoài trên một máy mới.
H100 ở Mỹ hay nơi khác thì có khác gì không?
Với huấn luyện, hiếm khi khác. Chỉ quan trọng khi quy định về dữ liệu giới hạn quốc gia, hoặc khi bạn kéo bộ dữ liệu rất lớn từ một nguồn ở Mỹ.
Lên kế hoạch cho lượt chạy
Mở trang triển khai H100, đặt Country là US, CA và so sánh các máy theo ngày hết hạn chứ không chỉ theo giá. Mọi giá trực tiếp có trên GPU cloud.