Mỗi máy trong danh sách GPU của Cloudj là một host độc lập, nên hai máy cùng mẫu card, cùng quốc gia vẫn có thể hoạt động rất khác nhau. Console cho bạn vài tín hiệu để đánh giá từng máy, và dễ thấy nhất là chỉ số độ tin cậy máy chủ GPU dưới dạng phần trăm. Bài viết giải thích cách đọc chỉ số này cùng các tín hiệu khác trên mỗi dòng kết quả, cách dùng bộ lọc độ tin cậy tối thiểu, và vì sao không con số nào thay thế được việc sao lưu.
Các bộ lọc quốc gia và mẫu card tạo ra danh sách này được giải thích trong bài cách lọc GPU theo quốc gia trên console.
Các tín hiệu trên mỗi dòng
Mỗi kết quả trên trang triển khai GPU hiển thị, cùng với nhiều thông tin khác:
| Tín hiệu | Cho bạn biết điều gì |
|---|---|
| Độ tin cậy | Một tỷ lệ phần trăm của host đó. Hãy coi đây là tín hiệu so sánh: càng cao càng tốt |
| Thời hạn tối đa | Máy còn dùng được bao nhiêu ngày. Trang instance hiển thị chính xác ngày "available until" |
| Nhãn Datacenter | Máy đặt trong trung tâm dữ liệu |
| Tốc độ tải xuống | Tốc độ mạng của host tính bằng Mbps, ảnh hưởng tới việc kéo model và dữ liệu |
| Giá băng thông | Theo TB tải xuống và tải lên, tính theo GB thực dùng |
| Quốc gia | Máy đặt ở đâu; chỉ ở cấp quốc gia |
Trước khi xuất hiện trong danh sách, mỗi máy đã phải vượt qua các bước kiểm tra tối thiểu của Cloudj về độ tin cậy, mạng và thời gian niêm yết. Danh sách bạn thấy vốn đã được lọc; các tín hiệu giúp bạn chọn giữa những máy còn lại.
Đọc chỉ số độ tin cậy
Độ tin cậy là cách nhanh gọn để so hai máy gần giống nhau. Vài nguyên tắc thực tế:
- So sánh, đừng ám ảnh. Giữa hai máy giá tương đương, hãy chọn máy có độ tin cậy cao hơn, nhất là cho việc chạy lâu hoặc phục vụ người dùng.
- Cân theo công việc. Một thử nghiệm ngắn chịu được con số thấp hơn; lượt huấn luyện nhiều ngày hay API công khai thì không.
- Đừng coi đó là lời hứa. Phần trăm này mô tả quá trình hoạt động đã qua, không phải cam kết. Console ghi rõ: các máy là host độc lập, không có SLA phần cứng.
Thời hạn tối đa và ngày kết thúc
Thời hạn tối đa rất dễ bị bỏ qua, mà nhiều khi còn quan trọng hơn độ tin cậy. Mỗi máy chỉ dùng được đến một ngày nhất định; đến ngày đó, instance và ổ đĩa bị xóa. Với bất kỳ job nào, hãy kiểm tra:
- Thời gian chạy ước tính của bạn, cộng khoảng dư.
- Ngày kết thúc của máy.
- Ngày thứ hai phải muộn hơn ngày thứ nhất một cách thoải mái.
Nếu không máy nào đủ lâu, hãy chia job thành nhiều giai đoạn có checkpoint, để mỗi giai đoạn vừa với máy đang có.
Nhãn Datacenter
Nhãn này đánh dấu các host đặt trong trung tâm dữ liệu, và công tắc Datacenter only giúp lọc riêng những máy đó. Host trong trung tâm dữ liệu thường có nguồn điện và mạng ổn định hơn, nên nhiều team ưu tiên cho dịch vụ và job dài. Máy không có nhãn vẫn có thể rất tốt, giá thường cạnh tranh, và hoàn toàn hợp lý cho thử nghiệm hay job chạy theo lô. Bài host GPU trong datacenter hay host độc lập phân tích kỹ hơn.
Lưu ý bật "Datacenter only" sẽ làm danh sách ngắn lại, có khi trống hẳn ở một số nước. Hãy thử tìm cả khi bật và khi tắt.
Tốc độ mạng
Tốc độ tải xuống quan trọng nhất khi bạn kéo model hay bộ dữ liệu lớn lên máy, hoặc khi phục vụ lưu lượng lớn. Với dịch vụ LLM, mạng của host chậm sẽ cộng thêm vào mỗi câu trả lời. Với huấn luyện trên bộ dữ liệu tải một lần, nó chỉ ảnh hưởng lúc đầu. Nếu công việc phụ thuộc vào mạng, bạn có thể đặt tốc độ tải xuống tối thiểu trong bộ lọc.
Dùng bộ lọc độ tin cậy tối thiểu
Bộ lọc có mục độ tin cậy tối thiểu. Cách đặt hợp lý theo từng loại việc:
| Công việc | Độ tin cậy tối thiểu | Datacenter only | Ghi chú |
|---|---|---|---|
| Thử nghiệm nhanh, phiên notebook | Để mặc định | Tắt | Giá thấp nhất thường thắng |
| Job chạy theo lô vài giờ | Trung bình | Tùy chọn | Lưu kết quả dần trong lúc chạy |
| Huấn luyện nhiều ngày | Cao | Nên cân nhắc bật | Sao checkpoint ra ngoài instance |
| API công khai hoặc dịch vụ giọng nói | Cao | Nên cân nhắc bật | VPS làm front end, script triển khai lại sẵn sàng |
Nếu mức tối thiểu cao không ra máy nào, hãy hạ một bậc, mở rộng dãy mã quốc gia, hoặc chấp nhận mẫu card khác. Hàng thay đổi trong ngày; hãy kiểm tra lại console sau. Giá "từ" theo từng mẫu có trên GPU cloud.
Ví dụ với một team ở Việt Nam chạy chatbot chăm sóc khách hàng cho chuỗi cửa hàng: đặt độ tin cậy cao, bật "Datacenter only", lọc SG, HK, và luôn giữ sẵn script dựng lại máy. Còn bạn sinh viên chỉ cần chạy thử notebook vài giờ thì cứ để mặc định và chọn máy giá thấp.
Vì sao vẫn cần sao lưu
Kể cả máy có chỉ số cao nhất cũng có thể mất kết nối. Khi host mất kết nối, việc tính tiền instance đó tạm dừng, nhưng không có cơ chế tự chuyển sang máy khác, và ổ đĩa vẫn nằm trên host đó. Hãy chuẩn bị trước:
- Sao checkpoint và kết quả ra khỏi instance thường xuyên, đừng đợi đến cuối. Bài sao lưu trước ngày máy hết hạn hướng dẫn cách làm.
- Lưu môi trường trong script cài đặt hoặc Docker image riêng, để máy thay thế sẵn sàng trong vài phút.
- Với dịch vụ, đặt một VPS phía trước GPU để trỏ sang máy mới mà không phải đổi địa chỉ công khai.
Theo dõi instance khi đang chạy
Sau khi triển khai, trang instance hiển thị trạng thái, mức sử dụng GPU và các dòng log cuối của container. Bên trong instance, nvidia-smi và các công cụ Linux quen thuộc cho bạn biết thêm. Bài theo dõi tài nguyên VPS giới thiệu các công cụ như htop, df và cách cảnh báo đơn giản, áp dụng được y nguyên cho instance GPU.
Câu hỏi thường gặp
Độ tin cậy cao có đảm bảo dịch vụ không bị gián đoạn không?
Không. Đó là tín hiệu từ quá trình hoạt động của host. Các máy không có SLA phần cứng, nên hãy sao lưu.
Host mất kết nối thì hóa đơn của tôi thế nào?
Việc tính tiền tạm dừng trong lúc máy mất kết nối. Không có cơ chế tự chuyển, nên có thể bạn phải triển khai instance mới.
Có nên luôn bật "Datacenter only" không?
Không nhất thiết. Nó hợp với job dài và dịch vụ. Với thử nghiệm, máy không có nhãn thường là lựa chọn tốt.
Vì sao không máy nào đạt mức độ tin cậy tối thiểu của tôi?
Danh sách thay đổi trong ngày. Hãy hạ mức tối thiểu một chút, thêm mã quốc gia hoặc thử mẫu card khác.
Chọn máy tiếp theo thật kỹ
Mở trang triển khai, đặt mức độ tin cậy tối thiểu phù hợp với công việc, và so cả ngày kết thúc lẫn giá. Giá trực tiếp có trên GPU cloud. Số dư bạn nạp bằng chuyển khoản VND.