RTX PRO 6000 đặt 96 GB VRAM lên một card Blackwell duy nhất, và đó chính là lý do để thuê RTX PRO 6000. Những model bình thường cần hai GPU trở lên, kèm đủ thứ rắc rối khi chia model ra nhiều card, giờ nằm gọn trên một card. Bài viết giải thích ba biến thể PRO 6000 bạn sẽ gặp trên Cloudj, 96 GB mở ra những gì, cách tìm theo quốc gia, và bước kiểm tra phần mềm cần làm trước khi giao việc quan trọng cho một GPU Blackwell.
Phương pháp chung để chọn GPU theo quốc gia có trong hướng dẫn thuê GPU theo vị trí.
Ba biến thể trong danh sách
Cloudj có ba mẫu RTX PRO 6000. Cả ba cùng kiến trúc Blackwell và 96 GB VRAM; khác nhau chủ yếu ở dạng thiết kế và mức công suất, thể hiện trên từng trang model.
| Biến thể | Trang model | Là gì |
|---|---|---|
| RTX PRO 6000 Workstation | rtx-pro-6000-ws | Card workstation công suất đầy đủ |
| RTX PRO 6000 Max-Q | rtx-pro-6000-max-q | Bản công suất thấp của card workstation, hay dùng trong máy nhiều GPU đặt sát nhau |
| RTX PRO 6000 Server | rtx-pro-6000-s | Bản cho máy chủ, tản nhiệt thụ động trong khung máy ở trung tâm dữ liệu |
Với phần lớn công việc thuê ngoài, khác biệt giữa ba bản ít quan trọng hơn 96 GB mà chúng có chung. Hiệu năng duy trì có thể khác nhau theo mức công suất, nên với job dài, nếu có nhiều bản cùng lúc, hãy chạy thử một bài đo ngắn trên từng bản. Thực tế, cứ tìm cả ba rồi chọn theo giá, độ tin cậy và thời hạn tối đa.
Đây là GPU lớp workstation. Trên Cloudj, chúng cần cấp tài khoản cao hơn mức khởi đầu của tài khoản mới; nếu console báo lớp GPU này chưa mở, hãy liên hệ hỗ trợ ngay trên console.
96 GB trên một card làm được gì
Hướng dẫn chung (nhu cầu thực tế tùy độ chính xác, độ dài context và engine):
- LLM cỡ 70B ở 4-bit hoặc 8-bit trên một GPU, còn chỗ cho cửa sổ context hữu ích, thay vì phải chia ra nhiều card.
- Inference context dài cho model cỡ vừa, khi KV cache chứ không phải trọng số mới là thứ chiếm bộ nhớ.
- Model sinh ảnh và video lớn ở độ chính xác đầy đủ hoặc gần đầy đủ, không cần mẹo offload.
- Fine-tune model cỡ vừa với batch lớn hơn, hoặc LoRA trên model gốc lớn hơn.
- Cảnh render lớn có texture và hình khối vượt quá sức chứa của card 24 hay 48 GB.
Một card lớn đơn giản hơn nhiều card nhỏ: không cần chia tensor, không có giao tiếp giữa các GPU, ít điểm hỏng hơn. Với team nhỏ ở Việt Nam không có kỹ sư chuyên hạ tầng, sự đơn giản này rất đáng giá. Nếu model cần hơn 96 GB, bước tiếp theo là H200 NVL lớp 141 GB; bài thuê H200 cloud nói về card này. Nếu bạn chỉ cần khoảng 32 GB, bài thuê RTX 5090 ở Mỹ giới thiệu một lựa chọn Blackwell nhỏ hơn.
Tìm theo khu vực
Vị trí GPU trên Cloudj là bộ lọc quốc gia áp lên danh sách máy chủ đang có. Mở trang triển khai RTX PRO 6000 và nhập các nước bạn chấp nhận vào ô Country. Vài điểm khởi đầu thường gặp:
| Bạn làm việc ở đâu | Mã ví dụ |
|---|---|
| Bắc Mỹ | US |
| Châu Âu | DE, NL |
| Đông Á | JP |
| Job chạy theo lô, ở đâu cũng được | Không lọc quốc gia |
Sau đó đổi qua lại giữa ba bản Workstation, Max-Q và Server, hoặc hay hơn, bỏ chọn mẫu card và đặt VRAM tối thiểu 96 GB để thấy cả ba cùng lúc với dãy mã của bạn.
Mỗi kết quả hiển thị quốc gia (không có thành phố), số card, vCPU, RAM, tốc độ tải xuống, độ tin cậy, thời hạn tối đa, giá băng thông và nhãn Datacenter nếu có. Có máy trong danh sách thì bạn triển khai được. Hàng thay đổi trong ngày; card workstation lớn có thể khan ở bất kỳ nước nào, nên hãy sẵn sàng mở rộng dãy mã hoặc bỏ bộ lọc với job không cần độ trễ thấp. Giá "từ" có trên từng trang model.
Ngồi ở Việt Nam, bạn vẫn dùng máy ở Mỹ, Đức hay Nhật bình thường cho việc huấn luyện và chạy theo lô. Chỉ khi phục vụ người dùng trực tiếp thì mới cần tính đến khoảng cách.
Kiểm tra driver và phần mềm cho Blackwell
Blackwell cần driver mới và bản build mới của các thư viện CUDA. Bản PyTorch cũ và một số thư viện inference hay attention có thể chưa có kernel cho kiến trúc này. Hãy chạy các lệnh kiểm tra ngay khi kết nối:
nvidia-smi
python -c "import torch; print(torch.__version__, torch.version.cuda); print(torch.cuda.get_device_name(0)); print(torch.randn(2, 2, device='cuda') @ torch.randn(2, 2, device='cuda'))"Nếu PyTorch báo không có kernel image phù hợp, hãy cài bản build cho CUDA mới. Đọc ghi chú phát hành của từng thư viện trong hệ thống để xem đã hỗ trợ Blackwell chưa. Tài liệu CUDA của NVIDIA liệt kê các phiên bản toolkit và kiến trúc được hỗ trợ.
Cách gọn gàng nhất là dùng Docker image riêng build trên nền CUDA mới, để lần triển khai nào cũng bắt đầu từ một môi trường đã chạy ổn. Image riêng phải là Docker image công khai và, giống GPU workstation, cũng cần cấp tài khoản cao hơn. Bài Docker image riêng cho GPU hướng dẫn cách build.
Ghi chú vận hành
- Ổ đĩa: card 96 GB đi kèm model lớn. Chọn dung lượng đủ cho trọng số, cache và kết quả; không thể mở rộng sau này.
- Tải model: kéo trọng số ngay trên máy từ nguồn gốc thay vì upload từ máy bạn.
- Ngày kết thúc: mỗi máy có ngày "available until", sau đó instance và ổ đĩa bị xóa. Lên lịch sao lưu từ sớm.
- Không có SLA: mỗi máy là host độc lập. Viết sẵn script dựng môi trường để máy mới thay thế nhanh.
- Giấy phép: model mở cỡ lớn thường có điều khoản giấy phép riêng; kiểm tra kỹ với mục đích sử dụng của bạn.
- Chi phí: tiền trừ theo phút từ số dư; bạn nạp bằng chuyển khoản VND và nhớ để dư cho khoản cọc lúc triển khai.
Câu hỏi thường gặp
Nên chọn biến thể RTX PRO 6000 nào?
Cả ba đều có 96 GB. Hãy tìm cùng lúc bằng cách đặt VRAM tối thiểu 96 GB, rồi chọn theo giá, độ tin cậy và ngày kết thúc.
Model 70B có chạy trên một RTX PRO 6000 được không?
Ở 4-bit hoặc 8-bit thì nhìn chung là được, còn chỗ cho context. Dư bao nhiêu còn tùy độ dài context và engine.
Vì sao tôi không chọn được RTX PRO 6000?
GPU lớp workstation cần cấp tài khoản cao hơn. Console sẽ báo, và bạn liên hệ hỗ trợ ngay tại đó.
Image CUDA hiện tại của tôi có chạy được không?
Chỉ khi đủ mới để hỗ trợ Blackwell. Hãy chạy các lệnh kiểm tra ở trên trước khi bắt đầu job dài.
Tìm card 96 GB
Mở trang triển khai RTX PRO 6000, đặt dãy mã quốc gia hoặc VRAM tối thiểu 96 GB, và xem đang có máy nào. So sánh mọi giá trực tiếp trên GPU cloud.