Thuê GPU NVIDIA RTX 4060 Ti theo giờ

Có, 16 GB VRAM cùng compute capability 8.9 giúp card này rất phù hợp để chạy các mô hình ngôn ngữ đã lượng tử hóa qua Ollama hoặc vLLM, cũng như xử lý các quy trình tạo ảnh phức tạp trong ComfyUI. Do băng thông bộ nhớ ở mức khoảng 236 GB/s, tốc độ sinh token sẽ khiêm tốn hơn so với các dòng card có băng thông cao hơn, tuy nhiên dung lượng bộ nhớ này vẫn cho phép nạp các checkpoint lớn hơn.

Mẫu card này cung cấp cùng dung lượng bộ nhớ 16 GB như một số dòng card người dùng phân khúc cao hơn, cho phép lưu trữ các mô hình có kích thước tương đương trong bộ nhớ. Tuy nhiên, với hiệu năng tính toán khoảng 21.6 TFLOPS và băng thông bộ nhớ khoảng 236 GB/s ở mức tiêu thụ điện 165 W, tốc độ xử lý dữ liệu của card sẽ chậm hơn so với các GPU Ada Lovelace lớn hơn vốn sở hữu bus bộ nhớ rộng hơn và nhiều nhân tính toán hơn.

Các máy chủ trên Cloudj áp dụng hình thức tính phí theo giờ minh bạch. Bạn chỉ phải trả tiền cho khoảng thời gian máy chủ GPU được cấp phát cho tài khoản của mình.

Bạn có thể kết nối trực tiếp vào máy chủ đang chạy qua giao thức SSH. Để tiết kiệm thời gian thiết lập, Cloudj cung cấp sẵn các template cho PyTorch/CUDA, vLLM, Ollama và ComfyUI.