Почасовая аренда GPU NVIDIA RTX 4060 Ti

Да, 16 GB VRAM и вычислительная способность 8.9 делают её хорошим выбором для размещения квантованных языковых моделей через Ollama или vLLM, а также для запуска сложных рабочих процессов генерации изображений в ComfyUI. Поскольку пропускная способность памяти составляет около 236 GB/s, скорость генерации токенов будет скромнее, чем на картах с более высокой пропускной способностью, однако объём памяти позволяет загружать более крупные чекпоинты.

Эта карта предлагает те же 16 GB памяти, что и некоторые потребительские модели более высокого уровня, что позволяет удерживать в памяти модели аналогичного размера. Однако при вычислительной мощности около 21.6 TFLOPS, пропускной способности памяти около 236 GB/s и энергопотреблении 165 W она обрабатывает данные медленнее, чем старшие GPU архитектуры Ada Lovelace с более широкой шиной памяти и большим числом вычислительных ядер.

Для инстансов на Cloudj действует прозрачная почасовая оплата. Вы платите только за то время, пока инстанс с GPU закреплён за вашим аккаунтом.

Вы можете подключиться напрямую к работающему инстансу по SSH. Чтобы сэкономить время на настройке, Cloudj предоставляет готовые шаблоны для PyTorch/CUDA, vLLM, Ollama и ComfyUI.