Louez un GPU NVIDIA RTX 4060 Ti à l’heure

Oui, ses 16 GB de VRAM et sa capacité de calcul de 8.9 le rendent particulièrement adapté à l'hébergement de modèles de langage quantifiés via Ollama ou vLLM, ainsi qu'à l'exécution de flux de travail complexes de génération d'images dans ComfyUI. Comme sa bande passante mémoire est d'environ 236 GB/s, la vitesse de génération de jetons sera plus modeste que sur des cartes à bande passante plus élevée, bien que sa capacité mémoire permette de charger des points de contrôle (checkpoints) plus volumineux.

Cette carte offre la même capacité mémoire de 16 GB que certains modèles grand public de gamme supérieure, ce qui lui permet de conserver en mémoire des modèles de taille similaire. Cependant, avec environ 21.6 TFLOPS de calcul et environ 236 GB/s de bande passante mémoire pour une consommation de 165 W, elle traite les données plus lentement que les GPU Ada Lovelace plus imposants, dotés de bus mémoire plus larges et de davantage de cœurs de calcul.

Les instances sur Cloudj utilisent une facturation simple à l'heure. Vous ne payez que pour la durée pendant laquelle votre instance GPU reste allouée à votre compte.

Vous pouvez vous connecter directement à votre instance en cours d’exécution via un accès SSH. Pour vous faire gagner du temps lors de l'installation, Cloudj fournit des modèles prêts à l'emploi pour PyTorch/CUDA, vLLM, Ollama et ComfyUI.