Louez un GPU NVIDIA RTX A4000 à l’heure

Avec 16 GB de VRAM et environ 372 GB/s de bande passante mémoire, il gère l'inférence pour des modèles de langage plus petits ou quantifiés via Ollama ou vLLM, ainsi que l'ajustement fin léger. Pour un ajustement fin de tous les paramètres ou l'exécution de modèles non quantifiés plus volumineux, un GPU doté de plus de VRAM est recommandé.

En tant que carte de station de travail de 16 GB offrant environ 20.6 TFLOPS de calcul en simple précision, le RTX A4000 se situe entre les cartes grand public d'entrée de gamme et les GPU plus puissants pour stations de travail ou centres de données. Choisir un modèle inférieur réduit la mémoire disponible pour la taille des lots, tandis qu'un modèle supérieur offre une plus grande capacité de VRAM et une bande passante mémoire accrue pour les charges de travail plus lourdes.

Vous pouvez déployer des modèles prêts à l'emploi incluant PyTorch/CUDA, vLLM, Ollama et ComfyUI, tous compatibles avec la capacité de calcul 8.6 de la carte. Un accès SSH complet est également fourni afin que vous puissiez personnaliser votre environnement.

Les locations sur Cloudj utilisent une facturation à l'heure, vous permettant de ne payer que pour la durée pendant laquelle votre instance est active.