Noleggia GPU NVIDIA RTX 4060 Ti a ore

Sì, i suoi 16 GB di VRAM e la compute capability 8.9 la rendono adatta per ospitare modelli linguistici quantizzati tramite Ollama o vLLM, oltre che per eseguire flussi di lavoro complessi di generazione di immagini in ComfyUI. Poiché la larghezza di banda della memoria è di circa 236 GB/s, le velocità di generazione dei token saranno più contenute rispetto alle schede con larghezza di banda superiore, sebbene la capacità di memoria consenta il caricamento di checkpoint più grandi.

Questa scheda offre la stessa capacità di memoria di 16 GB di alcuni modelli consumer di fascia superiore, consentendo di mantenere in memoria modelli di dimensioni simili. Tuttavia, con circa 21.6 TFLOPS di calcolo e circa 236 GB/s di larghezza di banda della memoria a un consumo energetico di 165 W, elabora i dati più lentamente rispetto alle GPU Ada Lovelace più grandi, dotate di bus di memoria più ampi e più core di calcolo.

Le istanze su Cloudj utilizzano una fatturazione oraria diretta. Si paga solo per il tempo in cui l'istanza GPU rimane allocata all'account.

È possibile connettersi direttamente all'istanza in esecuzione tramite accesso SSH. Per ridurre i tempi di configurazione, Cloudj fornisce modelli pronti all'uso per PyTorch/CUDA, vLLM, Ollama e ComfyUI.