השכרת שרת GPU מדגם NVIDIA A800 PCIE עם 80 GB VRAM
השכירו מעבדי GPU מדגם A800 PCIE לפי שעה ב-Cloudj: נפח של 80 GB VRAM בארכיטקטורת NVIDIA Ampere עם רוחב פס זיכרון של כ-1598 GB/s, כך שמודלי LLM מסדר גודל של 70B נכנסים לכרטיס בודד. הכרטיס מיועד לצוותי AI הזקוקים לפי שניים מנפח הזיכרון של A100 40 GB עבור serving, כוונון עדין (fine-tuning) ועבודה עם קונטקסט ארוך, עם 15.6 TFLOPS FP32 ומגבלת הספק של 300 W. התחילו מתבנית vLLM, SGLang או Unsloth והתחברו ב-SSH.
מפרט טכני של A800 PCIE
VRAM לכל GPU
80 GB
ארכיטקטורה
NVIDIA Ampere
יכולת חישוב (Compute capability)
8
ביצועי חישוב FP32
≈ 15.6 TFLOPS
רוחב פס זיכרון
≈ 1598 GB/s
מגבלת הספק
300 W
ערכים שנמסרו על ידי ספק התשתית עבור מכונות המוצגות כעת; הביצועים בפועל משתנים ממכונה למכונה.
תצורות ומחירי A800 PCIE בזמן אמת
מלאי ומחירים בזמן אמת, מתעדכנים באופן שוטף. המחיר הסופי מאושר לפני ביצוע ההזמנה.
שכרו עכשיומה אפשר להריץ על ה-GPU בענן מדגם A800 PCIE
מודלי 70B על גבי GPU יחיד
הריצו serving למודל 70B בכימות 4-bit עם מקום פנוי ל-KV cache, או מודל 30B–34B ב-16-bit, באמצעות vLLM או SGLang.
הסקה (inference) עם קונטקסט ארוך
נפח של 80 GB משאיר מקום לפרומפטים ארוכים ולרצפים מקבילים רבים שהיו גורמים לחריגת זיכרון בכרטיס של 40 GB.
כוונון עדין (fine-tuning) למודלי LLM בינוניים
הריצו LoRA על מודלים של 13B–34B ב-BF16 או QLoRA על מודלים גדולים יותר עם Unsloth, ללא צורך בפיצול (sharding) בין מספר מעבדי GPU.
מדעי נתונים עתירי זיכרון
שמרו טנזורים גדולים, גרפים או מטרציות מאפיינים בזיכרון ה-GPU עבור עומסי עבודה של RAPIDS או PyTorch.
האם A800 PCIE הוא ה-GPU המתאים לעומסי העבודה שלך?
בחרו ב-A800 PCIE כאשר הדרישה העיקרית שלכם היא קיבולת זיכרון של 80 GB עבור מודלי AI גדולים ולא כוח חישוב גולמי בדיוק יחיד. אם עומס העבודה שלכם דורש פחות זיכרון, כרטיס GPU לתחנות עבודה או לשוק הצרכני עם פחות VRAM עשוי להתאים יותר, בעוד שעומסים המוגבלים על ידי יכולת חישוב עשויים להפיק תועלת מארכיטקטורות דאטה סנטר מהדור החדש יותר.
GPU ענן מדגם A800 PCIE: שאלות נפוצות
שכרו GPU ענן מדגם A800 PCIE לפי שעה
בחרו תבנית, בחרו תצורה פעילה והתחברו באמצעות SSH או דרך הטרמינל בדפדפן. החיוב נפסק ברגע שמוחקים את ה-GPU.