השכרת GPU מדגם NVIDIA H200 NVL עם 140 GB VRAM
השכרת שרתי GPU בענן עם H200 NVL לפי שעה ב-Cloudj: זיכרון של 140 GB VRAM, ארכיטקטורת NVIDIA Hopper ורוחב פס זיכרון של כ-3884 GB/s – מעבד ה-GPU עם נפח הזיכרון הגדול ביותר בהיצע שלנו. השרת נבנה עבור צוותים שמריצים מודלים ממשפחת 70B בדיוק גבוה או עם הקשרים ארוכים במיוחד, עם ביצועים של 48.3 TFLOPS FP32 ומעטפת הספק של 600 W. בחרו תבנית vLLM או SGLang, הגדירו תצורת H200 NVL זמינה והתחברו ישירות דרך SSH.
מפרט טכני של H200 NVL
VRAM לכל GPU
140 GB
ארכיטקטורה
NVIDIA Hopper
יכולת חישוב (Compute capability)
9
ביצועי חישוב FP32
≈ 48.3 TFLOPS
רוחב פס זיכרון
≈ 3884 GB/s
מגבלת הספק
600 W
ערכים שנמסרו על ידי ספק התשתית עבור מכונות המוצגות כעת; הביצועים בפועל משתנים ממכונה למכונה.
תצורות ומחירי H200 NVL בזמן אמת
מלאי ומחירים בזמן אמת, מתעדכנים באופן שוטף. המחיר הסופי מאושר לפני ביצוע ההזמנה.
שכרו עכשיומה אפשר להריץ על ה-GPU בענן מדגם H200 NVL
הרצת מודלים ממשפחת 70B בדיוק כמעט מלא
נפח של 140 GB מאפשר להחזיק מודל 70B ב-8-bit עם KV cache גדול, או קרוב לנפח של 16-bit, על גבי GPU יחיד.
הגשת מודלים בהקשרים ארוכים (Long-context)
מהירות של 3884 GB/s שומרת על פענוח מהיר, בעוד תוספת הזיכרון מאפשרת לעבד פרומפטים ארוכים וריבוי הפעלות מקבילות.
אימון והתאמה (Fine-tuning) של מודלי 70B באמצעות QLoRA
הריצו QLoRA על מודלי 70B עם רצפים ארוכים יותר וגודלי batch גדולים יותר ממה שכרטיס 80 GB מאפשר.
ניסויים במודלי Mixture-of-Experts
למודלי MoE יש משקל כולל גבוה במיוחד; נפח של 140 GB מאפשר לטעון קבוצות מומחים גדולות יותר לבדיקות ללא צורך בפיצול (sharding).
האם H200 NVL הוא ה-GPU המתאים לעומסי העבודה שלך?
בחרו ב-H200 NVL כאשר צוואר הבקבוק העיקרי שלכם הוא נפח VRAM ורוחב פס זיכרון, בייחוד עבור אירוח מודלים גדולים על גבי כרטיס בודד. אם אתם מריצים משימות הסקה (inference) קלות יותר, יצירת תמונות סטנדרטית או משימות פיתוח שאינן דורשות 140 GB של זיכרון, כרטיס GPU קטן יותר לתחנות עבודה או לשוק הצרכני יהיה בחירה מעשית ומשתלמת יותר.
GPU ענן מדגם H200 NVL: שאלות נפוצות
שכרו GPU ענן מדגם H200 NVL לפי שעה
בחרו תבנית, בחרו תצורה פעילה והתחברו באמצעות SSH או דרך הטרמינל בדפדפן. החיוב נפסק ברגע שמוחקים את ה-GPU.