የNVIDIA H200 NVL GPU ከ140 GB VRAM ጋር ይከራዩ
የ H200 NVL ክላውድ GPU ሰርቨሮችን በሰዓት በCloudj ይከራዩ፡ 140 GB VRAM፣ NVIDIA Hopper እና ወደ 3884 GB/s የሚጠጋ የሜሞሪ ባንድዊድዝ ያለው በምድባችን ትልቁ ሜሞሪ ያለው GPU ነው። 48.3 TFLOPS FP32 እና 600 W የሃይል ገደብ ያለው ሲሆን፣ የ 70B-ክፍል ሞዴሎችን በከፍተኛ ትክክለኛነት ወይም በጣም ረጅም ኮንቴክስቶች ለሚያሰማሩ ቡድኖች የተገነባ ነው። የ vLLM ወይም SGLang ቴምፕሌት ይምረጡ፣ የቀጥታ H200 NVL ኮንፊገሬሽን ይምረጡ እና በ SSH ይገናኙ።
H200 NVL ዝርዝር መግለጫዎች
VRAM በእያንዳንዱ GPU
140 GB
አርክቴክቸር
NVIDIA Hopper
የስሌት አቅም (Compute capability)
9
የ FP32 ስሌት
≈ 48.3 TFLOPS
የሜሞሪ ባንድዊድዝ
≈ 3884 GB/s
የሃይል ገደብ
600 W
በአሁኑ ጊዜ በዝርዝሩ ውስጥ ላሉ ማሽኖች በመሰረተ-ልማት አቅራቢው የተገለጹ እሴቶች፤ ትክክለኛው አፈጻጸም እንደ ማሽኑ ሊለያይ ይችላል።
የወቅቱ የH200 NVL ኮንፊገሬሽኖች እና ዋጋዎች
የቀጥታ ክምችት እና ዋጋዎች ያለማቋረጥ ይዘመናሉ። ትዕዛዝዎን ከማረጋገጥዎ በፊት የመጨረሻው ዋጋ ይታወቃል።
አሁን ይከራዩበH200 NVL ክላውድ GPU ላይ ምን ማስኬድ ይችላሉ?
የ 70B-ክፍል ሞዴሎች ሙሉ ትክክለኛነት በሚጠጋ ደረጃ
140 GB በአንድ GPU ላይ የ 70B ሞዴልን በ 8-bit ከትልቅ KV cache ጋር፣ ወይም ወደ 16-bit መጠን የተቃረበ ይይዛል።
ረጅም-ኮንቴክስት ማስተናገድ
ተጨማሪው ሜሞሪ ረጅም ፕሮምፕቶችን እና በርካታ ተከታታይ ሴሽኖችን ሲይዝ፣ 3884 GB/s ዲኮዲንግ ፈጣን እንዲሆን ያደርጋል።
የ 70B ሞዴሎችን በ QLoRA ፋይን-ቲዩን ማድረግ
የ 80 GB ካርድ ከሚፈቅደው በላይ የ 70B QLoRAን በረጅም ሲክዌንሶች እና በትልልቅ ባቾች ያሂዱ።
የ Mixture-of-experts ሙከራዎች
የ MoE ሞዴሎች ትልቅ አጠቃላይ ክብደት አላቸው፤ 140 GB ያለ sharding ለሙከራ የሚሆኑ ትላልቅ የኤክስፐርት ስብስቦችን እንዲጭኑ ያስችልዎታል።
H200 NVL ለእርስዎ የሥራ ጫና ትክክለኛው GPU ነው?
ዋናው ማነቆዎ የ VRAM አቅም እና የሜሞሪ ባንድዊድዝ ሲሆን፣ በተለይም ትልልቅ ሞዴሎችን በአንድ ካርድ ላይ ለማስተናገድ H200 NVL ን ይምረጡ። ቀለል ያለ ኢንፈረንስ፣ መደበኛ የምስል ማመንጨት ወይም 140 GB ሜሞሪ የማይጠይቁ የልማት ስራዎችን የሚያከናውኑ ከሆነ፣ አነስ ያለ ዎርክስቴሽን ወይም የኮንሲዩመር GPU ይበልጥ ተግባራዊ ምርጫ ነው።
H200 NVL ክላውድ GPU፡ በተደጋጋሚ የሚጠየቁ ጥያቄዎች
H200 NVL ክላውድ GPUን በሰዓት ይከራዩ
ቴምፕሌት ይምረጡ፣ የወቅቱን ኮንፊገሬሽን ይምረጡ እና በSSH ወይም በብሮውዘር ተርሚናል ይገናኙ። GPUውን ሲሰርዙ ክፍያ ይቆማል።