იქირავეთ NVIDIA H200 NVL GPU 140 GB VRAM-ით
იქირავეთ H200 NVL ღრუბლოვანი GPU სერვერები საათობრივად Cloudj-ზე: 140 GB VRAM, NVIDIA Hopper და დაახლოებით 3884 GB/s მეხსიერების გამტარუნარიანობა — ყველაზე დიდი მეხსიერების მქონე GPU ჩვენს ასორტიმენტში. ის შექმნილია გუნდებისთვის, რომლებიც 70B-კლასის მოდელების სერვინგს ახორციელებენ მაღალი სიზუსტით ან ძალიან გრძელი კონტექსტით, 48.3 TFLOPS FP32 წარმადობითა და 600 W ენერგომოხმარების ლიმიტით. აირჩიეთ vLLM ან SGLang შაბლონი, შეარჩიეთ ხელმისაწვდომი H200 NVL კონფიგურაცია და დაუკავშირდით SSH-ით.
H200 NVL-ის სპეციფიკაციები
VRAM თითოეულ GPU-ზე
140 GB
არქიტექტურა
NVIDIA Hopper
Compute capability
9
FP32 გამოთვლები
≈ 48.3 TFLOPS
მეხსიერების გამტარობა
≈ 3884 GB/s
სიმძლავრის ლიმიტი (TDP)
600 W
მნიშვნელობები მოწოდებულია ინფრასტრუქტურის პროვაიდერის მიერ ამჟამად განთავსებული სერვერებისთვის; რეალური წარმადობა შეიძლება განსხვავდებოდეს კონკრეტული აპარატურის მიხედვით.
H200 NVL-ის მიმდინარე კონფიგურაციები და ფასები
მარაგები და ფასები განახლებადია რეალურ დროში. საბოლოო ფასის დადასტურება ხდება შეკვეთამდე.
იქირავეთ ახლავერა შეგიძლიათ გაუშვათ H200 NVL ღრუბლოვან GPU-ზე
70B-კლასის მოდელები თითქმის სრული სიზუსტით
140 GB იტევს 70B მოდელს 8-bit-ში დიდი KV cache-ით, ან თითქმის 16-bit მოცულობით, ერთ GPU-ზე.
გრძელი კონტექსტის სერვინგი
3884 GB/s უზრუნველყოფს სწრაფ დეკოდირებას, ხოლო დამატებითი მეხსიერება იტევს გრძელ პრომპტებსა და მრავალ პარალელურ სესიას.
70B მოდელების Fine-tuning QLoRA-ს საშუალებით
გაუშვით 70B QLoRA უფრო გრძელი თანმიმდევრობებითა და დიდი batch-ებით, ვიდრე ამის საშუალებას 80 GB ბარათი იძლევა.
Mixture-of-experts ექსპერიმენტები
MoE მოდელებს დიდი საერთო წონა აქვთ; 140 GB საშუალებას გაძლევთ ჩატვირთოთ ექსპერტების უფრო დიდი ნაკრებები ტესტირებისთვის sharding-ის გარეშე.
არის თუ არა H200 NVL შესაფერისი GPU თქვენი დატვირთვისთვის?
აირჩიეთ H200 NVL, როდესაც თქვენი მთავარი შემაფერხებელი ფაქტორი VRAM მოცულობა და მეხსიერების გამტარუნარიანობაა, განსაკუთრებით დიდი მოდელების ერთ ბარათზე განსათავსებლად. თუ თქვენ უშვებთ შედარებით მსუბუქ ინფერენსს, გამოსახულებების სტანდარტულ გენერაციას ან დეველოპმენტ ამოცანებს, რომლებიც არ საჭიროებს 140 GB მეხსიერებას, უფრო პატარა workstation ან სამომხმარებლო GPU უფრო პრაქტიკული არჩევანია.
H200 NVL vs მსგავსი ღრუბლოვანი GPU-ები
| GPU | VRAM თითოეულ GPU-ზე | FP32 გამოთვლები | სიმძლავრის ლიმიტი (TDP) | |
|---|---|---|---|---|
| NVIDIA H200 NVL | 140 GB | ≈ 48.3 TFLOPS | 600 W | |
| NVIDIA H100 NVL | 94 GB | ≈ 48.3 TFLOPS | 400 W | დეტალები → |
| NVIDIA H100 SXM | 80 GB | ≈ 53.5 TFLOPS | 700 W | დეტალები → |
| NVIDIA H100 PCIE | 80 GB | ≈ 41 TFLOPS | 350 W | დეტალები → |
| NVIDIA A800 PCIE | 80 GB | ≈ 15.6 TFLOPS | 300 W | დეტალები → |
H200 NVL ღრუბლოვანი GPU: ხშირად დასმული კითხვები
იქირავეთ H200 NVL ღრუბლოვანი GPU საათობრივად
აირჩიეთ შაბლონი, შეარჩიეთ ხელმისაწვდომი კონფიგურაცია და დაუკავშირდით SSH-ით ან ბრაუზერის ტერმინალით. გადახდა ჩერდება GPU-ის წაშლისთანავე.