რატომ უნდა ავირჩიოთ H100 SXM H100 PCIE-ს ნაცვლად?

H100 SXM-ს გააჩნია 53.5 TFLOPS FP32 და 2869 GB/s, PCIE ბარათის 41 TFLOPS და 1760 GB/s-ის წინააღმდეგ, 350 W-ის ნაცვლად 700 W ლიმიტით. თითოეულ ამოცანაზე ის, როგორც წესი, სამუშაოს უფრო სწრაფად ასრულებს.

რომელია უკეთესი LLM-ებისთვის: H100 SXM თუ H200 NVL?

H200 NVL-ს აქვს 140 GB და 3884 GB/s, ამიტომ ის იმარჯვებს ძალიან დიდი მოდელებისა და გრძელი კონტექსტებისთვის. H100 SXM-ს აქვს მეტი FP32 გამოთვლითი სიმძლავრე (53.5 vs 48.3 TFLOPS) და იდეალურად ერგება ტრენინგის ამოცანებს, რომლებიც 80 GB-ში ეტევა.

შემიძლია თუ არა 70B მოდელის fine-tuning ერთ H100 SXM-ზე?

QLoRA-ს მეშვეობით — დიახ: 4-bit 70B წონები იკავებს დაახლოებით 35–40 GB-ს, რაც ადგილს ტოვებს ადაპტერებისთვის, აქტივაციებისთვის და ოპტიმიზატორის მდგომარეობისთვის (optimizer state). 70B-ის სრული 16-bit fine-tuning მოითხოვს რამდენიმე GPU-ს.

რას ვიხდი, როდესაც H100 SXM სერვერი გაჩერებულია Cloudj-ზე?

საათობრივი გადახდისას გაჩერებული სერვერისთვის თანხა იჭრება მხოლოდ დისკის მოცულობაზე. წაშალეთ სერვერი თქვენი checkpoint-ების კოპირების შემდეგ და გადახდა სრულად შეგიწყდებათ.

GPU Cloud · NVIDIA · Hopper

იქირავეთ NVIDIA H100 SXM GPU 80 GB VRAM-ით

იქირავეთ H100 SXM ღრუბლოვანი GPU სერვერები საათობრივად Cloudj-ზე: 80 GB VRAM, NVIDIA Hopper, დაახლოებით 53.5 TFLOPS FP32 და 2869 GB/s მეხსიერების გამტარუნარიანობა. 700 W სიმძლავრის ლიმიტით, ეს H100 განკუთვნილია გუნდებისთვის, რომლებიც ავარჯიშებენ, fine-tuning-ს უკეთებენ და ამუშავებენ დიდ მოდელებს და სურთ ამ ხაზში გამოთვლებისთვის ყველაზე სწრაფი Hopper მოდული. გაუშვით PyTorch, vLLM ან Unsloth შაბლონი და დაუკავშირდით SSH-ით რამდენიმე ნაბიჯში.

იქირავეთ H100 SXM ყველა GPU

H100 SXM-ის სპეციფიკაციები

VRAM თითოეულ GPU-ზე

80 GB

არქიტექტურა

NVIDIA Hopper

Compute capability

FP32 გამოთვლები

≈ 53.5 TFLOPS

მეხსიერების გამტარობა

≈ 2869 GB/s

სიმძლავრის ლიმიტი (TDP)

700 W

მნიშვნელობები მოწოდებულია ინფრასტრუქტურის პროვაიდერის მიერ ამჟამად განთავსებული სერვერებისთვის; რეალური წარმადობა შეიძლება განსხვავდებოდეს კონკრეტული აპარატურის მიხედვით.

H100 SXM-ის მიმდინარე კონფიგურაციები და ფასები

მარაგები და ფასები განახლებადია რეალურ დროში. საბოლოო ფასის დადასტურება ხდება შეკვეთამდე.

იქირავეთ ახლავე

რა შეგიძლიათ გაუშვათ H100 SXM ღრუბლოვან GPU-ზე

გამოთვლებით დატვირთული ტრენინგი

53.5 TFLOPS FP32 და 700 W სიმძლავრის ლიმიტი H100 SXM-ს აქ წარმოდგენილ ნებისმიერ Hopper ბარათზე მეტ გამოთვლით სიმძლავრეს ანიჭებს.

სწრაფი LLM ინფერენსი

2869 GB/s გამტარუნარიანობა აჩქარებს ტოკენების გენერაციას 16-bit 13B–34B მოდელებისთვის ან დაკვანტული 70B მოდელებისთვის.

7B–13B მოდელების სრული fine-tuning

80 GB ოპტიმიზატორის სწორი პარამეტრებით იძლევა შესაძლებლობას მცირე LLM-ების სრული პარამეტრებით fine-tuning-ისთვის (full-parameter fine-tuning), და არა მხოლოდ ადაპტერებით.

დიფუზიური და ვიდეო მოდელების ტრენინგი

გაწვრთენით ან გააკეთეთ გამოსახულების და ვიდეო მოდელების fine-tuning, სადაც როგორც მეხსიერება, ისე გამოთვლითი სიმძლავრე განსაზღვრავს პროცესის ხანგრძლივობას.

არის თუ არა H100 SXM შესაფერისი GPU თქვენი დატვირთვისთვის?

აირჩიეთ H100 SXM, როდესაც თქვენი ტრენინგის ან ინფერენსის დატვირთვები მოითხოვს 80 GB მაღალი გამტარუნარიანობის მქონე დატაცენტრის მეხსიერებას და Hopper არქიტექტურის შესაძლებლობებს. უფრო მცირე სამუშაო სადგურის (workstation) ან სამომხმარებლო GPU უფრო პრაქტიკული არჩევანია მსუბუქი დეველოპმენტისთვის ან მცირე მოდელებისთვის, ხოლო უფრო ახალი ან უფრო დიდი ტევადობის დატაცენტრის GPU უმჯობესია, თუ ერთ ინსტანსს არ შეუძლია მთელი თქვენი მოდელის 80 GB VRAM-ში განთავსება.

H100 SXM vs მსგავსი ღრუბლოვანი GPU-ები

GPU	VRAM თითოეულ GPU-ზე	FP32 გამოთვლები	სიმძლავრის ლიმიტი (TDP)
NVIDIA H100 SXM	80 GB	≈ 53.5 TFLOPS	700 W
NVIDIA H100 PCIE	80 GB	≈ 41 TFLOPS	350 W	დეტალები →
NVIDIA A800 PCIE	80 GB	≈ 15.6 TFLOPS	300 W	დეტალები →
NVIDIA H100 NVL	94 GB	≈ 48.3 TFLOPS	400 W	დეტალები →
NVIDIA CMP 170HX	64 GB	≈ 12.1 TFLOPS	250 W	დეტალები →

H100 SXM ღრუბლოვანი GPU: ხშირად დასმული კითხვები

იქირავეთ H100 SXM ღრუბლოვანი GPU საათობრივად

აირჩიეთ შაბლონი, შეარჩიეთ ხელმისაწვდომი კონფიგურაცია და დაუკავშირდით SSH-ით ან ბრაუზერის ტერმინალით. გადახდა ჩერდება GPU-ის წაშლისთანავე.

იქირავეთ H100 SXM ყველა GPU