Որքանո՞վ է H200 NVL-ն ավելի արագ, քան H100 NVL-ը:

Նշված բնութագրերով երկուսն էլ ունեն 48.3 TFLOPS FP32, սակայն H200 NVL-ն ունի 140 GB՝ 94 GB-ի փոխարեն, և 3884 GB/s՝ 3381 GB/s-ի փոխարեն: Հիշողության թողունակությունից կախված (memory-bound) LLM առաջադրանքներն առավելագույնս են շահում, իսկ զուտ հաշվարկային առաջադրանքներում տարբերությունը չնչին է:

Արդյո՞ք 70B մոդելը տեղավորվում է 16-bit-ով H200 NVL-ի վրա:

Հազիվ. 70B-ի քաշերը 16-bit-ում զբաղեցնում են մոտ 140 GB, ինչը գրեթե տեղ չի թողնում KV cache-ի համար: Գործնականում աշխատեցրեք 70B-ն 8-bit կամ FP8 տիպի քվանտավորմամբ (quantization) և մնացած հիշողությունն օգտագործեք կոնտեքստի համար:

Ո՞ւմ է հարմար վարձակալել H200 NVL՝ երկու ավելի փոքր GPU-ների փոխարեն:

Այն թիմերը, որոնց մոդելը տեղավորվում է մեկ 140 GB քարտի վրա, խուսափում են tensor-parallel կարգավորումներից, GPU-ների միջև տրաֆիկից և multi-GPU վրիպազերծումից (debugging): Մեկ մեծ GPU-ն հաճախ ավելի պարզ է և ավելի արագ է թույլ տալիս աշխատել:

Ինչպե՞ս վարձակալել H200 NVL Cloudj-ում:

Ընտրեք ձևանմուշ, ընտրեք H200 NVL կոնֆիգուրացիան հասանելի տարբերակներից, հաստատեք գինը և ստեղծեք սերվերը ձեր հաշվեկշռից: Միացեք SSH-ով կամ բրաուզերի տերմինալով:

GPU Cloud · NVIDIA · Hopper

Վարձեք NVIDIA H200 NVL GPU 140 GB VRAM-ով

Վարձակալեք H200 NVL ամպային GPU սերվերներ ըստ ժամավճարի Cloudj-ում՝ 140 GB VRAM, NVIDIA Hopper և շուրջ 3884 GB/s հիշողության թողունակություն՝ մեր շարքի ամենամեծ հիշողությամբ GPU-ն: Այն նախատեսված է այն թիմերի համար, որոնք աշխատեցնում են 70B դասի մոդելներ բարձր ճշգրտությամբ կամ շատ երկար կոնտեքստներով՝ 48.3 TFLOPS FP32 հզորությամբ և 600 W էներգասպառման սահմանաչափով: Ընտրեք vLLM կամ SGLang ձևանմուշ, ընտրեք ակտիվ H200 NVL կոնֆիգուրացիան և միացեք SSH-ով:

Վարձակալել H200 NVL Բոլոր GPU-ները

H200 NVL-ի տեխնիկական բնութագրերը

VRAM յուրաքանչյուր GPU-ի համար

140 GB

Ճարտարապետություն

NVIDIA Hopper

Հաշվողական հնարավորություն

FP32 հաշվարկներ

≈ 48.3 TFLOPS

Հիշողության թողունակություն

≈ 3884 GB/s

Էներգասպառման սահմանաչափ

600 W

Ներկայացված մեքենաների համար ենթակառուցվածքի մատակարարի նշած արժեքները. իրական արտադրողականությունը կարող է տարբերվել ըստ մեքենայի:

Առկա H200 NVL կոնֆիգուրացիաներ և գներ

Առկայություն և գներ իրական ժամանակում՝ մշտական թարմացմամբ: Վերջնական արժեքը հաստատվում է պատվիրելուց առաջ:

Վարձակալել հիմա

Ինչ կարող եք գործարկել H200 NVL ամպային GPU-ով

70B դասի մոդելներ՝ գրեթե լրիվ ճշգրտությամբ

140 GB-ը թույլ է տալիս մեկ GPU-ի վրա տեղավորել 70B մոդելը 8-bit-ով՝ մեծ KV cache-ով, կամ 16-bit-ի ծավալին մոտ:

Երկար կոնտեքստների սպասարկում

3884 GB/s-ը ապահովում է արագ դեկոդավորում, մինչդեռ լրացուցիչ հիշողությունը տեղավորում է երկար prompt-եր և բազմաթիվ զուգահեռ սեսիաներ:

70B մոդելների fine-tuning QLoRA-ով

Աշխատեցրեք 70B QLoRA-ն ավելի երկար հաջորդականություններով և ավելի մեծ batch-երով, քան թույլ է տալիս 80 GB քարտը:

Mixture-of-experts փորձարկումներ

MoE մոդելներն ունեն մեծ ընդհանուր քաշեր. 140 GB-ը թույլ է տալիս բեռնել փորձագետների ավելի մեծ հավաքածուներ թեստավորման համար՝ առանց sharding-ի:

Արդյո՞ք H200 NVL-ը ճիշտ GPU է ձեր ծանրաբեռնվածության համար

Ընտրեք H200 NVL-ը, երբ ձեր հիմնական խոչընդոտը VRAM-ի ծավալն ու հիշողության թողունակությունն են, հատկապես՝ մեծ մոդելները մեկ քարտի վրա հոսթինգ անելու համար: Եթե աշխատեցնում եք ավելի թեթև ինֆերենս (inference), ստանդարտ պատկերների գեներացիա կամ ծրագրավորման առաջադրանքներ, որոնք չեն պահանջում 140 GB հիշողություն, ապա ավելի փոքր աշխատանքային կայանի (workstation) կամ սպառողական GPU-ն ավելի գործնական ընտրություն է:

H200 NVL-ն ընդդեմ նմանատիպ ամպային GPU-ների

GPU	VRAM յուրաքանչյուր GPU-ի համար	FP32 հաշվարկներ	Էներգասպառման սահմանաչափ
NVIDIA H200 NVL	140 GB	≈ 48.3 TFLOPS	600 W
NVIDIA H100 NVL	94 GB	≈ 48.3 TFLOPS	400 W	Մանրամասներ →
NVIDIA H100 SXM	80 GB	≈ 53.5 TFLOPS	700 W	Մանրամասներ →
NVIDIA H100 PCIE	80 GB	≈ 41 TFLOPS	350 W	Մանրամասներ →
NVIDIA A800 PCIE	80 GB	≈ 15.6 TFLOPS	300 W	Մանրամասներ →

H200 NVL ամպային GPU. հաճախ տրվող հարցեր

Վարձակալեք H200 NVL ամպային GPU-ն ժամավճարով

Ընտրեք ձևանմուշը, ընտրեք հասանելի կոնֆիգուրացիան և միացեք SSH-ի կամ բրաուզերի տերմինալի միջոցով: Գանձումը դադարում է GPU-ն ջնջելու պահից:

Վարձակալել H200 NVL Բոլոր GPU-ները