Վարձեք NVIDIA H100 NVL GPU 94 GB VRAM-ով
Վարձակալեք H100 NVL ամպային GPU սերվերներ ժամավճարով Cloudj-ում՝ 94 GB VRAM, NVIDIA Hopper և շուրջ 3381 GB/s հիշողության թողունակություն մեծ մոդելների ինֆերենսի համար: Ստեղծված է LLM թիմերի համար, որոնց անհրաժեշտ է 80 GB H100-ից ավելի շատ հիշողություն և զգալիորեն ավելի արագ դեկոդավորում. այն ապահովում է 48.3 TFLOPS FP32՝ 400 W հզորության սահմանաչափով: Գործարկեք vLLM կամ SGLang ձևանմուշը, ընտրեք ակտիվ H100 NVL կոնֆիգուրացիան և միացեք SSH-ով:
H100 NVL-ի տեխնիկական բնութագրերը
VRAM յուրաքանչյուր GPU-ի համար
94 GB
Ճարտարապետություն
NVIDIA Hopper
Հաշվողական հնարավորություն
9
FP32 հաշվարկներ
≈ 48.3 TFLOPS
Հիշողության թողունակություն
≈ 3381 GB/s
Էներգասպառման սահմանաչափ
400 W
Ներկայացված մեքենաների համար ենթակառուցվածքի մատակարարի նշած արժեքները. իրական արտադրողականությունը կարող է տարբերվել ըստ մեքենայի:
Առկա H100 NVL կոնֆիգուրացիաներ և գներ
Առկայություն և գներ իրական ժամանակում՝ մշտական թարմացմամբ: Վերջնական արժեքը հաստատվում է պատվիրելուց առաջ:
Վարձակալել հիմաԻնչ կարող եք գործարկել H100 NVL ամպային GPU-ով
Բարձր թողունակությամբ LLM սերվինգ
3381 GB/s թողունակությունն արագացնում է թոքենների գեներացումը, իսկ 94 GB-ը թույլ է տալիս քվանտավորված 70B մոդելը մեծ KV քեշի հետ միասին պահել մեկ GPU-ի վրա:
Երկար կոնտեքստ և RAG փայփլայններ
80 GB քարտի համեմատ հավելյալ 14 GB-ն անմիջապես ուղղվում է կոնտեքստի երկարությանը և միաժամանակյա հարցումներին:
30B–70B մոդելների fine-tuning
Գործարկեք LoRA 30B դասի մոդելների վրա BF16-ով կամ QLoRA 70B դասի մոդելների վրա Unsloth-ով՝ մեկ Hopper GPU-ի վրա:
Մոդելների գնահատում մեծ մասշտաբով
Արագ գործարկեք բենչմարքերի փաթեթներ և A/B գնահատումներ տարբեր checkpoint-ների միջև, ապա ջնջեք սերվերը, երբ արդյունքներն արդեն ստացված են:
Արդյո՞ք H100 NVL-ը ճիշտ GPU է ձեր ծանրաբեռնվածության համար
Ընտրեք H100 NVL-ը, երբ ձեր AI կամ հաշվողական ծանրաբեռնվածությունները պահանջում են ավելի շատ հիշողություն, քան տրամադրում են ստանդարտ դատա-կենտրոնային քարտերը՝ մինչև 94 GB VRAM: Ավելի փոքր աշխատանքային կայանի կամ սպառողական GPU-ն ավելի լավ ընտրություն է թեթև ինֆերենսի և մշակման համար, իսկ multi-GPU կարգավորումը կամ հիշողության ավելի մեծ մակարդակն անհրաժեշտ են, եթե ձեր մոդելները գերազանցում են 94 GB-ը:
H100 NVL-ն ընդդեմ նմանատիպ ամպային GPU-ների
| GPU | VRAM յուրաքանչյուր GPU-ի համար | FP32 հաշվարկներ | Էներգասպառման սահմանաչափ | |
|---|---|---|---|---|
| NVIDIA H100 NVL | 94 GB | ≈ 48.3 TFLOPS | 400 W | |
| NVIDIA H100 SXM | 80 GB | ≈ 53.5 TFLOPS | 700 W | Մանրամասներ → |
| NVIDIA H100 PCIE | 80 GB | ≈ 41 TFLOPS | 350 W | Մանրամասներ → |
| NVIDIA A800 PCIE | 80 GB | ≈ 15.6 TFLOPS | 300 W | Մանրամասներ → |
| NVIDIA CMP 170HX | 64 GB | ≈ 12.1 TFLOPS | 250 W | Մանրամասներ → |
H100 NVL ամպային GPU. հաճախ տրվող հարցեր
Վարձակալեք H100 NVL ամպային GPU-ն ժամավճարով
Ընտրեք ձևանմուշը, ընտրեք հասանելի կոնֆիգուրացիան և միացեք SSH-ի կամ բրաուզերի տերմինալի միջոցով: Գանձումը դադարում է GPU-ն ջնջելու պահից: