94 GB VRAM менен NVIDIA H100 NVL GPU ижарага алыңыз
Cloudj платформасынан саатына төлөнүүчү H100 NVL булуттук GPU серверлерин ижарага алыңыз: чоң моделдердин инференси үчүн 94 GB VRAM, NVIDIA Hopper жана 3381 GB/s жакын эс тутум өткөрүмдүүлүгү. 80 GB H100 картасына караганда көбүрөөк эс тутумга жана алда канча ылдам декоддоого муктаж LLM командалары үчүн иштелип чыккан, ал 400 W кубаттуулук чегинде 48.3 TFLOPS FP32 өндүрүмдүүлүгүн камсыздайт. vLLM же SGLang шаблонун иштетиңиз, жеткиликтүү H100 NVL конфигурациясын тандаңыз жана SSH аркылуу туташыңыз.
H100 NVL мүнөздөмөлөрү
Бир GPUга VRAM
94 GB
Архитектурасы
NVIDIA Hopper
Эсептөө жөндөмдүүлүгү
9
FP32 эсептөө кубаттуулугу
≈ 48.3 TFLOPS
Эс тутумунун өткөрүмдүүлүгү
≈ 3381 GB/s
Кубаттуулук чеги
400 W
Көрсөткүчтөр тизмеде көрсөтүлгөн машиналар үчүн инфраструктура провайдери тарабынан берилген; чыныгы өндүрүмдүүлүк машинага жараша айырмаланышы мүмкүн.
Учурдагы H100 NVL конфигурациялары жана баалары
Учурдагы жеткиликтүүлүк жана баалар тынымсыз жаңыланып турат. Акыркы баа буйрутма берүүдөн мурун такталат.
Азыр ижарага алууH100 NVL булут GPU'сунда эмнелерди иштетсе болот
LLM моделдерин жогорку өткөрүмдүүлүктө тейлөө
3381 GB/s өткөрүмдүүлүк токендердин генерацияланышын тездетет, ал эми 94 GB квантталган 70B моделди жана чоң KV кэшти бир GPU'да кармоого мүмкүндүк берет.
Узун контекст жана RAG пайплайндары
80 GB картага салыштырмалуу кошумча 14 GB түз эле контексттин узундугуна жана бир убактагы суроо-талаптарды көбөйтүүгө жумшалат.
30B–70B моделдерин кошумча окутуу (fine-tuning)
Жалгыз Hopper GPU'сунда BF16 форматында 30B классындагы моделдерге LoRA же Unsloth менен 70B классындагы моделдерге QLoRA иштетиңиз.
Моделдерди масштабдуу баалоо
Чекпойнттор боюнча бенчмарк топтомдорун жана A/B баалоолорун тез жүргүзүңүз, андан кийин жыйынтыктар чыкканда серверди өчүрүп салыңыз.
H100 NVL сиздин жүктөмүңүзгө ылайыктуу GPUбу?
AI же эсептөөчү жүктөмдөрүңүз стандарттуу маалымат борбору карталары бергенден көбүрөөк эс тутумду (94 GB VRAM чейин) талап кылганда H100 NVL тандаңыз. Жеңил инференс жана иштеп чыгуу үчүн чакан жумушчу станция же колдонуучу GPU жакшыраак тандоо болот, ал эми моделдериңиз 94 GB ашса, көп GPU'луу конфигурация же чоңураак эс тутум деңгээли зарыл.
H100 NVL vs окшош булут GPU'лары
| GPU | Бир GPUга VRAM | FP32 эсептөө кубаттуулугу | Кубаттуулук чеги | |
|---|---|---|---|---|
| NVIDIA H100 NVL | 94 GB | ≈ 48.3 TFLOPS | 400 W | |
| NVIDIA H100 SXM | 80 GB | ≈ 53.5 TFLOPS | 700 W | Кененирээк → |
| NVIDIA H100 PCIE | 80 GB | ≈ 41 TFLOPS | 350 W | Кененирээк → |
| NVIDIA A800 PCIE | 80 GB | ≈ 15.6 TFLOPS | 300 W | Кененирээк → |
| NVIDIA CMP 170HX | 64 GB | ≈ 12.1 TFLOPS | 250 W | Кененирээк → |
H100 NVL булут GPU'су: көп берилүүчү суроолор
H100 NVL булут GPU'сун саатына ижарага алыңыз
Шаблонду тандаңыз, учурдагы конфигурацияны белгилеп, SSH же браузер терминалы аркылуу туташыңыз. Төлөм эсептөө GPU өчүрүлгөндө токтойт.