Manofa GPU NVIDIA H200 NVL misy VRAM 140 GB
Manofà serviera cloud GPU H200 NVL isan'ora ao amin'ny Cloudj: 140 GB VRAM, NVIDIA Hopper ary memory bandwidth manodidina ny 3884 GB/s, ny GPU manana fahatsiarovana lehibe indrindra amin'ny tolotray. Namboarina ho an'ireo ekipa mampiasa maodely sokajy 70B amin'ny fahitsiana avo lenta na context tena lava izy io, miaraka amin'ny 48.3 TFLOPS FP32 sy fetran-kery 600 W. Mifidiana template vLLM na SGLang, fidio ny fikirakirana H200 NVL mivantana ary mifandraisa amin'ny alalan'ny SSH.
Toetoetra ara-teknikan'ny H200 NVL
VRAM isaky ny GPU
140 GB
Maritrano
NVIDIA Hopper
Fahaiza-mikajy (Compute capability)
9
Kajy FP32
≈ 48.3 TFLOPS
Bandwidth'ny fitadidiana
≈ 3884 GB/s
Fetra herinaratra (TDP)
600 W
Sanda nambaran'ny mpamatsy fotodrafitrasa ho an'ny milina voatanisa ankehitriny; miovaova arakaraka ny milina ny fahaiza-miasa tena izy.
Fikirakirana sy vidin'ny H200 NVL misy ankehitriny
Tahiry sy vidiny mivantana, havaozina hatrany. Hamafisina alohan'ny hanafatra ny vidiny farany.
Manofà dieny izaoIzay azonao alefa amin'ny cloud GPU H200 NVL
Maodely sokajy 70B saika amin'ny fahitsiana feno
Mahazaka maodely 70B amin'ny 8-bit miaraka amin'ny KV cache lehibe, na manakaiky ny haben'ny 16-bit, amin'ny GPU tokana ny 140 GB.
Fampandehanana amin'ny context lava
Mitazona ny decoding ho haingana ny 3884 GB/s raha toa ka mahazaka prompt lava sy session mifanitsy maro ny fahatsiarovana fanampiny.
Fine-tuning maodely 70B miaraka amin'ny QLoRA
Alefaso amin'ny filaharana lavitra kokoa sy batch lehibe kokoa noho izay zakan'ny karatra 80 GB ny QLoRA 70B.
Andrana Mixture-of-experts
Manana lanja manontolo lehibe ny maodely MoE; mamela anao hampiditra fitambaran'ny expert lehibe kokoa hanaovana fitiliana tsy mila sharding ny 140 GB.
Moa ve ny H200 NVL no GPU sahaza indrindra ho an'ny asanao?
Fidio ny H200 NVL rehefa ny fahafahan'ny VRAM sy ny memory bandwidth no tena sakana voalohany ho anao, indrindra amin'ny fampiantranoana maodely lehibe amin'ny karatra tokana. Raha toa ka manao inference maivana kokoa, famoronana sary mahazatra, na asa fampandrosoana tsy mila fahatsiarovana 140 GB ianao, safidy azo ampiharina kokoa ny GPU workstation kely kokoa na GPU ho an'ny mpanjifa tsotra.
H200 NVL ampitahaina amin'ireo cloud GPU mitovitovy aminy
| GPU | VRAM isaky ny GPU | Kajy FP32 | Fetra herinaratra (TDP) | |
|---|---|---|---|---|
| NVIDIA H200 NVL | 140 GB | ≈ 48.3 TFLOPS | 600 W | |
| NVIDIA H100 NVL | 94 GB | ≈ 48.3 TFLOPS | 400 W | Antsipiriany → |
| NVIDIA H100 SXM | 80 GB | ≈ 53.5 TFLOPS | 700 W | Antsipiriany → |
| NVIDIA H100 PCIE | 80 GB | ≈ 41 TFLOPS | 350 W | Antsipiriany → |
| NVIDIA A800 PCIE | 80 GB | ≈ 15.6 TFLOPS | 300 W | Antsipiriany → |
Cloud GPU H200 NVL: Fanontaniana matetika apetraka
Manofà cloud GPU H200 NVL aloa isan'ora
Misafidiana modely, fidio ny fikirakirana tianao, ary mifandraisa amin'ny alalan'ny SSH na ny terminal anaty navigateur. Mijanona avy hatrany ny fandoavam-bola rehefa voafafanao ilay GPU.