Yá GPU NVIDIA H100 PCIE pẹ̀lú 80 GB VRAM
Gba awọn GPU H100 PCIE lẹ́yà fún wákàtí kọ̀ọ̀kan lórí Cloudj: 80 GB VRAM lórí NVIDIA Hopper, nǹkan bí 41 TFLOPS FP32 àti 1760 GB/s memory bandwidth fún ìdánilẹ́kọ̀ọ́ àti LLM inference. Ó jẹ́ ojú ọ̀nà àbáwọlé sí Hopper fún àwọn ẹgbẹ́ AI tí wọ́n fẹ́ 80 GB lórí káàdì kan ṣoṣo pẹ̀lú ààlà agbára iná 350 W. Yan tẹmpiléti PyTorch, vLLM tàbí Unsloth kan, fọwọ́sí àtòjọ H100 PCIE tí ó wà lórí ayélujára, kí o sì sopọ̀ nípasẹ̀ SSH.
Àwọn ànímọ́ ẹ̀rọ H100 PCIE
VRAM fún GPU kọ̀ọ̀kan
80 GB
Àgbékalẹ̀
NVIDIA Hopper
Agbára ìṣirò
9
Ìṣirò FP32
≈ 41 TFLOPS
Ìwọ̀n ìgbéjáde ìrántí
≈ 1760 GB/s
Ààlà agbára iná
350 W
Àwọn iye tí olùpèsè àwọn ohun-èlò kọ̀mpútà jábọ̀ fún àwọn ẹ̀rọ tí ó wà lórí àtòjọ báyìí; iṣẹ́ gidi máa ń yàtọ̀ nípasẹ̀ ẹ̀rọ kọ̀ọ̀kan.
Àwọn ìṣètò H100 PCIE lọ́wọ́lọ́wọ́ àti àwọn iye owó wọn
Ọjà àti iye owó tààrà, tí a ń sọ dọ̀tun ní gbogbo ìgbà. A ó fìdí iye owó ìkẹyìn múlẹ̀ kí o tó béèrè.
Gbà á láyà báyìíÀwọn ohun tí o lè gbé ṣiṣẹ́ lórí cloud GPU H100 PCIE
Fine-tuning àwọn àwòṣe 13B–34B
80 GB gbà LoRA lórí àwọn àwòṣe irúfẹ́ 30B nínú BF16 àti QLoRA lórí àwọn àwòṣe irúfẹ́ 70B pẹ̀lú Unsloth.
Pípèsè àwọn àwòṣe 70B tí a ti quantized
Gbà àwòṣe 4-bit 70B lálejò pẹ̀lú vLLM tàbí SGLang lórí GPU kan ṣoṣo, kí o baà lè yẹra fún multi-GPU sharding ní àsìkò ìgbìyànjú àkọ́bẹ̀rẹ̀.
Ìdánilẹ́kọ̀ọ́ mixed-precision
Dán àwọn àwòṣe transformers àti diffusion lẹ́kọ̀ọ́ láti ìbẹ̀rẹ̀ pátápátá tàbí kí o tẹ̀síwájú nínú pre-training lórí Hopper pẹ̀lú compute capability 9.0.
Ìwádìí àwòṣe fídíò àti àwòrán
Ṣiṣẹ́ pẹ̀lú àwọn àwòṣe ńlá ti diffusion àti ìṣẹ̀dá fídíò nínú ComfyUI tí wọ́n nílò memory púpọ̀ ju káàdì consumer èyíkéyìí lọ.
Ǹjẹ́ H100 PCIE ni GPU tí ó tọ́ fún irú iṣẹ́ rẹ?
Yan H100 PCIE nígbà tí àwọn iṣẹ́ rẹ bá nílò 80 GB VRAM, memory bandwidth onípò datacenter, àti àwọn àbùdá Hopper compute capability 9.0. Fún inference tí kò wúwo tàbí àwọn àwòṣe kékèké, workstation tàbí consumer GPU pẹ̀lú VRAM díẹ̀ jẹ́ èyí tó fi owó pamọ́ jù, nígbà tí àwọn ìbéèrè throughput tó ga púpọ̀ lè nílò oríṣi datacenter tí a gbé karí SXM.
H100 PCIE ní àfiwé pẹ̀lú àwọn cloud GPU tó jọra
| GPU | VRAM fún GPU kọ̀ọ̀kan | Ìṣirò FP32 | Ààlà agbára iná | |
|---|---|---|---|---|
| NVIDIA H100 PCIE | 80 GB | ≈ 41 TFLOPS | 350 W | |
| NVIDIA H100 SXM | 80 GB | ≈ 53.5 TFLOPS | 700 W | Àwọn ẹ̀kúnrẹ́rẹ́ → |
| NVIDIA A800 PCIE | 80 GB | ≈ 15.6 TFLOPS | 300 W | Àwọn ẹ̀kúnrẹ́rẹ́ → |
| NVIDIA H100 NVL | 94 GB | ≈ 48.3 TFLOPS | 400 W | Àwọn ẹ̀kúnrẹ́rẹ́ → |
| NVIDIA CMP 170HX | 64 GB | ≈ 12.1 TFLOPS | 250 W | Àwọn ẹ̀kúnrẹ́rẹ́ → |
Cloud GPU H100 PCIE: àwọn ìbéèrè tí a ń béèrè lemọ́lemọ́
Yá cloud GPU H100 PCIE ní wákàtí kọ̀ọ̀kan
Yan àkójọ àpẹẹrẹ kan, yan ìṣètò tó wà lójú ẹsẹ̀, kí o sì sopọ̀ nípasẹ̀ SSH tàbí terminal aṣàwárí rẹ. Ìṣirò owó yóò dáwọ́ dúró ní kété tí o bá pa GPU náà rẹ́.