Yá GPU NVIDIA H100 NVL pẹ̀lú 94 GB VRAM
Bá H100 NVL cloud GPU sáfà lálẹ́lọ́wọ́ ní wákàtí-wákàtí lórí Cloudj: 94 GB VRAM, NVIDIA Hopper àti ìwọ̀n ìgbékalẹ̀ ìrántí tó tó 3381 GB/s fún ìlò àwọn àwòṣe ńlá (large-model inference). A kọ́ ọ fún àwọn ẹgbẹ́ LLM tí wọ́n nílò agbára ìrántí tó pọ̀ ju 80 GB H100 lọ àti ìyára decoding tó ga gidigidi, ó ń pèsè 48.3 TFLOPS FP32 ní ìwọ̀n iná 400 W. Bẹ̀rẹ̀ pẹ̀lú àwòṣe vLLM tàbí SGLang, yan ètò H100 NVL tó ń ṣiṣẹ́ lọ́wọ́ kí o sì so pọ̀ lórí SSH.
Àwọn ànímọ́ ẹ̀rọ H100 NVL
VRAM fún GPU kọ̀ọ̀kan
94 GB
Àgbékalẹ̀
NVIDIA Hopper
Agbára ìṣirò
9
Ìṣirò FP32
≈ 48.3 TFLOPS
Ìwọ̀n ìgbéjáde ìrántí
≈ 3381 GB/s
Ààlà agbára iná
400 W
Àwọn iye tí olùpèsè àwọn ohun-èlò kọ̀mpútà jábọ̀ fún àwọn ẹ̀rọ tí ó wà lórí àtòjọ báyìí; iṣẹ́ gidi máa ń yàtọ̀ nípasẹ̀ ẹ̀rọ kọ̀ọ̀kan.
Àwọn ìṣètò H100 NVL lọ́wọ́lọ́wọ́ àti àwọn iye owó wọn
Ọjà àti iye owó tààrà, tí a ń sọ dọ̀tun ní gbogbo ìgbà. A ó fìdí iye owó ìkẹyìn múlẹ̀ kí o tó béèrè.
Gbà á láyà báyìíÀwọn ohun tí o lè gbé ṣiṣẹ́ lórí cloud GPU H100 NVL
Ìṣiṣẹ́ LLM tó lágbára gan-an (High-throughput LLM serving)
Ìwọ̀n 3381 GB/s ń mú kí ìpèsè token yára sí i, bẹ́ẹ̀ sì ni 94 GB ń gba àwòṣe quantized 70B pẹ̀lú àkójọpọ̀ KV cache ńlá lórí GPU kan ṣoṣo.
Àwọn ètò Long-context àti RAG
Àfikún 14 GB lórí káàdì 80 GB ń lọ tààrà sínú gígùn àkóónú (context length) àti àwọn ìbéèrè tó ń wọlé lẹ́ẹ̀kan náà.
Fífún àwọn àwòṣe 30B–70B ní ẹ̀kọ́ àfikún (Fine-tuning)
Lo LoRA lórí àwọn àwòṣe ìpele 30B ní BF16 tàbí QLoRA lórí àwọn àwòṣe 70B pẹ̀lú Unsloth lórí GPU Hopper kan ṣoṣo.
Ìṣàyẹ̀wò àwòṣe ní ìwọ̀n ńlá (Model evaluation at scale)
Ṣe àwọn àdánwò benchmark àti ìṣàyẹ̀wò A/B kọjá àwọn checkpoint ní kíákíá, lẹ́yìn náà pa sáfà náà rẹ́ nígbà tí àwọn àbájáde bá jáde.
Ǹjẹ́ H100 NVL ni GPU tí ó tọ́ fún irú iṣẹ́ rẹ?
Yan H100 NVL nígbà tí iṣẹ́ AI tàbí ìṣirò rẹ bá nílò agbára ìrántí tó ga ju ti àwọn káàdì datacenter lásán lọ, títí dé 94 GB VRAM. Sáfà GPU kékeré ti ibiṣẹ́ tàbí ti oníbàárà ló dára jù fún ìlò fúyẹ́ àti ìdàgbàsókè (development), nígbà tí ètò ọ̀pọ̀-GPU (multi-GPU) tàbí ìpele ìrántí tó tóbi jù bẹ́ẹ̀ lọ yóò jẹ́ dandan bí àwọn àwòṣe rẹ bá kọjá 94 GB.
H100 NVL ní àfiwé pẹ̀lú àwọn cloud GPU tó jọra
| GPU | VRAM fún GPU kọ̀ọ̀kan | Ìṣirò FP32 | Ààlà agbára iná | |
|---|---|---|---|---|
| NVIDIA H100 NVL | 94 GB | ≈ 48.3 TFLOPS | 400 W | |
| NVIDIA H100 SXM | 80 GB | ≈ 53.5 TFLOPS | 700 W | Àwọn ẹ̀kúnrẹ́rẹ́ → |
| NVIDIA H100 PCIE | 80 GB | ≈ 41 TFLOPS | 350 W | Àwọn ẹ̀kúnrẹ́rẹ́ → |
| NVIDIA A800 PCIE | 80 GB | ≈ 15.6 TFLOPS | 300 W | Àwọn ẹ̀kúnrẹ́rẹ́ → |
| NVIDIA CMP 170HX | 64 GB | ≈ 12.1 TFLOPS | 250 W | Àwọn ẹ̀kúnrẹ́rẹ́ → |
Cloud GPU H100 NVL: àwọn ìbéèrè tí a ń béèrè lemọ́lemọ́
Yá cloud GPU H100 NVL ní wákàtí kọ̀ọ̀kan
Yan àkójọ àpẹẹrẹ kan, yan ìṣètò tó wà lójú ẹsẹ̀, kí o sì sopọ̀ nípasẹ̀ SSH tàbí terminal aṣàwárí rẹ. Ìṣirò owó yóò dáwọ́ dúró ní kété tí o bá pa GPU náà rẹ́.