Kodi GPU ya NVIDIA H100 PCIE Yenye 80 GB VRAM
Kodi GPU za H100 PCIE kwa saa kwenye Cloudj: 80 GB VRAM kwenye NVIDIA Hopper, takriban 41 TFLOPS FP32 na kipimo data cha kumbukumbu cha 1760 GB/s kwa mafunzo na makisio ya LLM. Ndio mwanzo mwafaka wa kuelekea Hopper kwa timu za AI zinazotaka 80 GB kwenye kadi moja yenye kikomo cha umeme cha 350 W. Chagua kiolezo cha PyTorch, vLLM au Unsloth, thibitisha usanidi unaopatikana wa H100 PCIE kisha unganisha kupitia SSH.
Sifa za kiufundi za H100 PCIE
VRAM kwa kila GPU
80 GB
Usanifu
NVIDIA Hopper
Uwezo wa uchakataji
9
Uchakataji wa FP32
≈ 41 TFLOPS
Bandwidth ya kumbukumbu
≈ 1760 GB/s
Kikomo cha nishati
350 W
Thamani zilizoripotiwa na mtoa miundombinu kwa mashine zilizoorodheshwa sasa; utendaji halisi unatofautiana kulingana na mashine.
Usanidi wa moja kwa moja na bei za H100 PCIE
Upatikanaji na bei za moja kwa moja, zikisasishwa mfululizo. Bei ya mwisho inathibitishwa kabla ya kuagiza.
Kodi sasaUnachoweza kuendesha kwenye GPU ya wingu ya H100 PCIE
Kufanya fine-tuning kwa mifano ya 13B–34B
80 GB inatosha LoRA kwenye mifano ya kiwango cha 30B katika BF16 na QLoRA kwenye mifano ya kiwango cha 70B ukitumia Unsloth.
Kuhudumia mifano ya 70B quantized
Pangisha mfano wa 4-bit 70B ukitumia vLLM au SGLang kwenye GPU moja, ili uepuke mgawanyo wa kazi kwenye GPU nyingi (sharding) wakati wa kuunda mifano ya majaribio.
Mafunzo ya mixed-precision
Funza mifano ya transformer na diffusion kuanzia mwanzo au endeleza mafunzo ya awali (pre-training) kwenye Hopper yenye uwezo wa ukokotoaji wa 9.0.
Utafiti wa mifano ya video na picha
Endesha mifano mikubwa ya diffusion na utengenezaji wa video kwenye ComfyUI inayohitaji kumbukumbu kubwa zaidi kuliko kadi yoyote ya kawaida ya watumiaji.
Je, H100 PCIE ndiyo GPU sahihi kwa mzigo wako wa kazi?
Chagua H100 PCIE pale ambapo mizigo yako ya kazi inahitaji 80 GB ya VRAM, kipimo data cha kumbukumbu cha kiwango cha kituo cha data, na vipengele vya uwezo wa ukokotoaji wa Hopper 9.0. Kwa makisio mepesi au mifano midogo, GPU ya workstation au ya kawaida yenye VRAM ndogo ni ya kiuchumi zaidi, huku mahitaji makubwa zaidi ya matokeo ya kazi yakiweza kuhitaji toleo la kituo cha data lenye msingi wa SXM.
H100 PCIE dhidi ya GPU za wingu zinazofanana
GPU ya wingu ya H100 PCIE: maswali yanayoulizwa mara kwa mara
Kodi GPU ya wingu ya H100 PCIE kwa saa
Chagua kiolezo, teua usanidi wa moja kwa moja na uunganishe kupitia SSH au terminal ya kivinjari. Malipo hukoma mara unapofuta GPU.