Getur A800 PCIE keyrt 70B líkan?

Já, sé það þjappað (quantized). Vigtir 70B líkans taka um 35–40 GB í 4-bitum, svo þær komast vel fyrir í 80 GB með afgangsplássi fyrir samhengi. Að keyra 70B í 16-bitum krefst um 140 GB, sem kallar frekar á H200 NVL.

Hver er munurinn á A800 PCIE og A100 PCIE?

Sama Ampere kynslóð og 15.6 TFLOPS FP32, en A800 PCIE kemur með 80 GB í stað 40 GB og 1598 GB/s í stað 1313 GB/s, þannig að það ræður við stærri líkön og þjónar fyrirspurnum aðeins hraðar.

Ætti ég að velja A800 PCIE eða H100 PCIE?

Bæði bjóða upp á 80 GB. Hopper-byggða H100 PCIE bætir við 41 TFLOPS FP32 og 1760 GB/s, þannig að það vinnur hraðar á hverja klukkustund; A800 PCIE borgar sig þegar tímagjaldið er lægra og hraði Ampere dugar verkefninu.

Hvaða sniðmát virka á A800 PCIE?

PyTorch, vLLM, SGLang, Ollama, Unsloth og ComfyUI sniðmát sýna lágmarkskröfur um CUDA útgáfu og VRAM; stjórnborð Cloudj býður aðeins upp á sniðmát sem skjákortið ræður við.

GPU Cloud · NVIDIA · Ampere

Leigðu NVIDIA A800 PCIE GPU með 80 GB VRAM

Leigðu A800 PCIE skjákort (GPU) með tímagjaldi á Cloudj: 80 GB VRAM á NVIDIA Ampere arkitektúr með um 1598 GB/s minnishraða, svo 70B stór mállíkön (LLM) komast fyrir á einu korti. Hannað fyrir gervigreindarteymi sem þurfa tvöfalt meira vinnsluminni en A100 40 GB býður upp á fyrir vinnslu, fínstillingu og vinnu með langan samhengisglugga, með 15.6 TFLOPS FP32 reikniafl og 300 W orkunotkun. Byrjaðu með forstilltu vLLM, SGLang eða Unsloth sniðmáti og tengstu með SSH.

Leigja A800 PCIE Öll GPU

Tæknilýsing fyrir A800 PCIE

VRAM á hvert GPU

80 GB

Arkitektúr

NVIDIA Ampere

Reiknigeta

FP32-reiknigeta

≈ 15.6 TFLOPS

Bandvídd minnis

≈ 1598 GB/s

Aflmörk

300 W

Gildi gefin upp af innviðaveitanda fyrir vélar sem nú eru á skrá; raunveruleg afköst eru breytileg eftir vélum.

Virkar A800 PCIE uppsetningar og verð

Rauntímabirgðir og verð, uppfært stöðugt. Lokaverð er staðfest áður en þú pantar.

Leigja núna

Hvað þú getur keyrt á A800 PCIE skýja-GPU

70B líkön á einu skjákorti

Keyrðu 4-bita 70B líkan með nægu plássi fyrir KV skyndiminni, eða 30B–34B líkön í 16-bitum með vLLM eða SGLang.

Ályktun með langan samhengisglugga

80 GB rými gefur nægt pláss fyrir langar fyrirspurnir og margar samtímis keyrslur sem myndu fylla 40 GB kort.

Fínstilling á millistórum mállíkönum

Keyrðu LoRA á 13B–34B líkönum í BF16 eða QLoRA á stærri líkönum með Unsloth, án þess að skipta líkaninu milli margra skjákorta.

Gagnafræði sem krefst mikils vinnsluminnis

Haltu stórum fylkjum, línuritum eða einkennatöflum beint í minni skjákortsins fyrir RAPIDS eða PyTorch vinnsluálag.

Er A800 PCIE rétta GPU-kortið fyrir þitt vinnuálag?

Veldu A800 PCIE þegar aðalþörfin er 80 GB minnisrými fyrir umfangsmikil gervigreindarlíkön fremur en hrátt reikniafl í stakri nákvæmni. Ef vinnsluálagið rúmast í minna minni hentar vinnustöðva- eða neytendaskjákort með minna VRAM betur, en reiknifrekt vinnsluálag getur nýtt nýrri kynslóðir gagnaveraarkitektúrs.

A800 PCIE samanborið við svipuð skýja-GPU

GPU	VRAM á hvert GPU	FP32-reiknigeta	Aflmörk
NVIDIA A800 PCIE	80 GB	≈ 15.6 TFLOPS	300 W
NVIDIA H100 PCIE	80 GB	≈ 41 TFLOPS	350 W	Skoða nánar →
NVIDIA H100 SXM	80 GB	≈ 53.5 TFLOPS	700 W	Skoða nánar →
NVIDIA H100 NVL	94 GB	≈ 48.3 TFLOPS	400 W	Skoða nánar →
NVIDIA CMP 170HX	64 GB	≈ 12.1 TFLOPS	250 W	Skoða nánar →

A800 PCIE skýja-GPU: Algengar spurningar

Leigðu A800 PCIE skýja-GPU á klukkustund

Veldu sniðmát, veldu virka uppsetningu og tengstu með SSH eða skipanalínu í vafra. Gjaldtaka stöðvast þegar þú eyðir GPU-kortinu.

Leigja A800 PCIE Öll GPU