Kan A800 PCIE kjøre en 70B-modell?

Ja, kvantisert. 70B-vekter tar omtrent 35–40 GB i 4-bit, så de får plass i 80 GB med god klaring til kontekst. Å kjøre 70B i 16-bit krever rundt 140 GB, noe som gjør H200 NVL til et mer naturlig valg.

Hvordan skiller A800 PCIE seg fra A100 PCIE?

Samme Ampere-generasjon og 15.6 TFLOPS FP32, men A800 PCIE leveres med 80 GB i stedet for 40 GB og 1598 GB/s i stedet for 1313 GB/s, slik at den har plass til større modeller og betjener dem litt raskere.

Bør jeg velge A800 PCIE eller H100 PCIE?

Begge har 80 GB. Den Hopper-baserte H100 PCIE byr på 41 TFLOPS FP32 og 1760 GB/s, så den er raskere per arbeidstime; A800 PCIE lønner seg når gjeldende pris er lavere og Ampere-ytelsen er tilstrekkelig.

Hvilke maler fungerer på A800 PCIE?

Maler for PyTorch, vLLM, SGLang, Ollama, Unsloth og ComfyUI oppgir minstekrav til CUDA-versjon og VRAM; Cloudj-konsollen viser kun maler som GPU-en faktisk kan kjøre.

GPU Cloud · NVIDIA · Ampere

Lei en NVIDIA A800 PCIE GPU med 80 GB VRAM

Lei A800 PCIE GPU-er på timebasis hos Cloudj: 80 GB VRAM på NVIDIA Ampere med omtrent 1598 GB/s minnebåndbredde, slik at LLM-er i 70B-klassen får plass på ett enkelt kort. Den er rettet mot AI-team som trenger det dobbelte av minnet til A100 40 GB for serving, finjustering og arbeid med lang kontekst, med 15.6 TFLOPS FP32 og en strømgrense på 300 W. Start fra en vLLM-, SGLang- eller Unsloth-mal og koble til over SSH.

Lei A800 PCIE Alle GPU-er

A800 PCIE-spesifikasjoner

VRAM per GPU

80 GB

Arkitektur

NVIDIA Ampere

Compute capability

FP32-ytelse

≈ 15.6 TFLOPS

Minnebåndbredde

≈ 1598 GB/s

Effektgrense (TDP)

300 W

Verdier oppgitt av infrastrukturleverandøren for maskiner som for øyeblikket er tilgjengelige; faktisk ytelse varierer fra maskin til maskin.

Tilgjengelige A800 PCIE-konfigurasjoner og priser

Lagerstatus og priser i sanntid, oppdateres fortløpende. Endelig pris bekreftes før du bestiller.

Lei nå

Hva du kan kjøre på A800 PCIE cloud GPU

70B-modeller på én enkelt GPU

Kjør serving av en 4-bit 70B-modell med ledig plass til KV-cache, eller en 30B–34B-modell i 16-bit, ved hjelp av vLLM eller SGLang.

Inferens med lang kontekst

80 GB gir god plass til lange ledetekster og mange samtidige sekvenser som ellers ville overskredet et 40 GB-kort.

Finjustering av mellomstore LLM-er

Kjør LoRA på 13B–34B-modeller i BF16 eller QLoRA på større modeller med Unsloth, uten behov for sharding på tvers av GPU-er.

Minnekrevende datavitenskap

Hold store tensorer, grafer eller egenskapsmatriser liggende i GPU-minnet for RAPIDS- eller PyTorch-arbeidsbelastninger.

Er A800 PCIE riktig GPU for din arbeidsbelastning?

Velg A800 PCIE når hovedkravet ditt er 80 GB minnekapasitet for storskala AI-modeller snarere enn rå regnekraft med enkel presisjon. Hvis arbeidsbelastningen din krever mindre minne, er en arbeidsstasjons- eller forbruker-GPU med lavere VRAM mer hensiktsmessig, mens beregningskrevende oppgaver kan dra nytte av nyere generasjoners datasenterarkitekturer.

A800 PCIE vs. lignende cloud-GPU-er

GPU	VRAM per GPU	FP32-ytelse	Effektgrense (TDP)
NVIDIA A800 PCIE	80 GB	≈ 15.6 TFLOPS	300 W
NVIDIA H100 PCIE	80 GB	≈ 41 TFLOPS	350 W	Detaljer →
NVIDIA H100 SXM	80 GB	≈ 53.5 TFLOPS	700 W	Detaljer →
NVIDIA H100 NVL	94 GB	≈ 48.3 TFLOPS	400 W	Detaljer →
NVIDIA CMP 170HX	64 GB	≈ 12.1 TFLOPS	250 W	Detaljer →

A800 PCIE cloud GPU: ofte stilte spørsmål

Lei A800 PCIE cloud GPU per time

Velg en mal, velg en tilgjengelig konfigurasjon og koble til via SSH eller terminalen i nettleseren. Faktureringen stopper når du sletter GPU-en.

Lei A800 PCIE Alle GPU-er