A100 SXM4 eller A100 PCIE: Hvilken skal jeg vælge?

De angivne specifikationer for hukommelse, FP32 og båndbredde er de samme: 40 GB, 15.6 TFLOPS og 1313 GB/s. SXM4 kører ved 400 W i stedet for 250 W, så vælg den til vedvarende tunge opgaver, og vælg PCIE-kortet, hvis begge opfylder dine behov, og du ønsker det billigste tilgængelige tilbud.

Er 40 GB nok til at finjustere en 70B-model?

Ikke uden problemer. 40 GB klarer LoRA på 7B–13B-modeller og QLoRA på mellemstore modeller. Til finjustering i 70B-klassen bør du kigge på kort med 80 GB eller mere, såsom H100 SXM eller H200 NVL.

Understøtter A100 SXM4 BF16?

Ja. Ampere med compute capability 8.0 understøtter BF16, som er standardpræcisionen for de fleste aktuelle opskrifter på LLM-træning og -finjustering.

Hvordan afregnes en A100 SXM4-server hos Cloudj?

Timebaserede servere afregnes pr. time fra din kontosaldo, mens de kører; en stoppet timebaseret server betaler kun for sin diskplads. Månedlige og længere afregningsperioder tilbydes også, hvor eventuelle rabatter vises, inden du betaler.

GPU Cloud · NVIDIA · Ampere

Lej en NVIDIA A100 SXM4 GPU med 40 GB VRAM

Lej A100 SXM4-GPU'er på timebasis hos Cloudj: 40 GB VRAM på NVIDIA Ampere med cirka 1313 GB/s hukommelsesbåndbredde og en 400 W effektgrænse til vedvarende AI-arbejde. Bygget til teams, der kører tunge trænings- eller serving-opgaver og ønsker SXM-modulets termiske overskud, tilbyder den 15.6 TFLOPS FP32 og compute capability 8.0. Vælg en aktiv A100 SXM4-konfiguration, start ud fra en PyTorch- eller vLLM-skabelon, og opret forbindelse via SSH.

Lej A100 SXM4 Alle GPU'er

A100 SXM4-specifikationer

VRAM pr. GPU

40 GB

Arkitektur

NVIDIA Ampere

Compute capability

FP32-ydelse

≈ 15.6 TFLOPS

Hukommelsesbåndbredde

≈ 1313 GB/s

Effektgrænse

400 W

Værdier oplyst af infrastrukturudbyderen for aktuelt listede maskiner; den faktiske ydeevne kan variere fra maskine til maskine.

Live A100 SXM4-konfigurationer og priser

Live lagerstatus og priser, opdateres løbende. Den endelige pris bekræftes, inden du bestiller.

Lej nu

Hvad du kan køre på A100 SXM4 cloud-GPU'en

Længerevarende træningsopgaver

Effektgrænsen på 400 W er ideel til BF16-træning over mange timer, hvor clockfrekvensen skal forblive stabil fra første til sidste epoke.

Produktionsklar LLM-serving

Host en 13B-model i 16-bit eller en kvantiseret model i 30B-klassen bag vLLM eller SGLang, og test gennemløbet, før du binder dig til infrastrukturen.

Instruction tuning med Unsloth

Kør LoRA eller QLoRA på 7B–13B-modeller med længere sekvenser, end et 24 GB-kort tillader.

Reproduktion af forskningsresultater

Reproducer forskningsartikler, der blev benchmarked på hardware i A100-klassen på den samme Ampere-arkitektur og hukommelsesstørrelse.

Er A100 SXM4 den rette GPU til dit workload?

Vælg 40 GB A100 SXM4, når dine trænings- eller inferens-workloads overskrider hukommelsesgrænserne på forbruger-GPU'er og kræver hukommelsesbåndbredde i datacenterklassen. Vælg en datacenter-GPU med mere VRAM, hvis dine ukvantiserede modeller overstiger 40 GB, eller vælg et mindre workstation- eller forbrugerkort til let inferens og udvikling.

A100 SXM4 vs. lignende cloud-GPU'er

GPU	VRAM pr. GPU	FP32-ydelse	Effektgrænse
NVIDIA A100 SXM4	40 GB	≈ 15.6 TFLOPS	400 W
NVIDIA A100 PCIE	40 GB	≈ 15.6 TFLOPS	250 W	Se detaljer →
NVIDIA A40	45 GB	≈ 29.9 TFLOPS	300 W	Se detaljer →
NVIDIA L40S	45 GB	≈ 73.3 TFLOPS	350 W	Se detaljer →
NVIDIA Tesla P40	24 GB	≈ 9.4 TFLOPS	250 W	Se detaljer →

A100 SXM4 cloud-GPU: Ofte stillede spørgsmål

Lej A100 SXM4 cloud-GPU på timebasis

Vælg en skabelon, vælg en live-konfiguration, og opret forbindelse via SSH eller browserterminalen. Afregningen stopper, når du sletter din GPU.

Lej A100 SXM4 Alle GPU'er