Изнајмите NVIDIA A800 PCIE GPU са 80 GB VRAM-а
Изнајмите A800 PCIE GPU по сату на Cloudj: 80 GB VRAM на NVIDIA Ampere са око 1598 GB/s меморијског протока, тако да LLM модели класе 70B стају на једну картицу. Намењен је AI тимовима којима је потребно дупло више меморије од A100 40 GB за сервирање, фино подешавање и рад са дугим контекстом, уз 15.6 TFLOPS FP32 и ограничење потрошње од 300 W. Покрените из vLLM, SGLang или Unsloth шаблона и повежите се преко SSH-а.
A800 PCIE спецификације
VRAM по GPU-у
80 GB
Архитектура
NVIDIA Ampere
Рачунарска способност
8
FP32 перформансе
≈ 15.6 TFLOPS
Пропусни опсег меморије
≈ 1598 GB/s
Лимит потрошње
300 W
Вредности које наводи провајдер инфраструктуре за тренутно излистане машине; стварне перформансе варирају од машине до машине.
Актуелне A800 PCIE конфигурације и цене
Доступност и цене уживо, континуирано се ажурирају. Коначна цена се потврђује пре наручивања.
Изнајмите одмахШта можете покретати на A800 PCIE cloud GPU-у
70B модели на једном GPU-у
Сервирајте 4-битни 70B модел уз преостали простор за KV кеш, или 30B–34B модел у 16 бита, користећи vLLM или SGLang.
Инференција са дугим контекстом
80 GB оставља простор за дугачке промптове и мноштво истовремених секвенци које би премашиле капацитет картице од 40 GB.
Фино подешавање LLM модела средње величине
Покрените LoRA на 13B–34B моделима у BF16 или QLoRA на већим моделима уз Unsloth, без потребе за дељењем модела преко више GPU-ова.
Меморијски захтеван data science
Држите велике тензоре, графове или матрице обележја директно у GPU меморији за RAPIDS или PyTorch радна оптерећења.
Да ли је A800 PCIE прави GPU за ваше радно оптерећење?
Изаберите A800 PCIE када вам је примарни захтев капацитет меморије од 80 GB за велике AI моделе, а не сирове перформансе једноструке прецизности (FP32). Ако ваше радно оптерећење захтева мање меморије, радна станица или кориснички GPU са мање VRAM-а биће прикладнији, док задаци ограничени рачунарском снагом могу имати више користи од архитектура центара података новије генерације.
A800 PCIE у поређењу са сличним cloud GPU-овима
A800 PCIE cloud GPU: често постављана питања
Изнајмите A800 PCIE cloud GPU на сат
Изаберите шаблон, одаберите активну конфигурацију и повежите се путем SSH-а или терминала у прегледачу. Наплата престаје када обришете GPU.