له 80 GB VRAM سره یو NVIDIA A800 PCIE GPU کرایه کړئ
په Cloudj کې د ساعت په حساب A800 PCIE GPUs په کرایه ونیسئ: په NVIDIA Ampere معمارۍ کې ۸۰ GB VRAM د نږدې ۱۵۹۸ GB/s حافظې بینډویډت سره، ترڅو د 70B ټولګي LLMs پر یو کارډ ځای شي. دا د هغو AI ټیمونو لپاره ځانګړی شوی چې د serving، فاین-ټیوننګ (fine-tuning) او اوږده متن (long-context) کارونو لپاره د A100 40 GB په پرتله دوه چنده حافظې ته اړتیا لري، د ۱۵.۶ TFLOPS FP32 او ۳۰۰ W د بریښنا حد سره. د vLLM، SGLang یا Unsloth ټیمپلیټ څخه یې پیل کړئ او د SSH له لارې ونښلېږئ.
د A800 PCIE مشخصات
د هر GPU لپاره VRAM
80 GB
معماري (Architecture)
NVIDIA Ampere
محاسباتي وړتیا (Compute capability)
8
د FP32 محاسبات
≈ 15.6 TFLOPS
د حافظې بینډویډت (Memory bandwidth)
≈ 1598 GB/s
د برېښنا اعظمي کچه (Power limit)
300 W
دا ارقام د زیربناوو چمتوکوونکي لخوا د اوسنیو لیست شویو ماشینونو لپاره ښودل شوي؛ حقیقي فعالیت په هر ماشین کې توپیر کولی شي.
د A800 PCIE شته ترتیبات او نرخونه
ژوندی سټاک او قیمتونه، په دوامداره توګه نوي کېږي. وروستی قیمت د سپارښتنې څخه مخکې تاییدېږي.
اوس یې په کرایه واخلئهغه څه چې تاسو یې په A800 PCIE کلاوډ GPU چلولی شئ
پر یو واحد GPU باندې 70B ماډلونه
د vLLM یا SGLang په کارولو سره د 4-bit 70B ماډل داسې چلول چې د KV cache لپاره هم ځای پاتې شي، یا د 16-bit په بڼه 30B–34B ماډل پرې وچلوئ.
د اوږده متن (Long-context) انفرانس
۸۰ GB حافظه د اوږدو پرامپټونو او ډېرو پرلهپسې لړیو (concurrent sequences) لپاره کافي ځای پرېږدي چې پر یو ۴۰ GB کارډ نه ځایېږي.
د منځنۍ کچې LLMs فاین-ټیوننګ
پر ۱۳B–۳۴B ماډلونو په BF16 کې LoRA یا په لویو ماډلونو کې د Unsloth له لارې QLoRA پرته له دې چې ماډل پر څو GPUs وویشئ، وچلوئ.
د ډېرې حافظې لرونکی ډېټا ساینس
د RAPIDS یا PyTorch پروګرامونو لپاره غټ tensors، ګرافونه یا د فیچر میټریکسونه نېغ په نېغه د GPU په حافظه کې وساتئ.
ایا A800 PCIE ستاسو د کاري بوج لپاره مناسب GPU دی؟
کله چې ستاسو لومړنۍ اړتیا د خورا تېز single-precision کمپیوټ پر ځای د لویې کچې AI ماډلونو لپاره ۸۰ GB حافظه وي، A800 PCIE غوره کړئ. که ستاسو کار لږې حافظې ته اړتیا لري، د ټیټ VRAM لرونکی ورک سټیشن یا کنسیومر GPU ډېر مناسب دی، په داسې حال کې چې د زیات محاسباتي زور غوښتونکي کارونه ممکن د نوي نسل ډېټا سنټر له معمارۍ څخه ډېره ګټه پورته کړي.
A800 PCIE د ورته کلاوډ GPUs په پرتله
د A800 PCIE کلاوډ GPU: ډېرې پوښتل شوې پوښتنې
د A800 PCIE کلاوډ GPU د ساعت په حساب په کرایه ونیسئ
یو ټیمپلیټ وټاکئ، فعال کانفیګوریشن غوره کړئ او د SSH یا براوزر ټرمینل له لارې وصل شئ. د GPU په ړنګولو سره د لګښت حساب درېږي.