Háyà NVIDIA Tesla P40 GPU pẹ̀lú 24 GB VRAM
Gba àwọn sáfà cloud GPU Tesla P40 láyà ní wákàtí-wákàtí lórí Cloudj: 24 GB VRAM lórí NVIDIA Pascal pẹ̀lú nǹkan bí 9.4 TFLOPS FP32 àti 257 GB/s memory bandwidth. Ó jẹ́ ọ̀nà tó rọrùn láti rí 24 GB memory fún quantized LLM inference, àwọn iṣẹ́ àkànṣe fún ìdánrawò, àti iṣẹ́ CUDA àtijọ́, ní ààlà agbára iná 250 W. Yẹ ohun tí template náà nílò fún CUDA wò, bẹ̀rẹ̀ láti orí àwòrán Ollama tàbí PyTorch, kí o sì sopọ̀ nípasẹ̀ SSH.
Àwọn ànímọ́ ẹ̀rọ Tesla P40
VRAM fún GPU kọ̀ọ̀kan
24 GB
Àgbékalẹ̀
NVIDIA Pascal
Agbára ìṣirò
6.1
Ìṣirò FP32
≈ 9.4 TFLOPS
Ìwọ̀n ìgbéjáde ìrántí
≈ 257 GB/s
Ààlà agbára iná
250 W
Àwọn iye tí olùpèsè àwọn ohun-èlò kọ̀mpútà jábọ̀ fún àwọn ẹ̀rọ tí ó wà lórí àtòjọ báyìí; iṣẹ́ gidi máa ń yàtọ̀ nípasẹ̀ ẹ̀rọ kọ̀ọ̀kan.
Àwọn ìṣètò Tesla P40 lọ́wọ́lọ́wọ́ àti àwọn iye owó wọn
Ọjà àti iye owó tààrà, tí a ń sọ dọ̀tun ní gbogbo ìgbà. A ó fìdí iye owó ìkẹyìn múlẹ̀ kí o tó béèrè.
Gbà á láyà báyìíÀwọn ohun tí o lè gbé ṣiṣẹ́ lórí cloud GPU Tesla P40
Àwọn LLM tí a quantized pẹ̀lú Ollama
24 GB ń gba àwọn model GGUF tó tó nǹkan bí 30B parameters ní 4-bit, èyí tó jẹ́ lílò tó dára jùlọ fún P40 lónìí.
Ìfọ̀rọ̀wérọ̀ àdáni àti àwọn àpẹẹrẹ RAG
Lo Ollama pẹ̀lú Open WebUI fún olùrànlọ́wọ́ àdáni lórí àwọn àkọsílẹ̀ rẹ láìsí fífiranṣẹ́ àwọn dátà sí API kankan.
Àwọn iṣẹ́ FP32 àtijọ́
Ṣiṣẹ́ lórí àwọn kóòdù CUDA àtijọ́, àwọn simulation, àti ìdánilẹ́kọ̀ọ́ FP32 tí kò gbẹ́kẹ̀le àwọn Tensor Core.
Ẹ̀kọ́ àti iṣẹ́ ilé-ẹ̀kọ́
Kọ́ ìmọ̀ tó dájú nípa lílo àwọn sáfà GPU, àwọn driver, àti CUDA lórí 24 GB memory fún àwọn àyẹ̀wò kéékèèké.
Ǹjẹ́ Tesla P40 ni GPU tí ó tọ́ fún irú iṣẹ́ rẹ?
Yan Tesla P40 tí ohun àkọ́kọ́ tí o nílò bá jẹ́ 24 GB ti VRAM fún inference tàbí iṣẹ́ ìdàgbàsókè tó ń lo memory púpọ̀ níbi tí agbára ìṣirò Pascal àtijọ́ ti tó. Yan GPU tuntun tàbí èyí tó tóbi jù tí o bá nílò memory bandwidth tó ga jù tàbí ìyára tensor òde-òní fún ìdánilẹ́kọ̀ọ́ tó wúwo, tàbí GPU kékeré tí iṣẹ́ rẹ bá ń lo memory díẹ̀.
Tesla P40 ní àfiwé pẹ̀lú àwọn cloud GPU tó jọra
| GPU | VRAM fún GPU kọ̀ọ̀kan | Ìṣirò FP32 | Ààlà agbára iná | |
|---|---|---|---|---|
| NVIDIA Tesla P40 | 24 GB | ≈ 9.4 TFLOPS | 250 W | |
| NVIDIA L4 | 22 GB | ≈ 24.2 TFLOPS | 72 W | Àwọn ẹ̀kúnrẹ́rẹ́ → |
| NVIDIA Tesla V100 | 16 GB | ≈ 12.5 TFLOPS | 300 W | Àwọn ẹ̀kúnrẹ́rẹ́ → |
| NVIDIA A100 PCIE | 40 GB | ≈ 15.6 TFLOPS | 250 W | Àwọn ẹ̀kúnrẹ́rẹ́ → |
| NVIDIA A100 SXM4 | 40 GB | ≈ 15.6 TFLOPS | 400 W | Àwọn ẹ̀kúnrẹ́rẹ́ → |
Cloud GPU Tesla P40: àwọn ìbéèrè tí a ń béèrè lemọ́lemọ́
Yá cloud GPU Tesla P40 ní wákàtí kọ̀ọ̀kan
Yan àkójọ àpẹẹrẹ kan, yan ìṣètò tó wà lójú ẹsẹ̀, kí o sì sopọ̀ nípasẹ̀ SSH tàbí terminal aṣàwárí rẹ. Ìṣirò owó yóò dáwọ́ dúró ní kété tí o bá pa GPU náà rẹ́.