搭建一款性價比運行AI平臺

顯存  8G x 2 共16G顯存的 AI大模型運行平臺 

上配置

配置	價格	備註
A85大板+ amd x4 760k	60	也可以h61+e3v2 或者 x99 + e5v3 或者h81+e3 v3 或者 a320+200ge 或者 x79 + e5v2 總之100以內板u套裝（大板
內存 16G	100	ecc內存會更便宜 只支持x79（ddr3） x99（ddr4）
顯卡 p104-100 x2	250	一張p104-100券後125左右一張p106-100 99-100左右
亮機卡	25	隨便一張25包郵的亮機卡
pcie拓展塢	16	pcix1的拓展塢，反正只是用來亮機
電源400w	60	隨便一個礦渣電源
硬盤500G	16	淘寶券後隨便一家店 希捷薄盤

 

安裝ubuntu 2004 server版本

ubuntu-drivers devices

sudo apt install nvidia-driver-{推薦私有驅動的版本號}

 複製粘貼命令安裝cuda驅動

https://docs.nvidia.com/cuda/cuda-installation-guide-linux/index.html#network-repo-installation-for-ubuntu

 複製粘貼命令安裝docker驅動

https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/1.13.5/install-guide.html#:~:text=The%20list%20of%20prerequisites%20for%20running%20NVIDIA%20Container,that%20older%20driver%20releases%20or%20branches%20are%20unsupported.%29

複製粘貼命令安裝 tabby cuda版本

https://tabby.tabbyml.com/docs/installation/docker/

安裝chatglm26bint4

https://github.com/THUDM/ChatGLM2-6B