搭建一款性价比运行AI平台

显存  8G x 2 共16G显存的 AI大模型运行平台 

上配置

配置	价格	备注
A85大板+ amd x4 760k	60	也可以h61+e3v2 或者 x99 + e5v3 或者h81+e3 v3 或者 a320+200ge 或者 x79 + e5v2 总之100以内板u套装（大板
内存 16G	100	ecc内存会更便宜 只支持x79（ddr3） x99（ddr4）
显卡 p104-100 x2	250	一张p104-100券后125左右一张p106-100 99-100左右
亮机卡	25	随便一张25包邮的亮机卡
pcie拓展坞	16	pcix1的拓展坞，反正只是用来亮机
电源400w	60	随便一个矿渣电源
硬盘500G	16	淘宝券后随便一家店 希捷薄盘

 

安装ubuntu 2004 server版本

ubuntu-drivers devices

sudo apt install nvidia-driver-{推荐私有驱动的版本号}

 复制粘贴命令安装cuda驱动

https://docs.nvidia.com/cuda/cuda-installation-guide-linux/index.html#network-repo-installation-for-ubuntu

 复制粘贴命令安装docker驱动

https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/1.13.5/install-guide.html#:~:text=The%20list%20of%20prerequisites%20for%20running%20NVIDIA%20Container,that%20older%20driver%20releases%20or%20branches%20are%20unsupported.%29

复制粘贴命令安装 tabby cuda版本

https://tabby.tabbyml.com/docs/installation/docker/

安装chatglm26bint4

https://github.com/THUDM/ChatGLM2-6B