Py学习  »  机器学习算法

如何花3400元,配置一台无噪音,48GB显存的深度学习服务器?

江大白 • 1 年前 • 390 次点击  

以下章来源于微信公众号:自动驾驶之心

作者:wenjtop

编辑:PaperWeekly

链接:https://mp.weixin.qq.com/s/7JIU2-bw9lBl-JAWZIGLag

本文仅用于学术分享,如有侵权,请联系台作删文处理

导读
作者22年配置了一套 X299 主板加双 3090 显卡服务器,发现除了显卡,其它性能都远远过剩,完全没有体现出性价比,加上最近大模型比较火,就想着配置一套能跑和微调通义千问的服务器,现分享给读者。

配置

目前配置一共花了 3400(双 P40 显卡),不追求完美 3000 应该也能配下来。p40 性能大约在 1080ti 左右,3090 的 1/2,4090 的 1/4。去年 23 年底大约 650 一张,现在(24 年初)涨到到900左右。

▲ 购买记录

注意事项:

  1. 机箱一定要买大板机箱,插7显卡槽的。

  2. 购买 e5 一定要看 CPU 能支持内存的频率。

  3. cpu 够用就行,不用花大价钱,对模型训练和推理影响不大。

  4. 显卡需要两个 4p 转化成 8p 的转换线,需要购买转接线。

  5. p40 是主动散热,不改水冷,可以加风扇。

  6. p40 显卡不支持视频输出,需要购买亮机卡,后期 4 卡需要拆掉。

  7. 亮机器一般只支持 1080p,如果你显示器 2K,4K,就需要支持 2K,4K 的显示器。

  8. 华南金牌 X99-f8 支持 3 显卡,一定要提前计算显卡厚度和主板卡槽之间的宽度。

  9. 针对老的架构的主板,一定要看主板是否支持 above 4g,支持才能用大显存显卡。

组装

2.1 更换电源风扇

重新购买的电源风扇更换,更换流程,拆掉 8 个螺丝,去掉保护罩,断开风扇供电线,更换风扇,组装电源。

2.2 主板接线方式

https://www.bilibili.com/video/BV1y34y1G7cq/?spm_id_from=333.337.search-card.all.click

2.3 内存插入方式

优先:1358 卡槽,可以组成多通道。

2.4 显卡供电方式

具体接线方式见下图,转接线可以在淘宝购买。

2.5 开机Bios设置

开机按 del 键,选择 Advanced 选项,打开 above 4g,才能正常开机、识别显卡。


系统

3.1 下载 Ubuntu 20.04 LTS

https://ubuntu.com/download/desktop

3.2 制作 u 盘启动,

常用的两个 u 启动制作工具 UltraISO(https://cn.ultraiso.net/xiazai.html) 和 Rufus(https://rufus.ie/zh/),把 Ubuntu 系统烧录在 U 盘后插需要安装的电脑。

3.3 安装 ubuntu

一键 u 启动(以主板为准,安装过程省略)。

▲ 以主板为准


环境

4.1 判断有误识别P40显卡

sudo lshw -C display

4.2 禁用 nouveau

自带显卡驱动会和我们需要安装的驱动发生冲突,需要禁用 nouveau。
sudo gedit /etc/modprobe.d/blacklist_nouveau.conf
输入下面内容,保存重启:
blacklist nouveau
options nouveau modeset=0

4.3 其它深度学习环境参考下文,非常详细:

安装过程中如果出现缺少 gcc 或者 gcc 冲突,可尝试下面命令:

sudo apt update
sudo apt-get install build-essential

https://zhuanlan.zhihu.com/p/496107394


展示


▲ 通义千问生成小故事


推荐阅读

    江大白 |  这些年从0转行AI行业的一些感悟

    AI项目应用 | 万字长文教你一步步实现离岗识别


    AI行业大家有想问的,欢迎来《AI未来星球》,一起成长
    扫描下方二维码即可加入~


    你可以获得什么? 

    1、AI行业创业/工作/生活中遇到的各类问题,都可获高质量解答, 有效期一年,无限次提问,有问必答。

    2、购买过的,数万元的各类数据集的分享;

    3、定期邀请AI行业各类嘉宾分享,创业/商业等方面的经验!

    4、AI行业研发、产品、商业落地方面专业分享(大白主业,也在负责公司AI业务板块)

    帮助你解决遇到的实际问题,升职加薪!

    大家一起加油!  

Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/171387