选自 arXiv
作者:Nouamane Laanait、Joshua Romero等
机器之心编译
分布式计算确实需要在很多 GPU 上训练,但你见过在排名第一的超算上训练深度模型,在 2.76 万块 V100 GPU 训练模型的方法吗?重要的是,通过新的通信策略,这么多 GPU 还能实现近线性的加速比,橡树岭国家实验室和英伟达等机构的这项研究真的 Amazing。
什么是分布式训练
数据并行的问题在哪?
用超算测测数据并行
www.jiqizhixin.com/sota
PC 访问,体验更佳