【为什么GPU特适用深度学习？】
- GPU相较于CPU更快的原因在于其高效的矩阵乘法和卷积运算，但很少有人解释了为什么会如此。
- GPU之所以快，是因为其内存带宽，而不仅仅是并行计算。CPU以低延迟为优化目标，而GPU则以高带宽为优化目标。
- CPU可以迅速获取RAM中的少量内存(包)，而GPU在此方面速度较慢(延迟较高)。然而，GPU可以一次获取更多的内存。
- GPU之所以能在大内存块上提供最佳内存带宽，是因为线程并行性掩盖了延迟，使得GPU在大数据块上提供高带宽，同时不受延迟的影响。
- GPU的寄存器内存比CPU多30多倍，速度则达到了两倍。这意味着GPU可以存储大量数据在寄存器和L1缓存中，以便复用卷积和矩阵乘法的片。
- GPU的寄存器和L1缓存更易于编程，这使得它们在深度学习中非常适用。
- 性能瓶颈主要取决于内存访问，因此GPU之所以快速适用于深度学习，是因为其高带宽主存储、线程并行性隐藏内存访问延迟，以及大而快的寄存器和L1缓存。
《Tim Dettmers's answer to Why are GPUs well-suited to deep learning? - Quora》
网页链接 #机器学习#
- GPU相较于CPU更快的原因在于其高效的矩阵乘法和卷积运算，但很少有人解释了为什么会如此。
- GPU之所以快，是因为其内存带宽，而不仅仅是并行计算。CPU以低延迟为优化目标，而GPU则以高带宽为优化目标。
- CPU可以迅速获取RAM中的少量内存(包)，而GPU在此方面速度较慢(延迟较高)。然而，GPU可以一次获取更多的内存。
- GPU之所以能在大内存块上提供最佳内存带宽，是因为线程并行性掩盖了延迟，使得GPU在大数据块上提供高带宽，同时不受延迟的影响。
- GPU的寄存器内存比CPU多30多倍，速度则达到了两倍。这意味着GPU可以存储大量数据在寄存器和L1缓存中，以便复用卷积和矩阵乘法的片。
- GPU的寄存器和L1缓存更易于编程，这使得它们在深度学习中非常适用。
- 性能瓶颈主要取决于内存访问，因此GPU之所以快速适用于深度学习，是因为其高带宽主存储、线程并行性隐藏内存访问延迟，以及大而快的寄存器和L1缓存。
《Tim Dettmers's answer to Why are GPUs well-suited to deep learning? - Quora》
网页链接 #机器学习#
