深度学习已经接近计算极限
近日，MIT发出警告：深度学习正在接近现有芯片的算力极限，如果不变革算法，深度学习恐难再进步。
前言：
关于深度学习，它正在快速接近其极限。虽然事实可能的确如此，但我们仍未能在日常生活中感受到全面部署深度学习的影响。
MIT：算力将探底，算法需改革
近日，MIT发出警告：深度学习正在接近现有芯片的算力极限，如果不变革算法，深度学习恐难再进步。
根据麻省理工学院，MIT－IBM Watson AI实验室，Underwood国际学院和巴西利亚大学的研究人员在最近的研究中发现，持续不断的进步将需要通过改变现有技术或通过尚未发现的新方法来更有效地使用深度学习方法。
目前深度学习的繁荣过度依赖算力的提升，在后摩尔定律时代可能遭遇发展瓶颈，在算法改进上还需多多努力。
深度学习不是偶然的计算代价，而是设计的代价。共同的灵活性使它能够出色地建模各种现象，并且性能优于专家模型，这也使其在计算上的成本大大提高。
研究人员估计，三年的算法改进相当于计算能力提高10倍。总体而言，在深度学习的许多领域中，训练模型的进步取决于所使用的计算能力的大幅度提高。 另一种可能性是，要改善算法本身可能需要互补地提高计算能力。
在研究过程中，研究人员还对预测进行了推断，以了解达到各种理论基准所需的计算能力以及相关的经济和环境成本。
即使是最乐观的计算，要降低ImageNet上的图像分类错误率，也需要进行10的五次方以上的计算。
根据多项式和指数模型的预测，通过深度学习获得相应性能基准所需的算力（以Gflops为单位），碳排放量和经济成本，最乐观的估计，ImageNet分类误差要想达到1％，需要10＾28 Gflops的算力，这对硬件来说是不小的压力。
相关文章
AIGC热点
热点
-
19打开，有戏
