麻省理工发现更小更容易训练的神经网络
神经网络技术起源于上世纪五、六十年代，当时叫感知机，拥有输入层、输出层和一个隐含层。输入的特征向量通过隐含层变换达到输出层，在输出层得到分类结果。
神经网络技术起源于上世纪五、六十年代，当时叫感知机，拥有输入层、输出层和一个隐含层。输入的特征向量通过隐含层变换达到输出层，在输出层得到分类结果。
尽管人工智能取得了很大的进步，但现在大多数基于人工智能的产品仍然依赖于“深度神经网络”。这种网络通常非常大，而且训练成本高得令人望而却步。
麻省理工学院的研究人员希望改变这一现状。在今天发表的一篇论文中，研究人员揭示了神经网络中包含的“子网络”，比之前的网络小10倍，而且可以更便宜、更快地进行训练。
为了训练大多数神经网络，工程师给它们提供大量的数据集，但这可能需要几天的时间和昂贵的GPUs。
来自麻省理工学院计算机科学和人工智能实验室(CSAIL)的研究人员发现，在这些训练有素的网络中，有更小的子网络，可以做出同样准确的预测。
CSAIL所谓的“彩票假说”就是基于这样一种观点，即训练大多数神经网络就像买所有的彩票，以确保中奖。相比之下，训练子网就像只买有奖的那张彩票一样。
问题在于，研究人员还没有想出如何在不构建完整神经网络的情况下找到这些子网，然后修剪掉不必要的位。研究人员目前还没有找到这些子网络的方法。
如果他们能找到一种方法跳过这一步，直接进入子网络，那么这一过程可以节省数小时的工作。并使训练神经网络不仅仅对大公司开发而且对单个程序员开放。
但是，如何有效地找到子网络，并明确为什么有些子网在训练上比其他子网表现地更好，可能会让研究人员忙上几年。
相关文章
AIGC热点
热点
-
19打开，有戏
