光神经网络,正在照亮智能计算的未来
过去几年里,电子计算已经成为实现人工智能算法——尤其是深度神经网络模型——最重要的算力支撑。
如果问一个问题——能够进行深度神经网络计算的芯片有哪些?大家给出的答案可能五花八门:CPU、GPU、DSP、NPU……
过去几年里,电子计算已经成为实现人工智能算法——尤其是深度神经网络模型——最重要的算力支撑。尽管具体的硬件架构各有不同,但一言以蔽之,都是采用了冯诺依曼型的计算原理,即VLSI(超大规模集成电路)的“电子+逻辑”信息处理模式,以复杂的逻辑电路和处理器芯片来完成计算任务。
但是电子方法有其先天缺陷:一是信号之间容易相互干扰,对需要高密度连接的神经网络带来一定的困难;二是能源需求太高,导致计算成本居高不下。
在以AI为主旋律的“数字基建”大规模爆发前夜,在算力上未雨绸缪,自然也就成了学术界和产业界共同关注的头等大事。
最近,明斯特大学、牛津大学和埃克塞特大学的研究人员就共同实现了一项新的计算芯片,采用光学系统来帮助神经网络进行“学习”,以此实现计算、识别等行为。
不过,无论是光学计算,还是类脑芯片,类似的提法其实在学界早已有之,并且由于自身的局限性一直进展缓慢。那么,光学深度学习芯片的出现,是否真的突破了先天的技术桎梏,又意味着哪些新的产业机遇呢?
光学计算+深度神经网络的“搅和”历史
在介绍新计算硬件之前,先言简意赅地解答一下大家心中可能存在的困惑——光到底是如何进行计算的?又为什么比电子方法更有优势呢?
我们知道,深度学习神经网络是模仿人类大脑神经元的运行方式而来的。在每一层中,来自上一层(或者输入源)的信号经由神经元处理,将结果和前向信号传递给下一层的神经元。
很显然,这种计算方式需要依赖神经元之间的大量、动态的连接才能完成,会对大多数使用电子方法的集成电路造成压力。
因此,大家纷纷开始研究其他硬件,光学芯片因此成为“全村的希望”。
2017年,MIT的研究人员就研发出了一种使用光子技术实现神经网络的方法。他们使用一系列相互连接的波导管(传输微波波段的电磁波装置),来为特定的计算编程。而处理器则通过一系列耦合光子波导来引导光线,因此只需要运用镜片改变光线的方向,就可以达成运算。
可编程、低能耗,听起来是不是棒棒哒?不过这种方式打造的硬件准确率实在是不太令人满意,只有77%,被传统方法吊打的节奏啊。
不过科学家们并没有认输,2018年加州大学洛杉矶分校的科学家们又将光学深度学习送上了《Science》杂志。
这次,科学家们采用3D 打印的方式制造出了一种全光学的深度学习框架D2NN。
简单来说,研究人员训练出了能够识别不同数据类型的光学网络模型,并为它们分别创建了模型,该模型由多个像素层组成,每个像素之间如同神经元一样进行连接,并通过光来传输信息。
然后,研究人员采用五层 3D 打印塑料对仿真模型进行物理再现,固态成品的探测器就可以通过物体表面反射的光来判断出相应的分类结果。
这种由光学元件堆叠而成的神经网络硬件,准确率能达到 91.75%,成本相对便宜,但是却很难做到器件的小型化,难以处理复杂的数据及图像分析,而且所有参数3D打印之后就不能被再次编程了。
(使用 3D 打印的“人工神经网络”芯片)
总结一下就是,此前的研究都对光学计算+神经网络的解决方案提出了自己的方法,但带来的问题多于答案,科学家们不得不继续探索。
全光学神经突触系统:能否刷新光学计算的进程?
5月8日,来自德国明斯特大学的科学家将其研究成果发布在了《Nature》杂志上。
论文《All-optical spiking neurosynaptic networks with self-learning capabilities》(具有自学习功能的全光学尖峰神经突触网络),提出了一种可以在毫米级光子芯片上实现的全光学神经网络。
研究人员是这么设想的:
输入的数据(即光波导)可以被微米级环状谐振器调制成不同的波长,然后注入网络并停留在光学微芯片上。接着利用集成在一起的相变材料,来实现权重调制,这种物质可以由光触发显著的变化,非常适合模拟突触和神经元之间的“冲动”。
信息在光学神经网络中的传输,就好像是两组人(单个波导的两条路径)同时在玩传声游戏,需要隔的距离比较远,来防止另一个组的声音干扰(耦合)。同时还不能有人乱开脑洞急转弯,免得传话内容南辕北辙(光离开波导)。
因此,在每个组的传话过程中,都派出一个小秘书(相变材料),根据每组任务(权重)的不同,在每次传递过程中(微环谐振器的入口和出口处),对队员们向下传递的信息进行微调,将被传错/修改的信息复位,这样就能最大限度地保证每个队伍向后传递的信息,既能保持差异,又足够准确。
为了证明这一点,研究人员开发了一个由四个人工神经元和60个突触组成的芯片。