陈左宁：为什么说传统超算并不最适合AI

陈左宁院士

近年来人工智能(AI)对计算算力、计算环境提出了新要求。那么,如今高性能计算机对AI的适应性到底怎样?是不是随着AI对算力的需求越来越大,在经典的HPC上进行适当的改进——比如增加一些加速部件,就能满足这些需求?

在2020全国高性能计算学术年会(HPC China 2020)上,中国工程院副院长、中国科协副主席、中国工程院院士陈左宁对这些问题,给出了她思考后得出的结论。

经典HPC并不最适于AI对算力的需求陈左宁院士的结论有三层意思:

经典高性能计算机算力环境可以支持现有人工智能的模型算法,但从性能功耗比和性价比来讲都比较低。经典高性能计算机并不最合适用于AI对算力的需求,要去匹配AI,需要创新体系结构和软件架构。随着智能计算理论的演进,可能会突破图灵“可计算性理论”的范畴,比如类脑计算和量子计算,可能会带来体系结构和软件新的突破,但还有待研究。用8个字总结一下就是,可用、不契合、待改善。当然,陈左宁院士在这里提及的AI,是加了限定词的:比如“云端AI”、“做训练的AI”,那些与数据训练有关的、数据规模和模型规模大到一个芯片不足以支撑的AI。这个结论,是陈院士经过细致分析后得出的。她提出,要研究AI对算力的需求,首先要追本溯源:目前AI的本征是什么、它“本征地”对算力的需求是什么。

当前,人工智能三个流派——符号主义、连接主义、行为主义日趋融合、协同发展,这三个流派也都在指向“反映‘关系’”。

也就是说人工智能的核心特征之一就是反映“关系”。

那么“关系”的计算,有哪些特征?

陈左宁院士给出了答案:在高维空间中,开放的、多点的、不确定的近似计算。

经典高性能计算能否对应这些特征?不能——

首先,高维空间——经典高性能计算随着计算复杂度的提升,也在向高维发展;但与AI计算相比,经典高性能计算的模型是确定的,模型确定后可以降维,可以在确定的模型框架下,来判别是否收敛、是否合适降维。但对于AI计算来说,模型很多不确定,高维计算就很难降维。

其次,开放——经典超算模型也是多点的,但不是开放的;在一个计算空间里,经典超算不是像AI那样开放的。比如AI模型数据越多,提取特征越多。

最后,不确定的近似计算——这是一种概率计算,不是精确的数值计算,这是跟经典高性能计算非常不一样的地方。

基于上述3点,陈左宁院士得出结论:经典高性能计算机并不最合适用于AI对算力的需求。

当前AI模型和算法的七大发展趋势要让经典高性能计算机能够更好服务于AI计算,我们需要了解和发现AI模型及算法的发展趋势。

陈左宁院士总结,当前人工智能模型和算法有七大发展趋势:

向无监督学习的方向发展。

现在的深度学习模型,多是有监督的学习,因此需要大量数据、大量标注、大量计算。为了减少数据标注和计算开销,未来AI模型越来越青睐“无监督学习”。

进而,HPC就要适应“小数据”对算力的需求:如主动学习,强调人机交互能力和数据整合能力;迁移学习,要求对大数据的预训练;强化学习,注重信息采集能力和概率计算能力。

AI的可解释性越来越重要。

AI的可解释性,是AI迈向更负责任的AI的有效途径。AI模型也发展出透明模型和事后可解释模型。

它们对算力的具体需求是,将可解释技术融入到软件环境中,包括为现有软件框架增加可解释技术的接口、发展以人为中心由决策理论驱动可解释AI的概念框架(简言之就是要将“人的解释”与模型框架融为一体 )。

AI模型迈向自学习、自演化。

迈向自学习、自演化的AI模型目前有如AutoML等。支撑自动机器学习模型,要求计算框架能够支撑AI的这种自学习能力,如大算力支撑、辅助设备支撑等。

多种算法、模型的有机组合。

AI的这一趋势已经很明显了。目前单一算法越来越难以解决实际问题,势必需要多种模型的有机融合。而且,人工智能模型的发展也希望融入多种技术来解决已有问题。同时,人工智能的应用流程越来越复杂,也需要不同的算法和模型组合。

这对算力的需求体现为,算力系统的计算存储等具备可扩展能力,基础软件通过能力提升可支持复杂模型、不同类别软件的协同和交互。

图中视觉问题就需要多种模型组合

AI应用越来越需要关注全生命周期。

AI模型生命周期包括设计、数据预处理、部署、推理等,不同节点的任务具有不同的时间、空间和计算需求;且全生命周期都要考虑可解释、公平等需求。

分布式、分散式的需求越来越突出。

大型、复杂模型,海量数据需要并行、分布式计算;联邦学习等分散场景原生性地需要分布式机器学习原生算法。

深度推理。

清华大学教授唐杰在《从知识图谱到认知图谱:历史、发展与展望》中提到,人工智能沿着“计算—感知—认知—意识”发展,对算力的需求也从最初的表示、计算、存储+人机输入/输出,逐步过渡到知识数据驱动、认知推理、决策智能甚至要求支撑自学习、记忆机理,进一步发展出有(无)意识处理器。

陈左宁认为,这反映出AI对计算需求的演进。有可能未来智能化程度越高,对计算的需求越颠覆,以至于现有的图灵可计算的技术无法支撑。这一方面需要计算平台要能够有效应对多种形式的不确定性(如概率计算、类脑仿脑体系结构、模拟计算),另一方面则寄希望于认知理论的进一步突破。