中国如何发展自主可控和开放的科技产业

神经网络加速器：智能计算机的复兴

当代智能计算机本质上是基于神经网络加速器和通用计算部件建立起来的计算机系统。它的复兴取决于 3 个条件：①深度神经网络理论体系的完善；②计算能力的快速增长和专业领域数据的积累；③通用计算机体系结构发展遇到技术障碍。

现代神经网络的数学基础是统计学。在统计学的学习方法（Learning Method）基础上，现代神经网络发展为成熟的非线性建模工具。通过统计学的标准数学方法，可以获得大量可以用函数来表达的局部结构空间，这比依赖领域专家编写 if－then 规则进行逻辑推理更容易，成本更低。

计算力的增长使得复杂神经网络计算成为可能。实际上，在 20 世纪 90 年代已经出现了大量的神经网络加速器的工作。然而，受制于当时有限的计算能力和匮乏的专业领域数据，神经网络的成功应用乏善可陈，神经网络加速器缺少足够的市场需求，未能获得发展。

通用计算机体系结构发展遇到的技术障碍也为神经网络加速器的发展创造了条件。2017 年，图灵奖获得者 John L． Hennessy 和 David Patterson 指出通用计算机体系结构发展遇到巨大技术障碍，如芯片的性能增长比摩尔定律预测的缓慢；串行程序的并行遇到结构化的限制；芯片散热受到物理极限因素的制约。在这些条件的综合约束下，针对特定领域应用开展软件和硬件的协同设计成为国际学术界的共识。这种学术趋势可谓返璞归真，冯 · 诺伊曼结构出现之前的数字计算机就是为每个程序设计一个计算机结构。当然从直觉上来说，应用越单一，系统效率越高。然而新的趋势并不是放弃冯 · 诺伊曼结构，而是采用一种异构的体系结构来提高效率：保留基于冯 · 诺伊曼结构的通用计算部件，再增加针对特定领域应用开发的加速器，如神经网络加速器。

深度学习在图像识别、语音识别等众多领域取得成功，甚至在单一问题上超过人的平均能力。与此同时，基于深度学习的应用领域越来越广。如药物筛选、疾病诊断等。有理由相信，在深度学习加速器（所谓智能芯片）、智能系统、算法和行业应用基础上有希望发展出一个大规模的智能计算产业。