从技术到科学，中国AI向何处去？
如果从达特茅斯会议起算，AI已经走过65年历程，尤其是近些年深度学习兴起后，AI迎来了空前未有的繁荣。不过，最近两年中国AI热潮似乎有所回落，在理论突破和落地应用上都遇到了挑战，外界不乏批评质疑的声音，甚至连一些AI从业者也有些沮丧。
从90年代到美国卡耐基梅隆大学读博开始，我有幸成为一名AI研究者，见证了这个领域的一些起伏。通过这篇文章，我将试图通过个人视角回顾AI的发展，审视我们当下所处的历史阶段，以及探索AI的未来究竟在哪里。
一、AI的历史阶段：手工作坊
虽然有人把当下归为第三波甚至是第四波AI浪潮，乐观地认为AI时代已经到来，但我的看法要谨慎一些：AI无疑具有巨大潜力，但就目前我们的能力，AI尚处于比较初级的阶段，是技术而非科学。这不仅是中国AI的问题，也是全球AI共同面临的难题。
这几年深度学习的快速发展，极大改变了AI行业的面貌，让AI成为公众日常使用的技术，甚至还出现了一些令公众惊奇的AI应用案例，让人误以为科幻电影即将变成现实。但实际上，技术发展需要长期积累，目前只是AI的初级阶段，AI时代才刚开始。
如果将AI时代和电气时代类比，今天我们的AI技术还是法拉第时代的电。法拉第通过发现电磁感应现象，从而研制出人类第一台交流电发电机原型，不可谓不伟大。法拉第这批先行者，实践经验丰富，通过大量观察和反复实验，手工做出了各种新产品，但他们只是拉开了电气时代的序幕。电气时代的真正大发展，很大程度上受益于电磁场理论的提出。麦克斯维尔把实践的经验变成科学的理论，提出和证明了具有跨时代意义的麦克斯维尔方程。
如果人们对电磁的理解停留在法拉第的层次，电气革命是不可能发生的。试想一下，如果刮风下雨打雷甚至连温度变化都会导致断电，电怎么可能变成一个普惠性的产品，怎么可能变成社会基础设施？又怎么可能出现各种各样的电气产品、电子产品、通讯产品，彻底改变我们的生活方式？
这也是AI目前面临的问题，局限于特定的场景、特定的数据。AI模型一旦走出实验室，受到现实世界的干扰和挑战就时常失效，鲁棒性不够；一旦换一个场景，我们就需要重新深度定制算法进行适配，费时费力，难以规模化推广，泛化能力较为有限。
这是因为今天的AI很大程度上是基于经验。AI工程师就像当年的法拉第，能够做出一些AI产品，但都是知其然，不知其所以然，还未能掌握其中的核心原理。
那为何AI迄今未能成为一门科学？
答案是，技术发展之缓慢远超我们的想象。回顾90年代至今这二十多年来，我们看到的更多是AI应用工程上的快速进步，核心技术和核心问题的突破相对有限。一些技术看起来是这几年兴起的，实际上早已存在。
以自动驾驶为例，美国卡耐基梅隆大学的研究人员进行的Alvinn项目，在80年代末已经开始用神经网络来实现自动驾驶，1995年成功自东向西穿越美国，历时7天，行驶近3000英里。在下棋方面，1992年IBM研究人员开发的TD-Gammon，和AlphaZero相似，能够自我学习和强化，达到了双陆棋领域的大师水平。
（1995年穿越美国项目开始之前的团队合照）
不过，由于数据和算力的限制，这些研究只是点状发生，没有形成规模，自然也没有引起大众的广泛讨论。今天由于商业的普及、算力的增强、数据的方便获取、应用门槛的降低，AI开始触手可及。
但核心思想并没有根本性的变化。我们都是试图用有限样本来实现函数近似从而描述这个世界，有一个input，再有一个output，我们把AI的学习过程想象成一个函数的近似过程，包括我们的整个算法及训练过程，如梯度下降、梯度回传等。
同样的，核心问题也没有得到有效解决。90年代学界就在问的核心问题，迄今都未得到回答，他们都和神经网络、深度学习密切相关。比如非凸函数的优化问题，它得到的解很可能是局部最优解，并非全局最优，训练时可能都无法收敛，有限数据还会带来泛化不足的问题。我们会不会被这个解带偏了，忽视了更多的可能性？
二、深度学习：大繁荣后遭遇发展瓶颈
毋庸讳言，以深度学习为代表的AI研究这几年取得了诸多令人赞叹的进步，比如在复杂网络的训练方面，产生了两个特别成功的网络结构，CNN和transformer。基于深度学习，AI研究者在语音、语义、视觉等各个领域都实现了快速的发展，解决了诸多现实难题，实现了巨大的社会价值。
但回过头来看深度学习的发展，不得不感慨AI从业者非常幸运。
首先是随机梯度下降（SGD），极大推动了深度学习的发展。随机梯度下降其实是一个很简单的方法，具有较大局限性，在优化里面属于收敛较慢的方法，但它偏偏在深度网络中表现很好，而且还是出奇的好。为什么会这么好？迄今研究者都没有完美的答案。类似这样难以理解的好运气还包括残差网络、知识蒸馏、Batch Normalization、Warmup、Label Smoothing、Gradient Clip、Layer Scaling……尤其是有些还具有超强的泛化能力，能用在多个场景中。
再者，在机器学习里，研究者一直在警惕过拟合（overfitting）的问题。当参数特别多时，一条曲线能够把所有的点都拟合得特别好，它大概率存在问题，但在深度学习里面这似乎不再成为一个问题……虽然有很多研究者对此进行了探讨，但目前还有没有明确答案。更加令人惊讶的是，我们即使给数据一个随机的标签，它也可以完美拟合（请见下图红色曲线），最后得出拟合误差为0。如果按照标准理论来说，这意味着这个模型没有任何偏差（bias），能帮我们解释任何结果。请想想看，任何东西都能解释的模型，真的可靠吗，包治百病的良药可信吗？
（Understanding deep learning requires rethinking generalization. ICLR, 2017.）
说到这里，让我们整体回顾下机器学习的发展历程，才能更好理解当下的深度学习。
机器学习有几波发展浪潮，在上世纪80年代到90年代，首先是基于规则（rule based）。从90年代到2000年代，以神经网络为主，大家发现神经网络可以做一些不错的事情，但是它有许多基础的问题没回答。所以2000年代以后，有一批人尝试去解决这些基础问题，最有名的叫SVM（suPPort vector machine），一批数学背景出身的研究者集中去理解机器学习的过程，学习最基础的数学问题,如何更好实现函数的近似，如何保证快速收敛，如何保证它的泛化性？
>相关《 从技术到科学，中国AI向何处去？》内容：
1、 神舟十三号第二次出舱成功！翟志刚创下中国航天员新纪录
理财鱼小提示：神舟十三号第二次出舱成功！翟志刚创下中国航天员新纪录 神舟十三号第二次出舱成功！翟志刚创下中国航天员新纪录 图 源丨人民日报 据中国载人航天工程办公室消息，北京时间2021年12月26日18时44分，神舟十三号航天员叶光富成功打开天和核心舱节点...【继续阅读】
2、 以数字技术赋能绿色发展 天味食品斩获“2021中国上市公司口碑榜”两项大奖
理财鱼小提示：以数字技术赋能绿色发展 天味食品斩获“2021中国上市公司口碑榜”两项大奖 12月20日，由每日经济新闻主办的2021第十届中国上市公司高峰论坛周拉开序幕，论坛周以“科技创新 绿色发展”为主题。12月24日，由每日经济新闻主办的2021中国上市公司品牌...【继续阅读】
3、 上海社会科学院国家高端智库资深专家杨建文：2022年乡村振兴有望全面铺开 种植、养殖等四板块潜力巨大
理财鱼小提示：上海社会科学院国家高端智库资深专家杨建文：2022年乡村振兴有望全面铺开 种植、养殖等四板块潜力巨大 上证报中国证券网讯（记者 宋薇萍）中央农村工作会议25日至26日在北京召开。上海社科院国家高端智库资深专家杨建文26日晚间就会议内容对上海证...【继续阅读】