人工智能群英会，云天励飞首席科学家王孝宇做主旨报告
2022年7月16日-18日,第十一届吴文俊人工智能科学技术奖暨2021中国人工智能产业年会在北京和苏州同期圆满举办。深圳云天励飞技术股份有限公司首席科学家王孝宇受邀在2021中国人工智能产业年会主论坛上发表主旨报告《Towards Automated Artificial Intelligence》。
人工智能在过去十年得到了长足的发展。人工智能加速发展的这十年,也是人工智能研究及产业技术不断走向开源、开放、自动化的十年。报告通过梳理人工智能研发不断迈向自动化的努力,阐述其下一阶段大规模行业化的关键方向。报告亦会介绍与各国际高校学者联合发布的YMIR开源自动化AI研发平台。此平台赋能的项目获此次吴文俊人工智能科技进步一等奖。
以下为王孝宇博士的现场演讲内容:
我今天主要是根据我们在美国的十年和在中国五年创业的经验谈一谈我们对自动化机器学习和自动化人工智能的认识,并且同步介绍一下我们在这方面的成果。
其实深度学习最标志性的事件是在2012年的时候,多伦多大学有一位教授Geoffrey Hinton,带着两个学生拿了国际比赛的第一名,并且比第二名高出很多,那个比赛叫ImageNet。后来这三个人就组建了一个科技公司卖给了Google。再后来这三个人也在人工智能的领域大展拳脚,Geoffrey Hinton是图灵奖的得主,Ilya后来成为Opne AI的首席科学家,Alex后来去了Google做研究。
Alex对业界的贡献非常大。为什么2012年之前有这么大的发展,其实这是一个逐步累积的过程,一方面互联网的数据达到了一定的程度,另外一方面显卡、GPU算力达到一定的程度,但是很多时候忽视了第三方面就是GPU当时的编程很复杂,尤其是把深度学习、神经网络编写到一个并行计算的框架里面,并不是简单的任务,Alex就把这个GPU实现了,并且得到了很好的结果,把这个结果release就分享给全社会了,所有学者都可以用,当时叫Cuda-convnet。其实我们在2011、2012年做深度学习研究的时候,用的全是这个深度学习的框架。
在这之后,又有一个学生叫贾扬清(阿里巴巴副总裁),他release一个深度学习的框架叫Decaf,其实跟Alex的那个有点像,但是稍微比Alex那个框架又好用一点,这个得到了非常大的传播。
由于Decaf本身存在一些工程上的问题,2014年伯克利又release了Decaf的第二版,我们叫Caffe。Caffe后来变成广泛流传的深度学习神经网络的训练框架,这是2014年。
在这之后,各大公司就投入做深度学习的框架,这是一个营造科技生态非常重要的环节,包括Google的TensorFlow,亚马逊的Mxnet,Meta的Pytorch,包括中国百度的PaddlePaddle。现在流行的主要是两个,就是Google的TensorFlow、Meta的Pytorch。
这个领域你会发现变得越来越开放,第一步开放是研究学者之间的开放。我2008年在美国读博士的时候,那个时候做研究就是你做你的,我做我的,我把我的方法做出来之后,你要实现,可能要花半年的时间先去实现别人的方法,现在不用了,现在几个小时的时间就实现别人的方法,大家把代码开源了,并且用了统一的研究框架,开源统一的研发框架极大程度上研究了相互之间的参照,或者成果的自动化分享。
这是一方面,在研发架构上以及研发方法上的自动化分享越来越便捷,另外一方面学者也注意到,现在很多优秀的人才,所聚焦的研发或者工业界聚焦的研发更多的是在调参数。这些实际上本不应该成为研究的核心内容,所以大家开始探索,有没有自动化的方法,让我们深度学习神经网络的网络架构可以自动化设计,可以面对一个问题的时候,自动化的选择一个方法解决我现在的问题。
所有的学者在2022年的时候,也是最近,发起了一个会议叫做International Conference on Automated Machine Learning。大家发现这个东西可以自动化的完成,自动化有哪些内容去做呢?这是他们所包含的领域,这里面有Neural Architecture Search,就是神经网络的结构能不能自动化寻找和设计。Hyperparameter Optimization,就是自动化神经网络训练时候的哪一个参数好一点,哪一个参数差一点,这个事情也别去想,你可以预测,也可以去寻找,但没有必要让研究学者拿这么高的工资调这个参数。
包括CASH(Combined Algorithm Selection and Hyperparameter Optimization),这个是什么呢?当你要解决一个具体问题的时候,你用哪些混合的方法帮你实现,帮你做这些东西,而不需要你自己手动设计,这是更难的问题,因为这要解决具体的问题。
我想说的是在第一波结果的自动化分享的基础之上,大家开始慢慢地看能不能自动化做技术的设计,把我之前所做设计的工作负担降低一点,这是大家努力的方向。
这个是算法设计的自动化,之前研究成果的是第一阶段,第二阶段是算法设计能不能自动化,自动化的好处是什么呢?减少了大量不具备科学价值的模型调参,这样我们的核心人才就可以投入到更高级的人工技术的研发。
在这个基础上,事情正在起变化,什么在起变化呢?去年在NIPS(Conference and Workshop on Neural Information Processing Systems)上,知名的科学家吴恩达,举办了一个workshop,主要是谈模型和数据到底哪一个更重要。
他一个观点就是,以模型为中心的技术研发转化成以数据为中心的技术研发。我怎么类比这个问题呢?这是我个人的理解,不代表大家的看法,模型和数据之间的对比,你可以简单的类比为一个人的IQ和知识储备的对比。这个人很聪明,如果从小就放在家里面,永远不跟社会打交道,也不让他学习新的知识,还是一个很笨的人。但即使这个人资质平平,但是他见过全世界各地的东西,去美国留学过,去欧洲留学过,在中国做过实际工业化的生产,看过很多设计的案例,他可能比这个IQ高的人更厉害,如果这样理解,模型就有点像IQ,数据就有点像知识,knowledge,两个同等重要,而且越到后面你会发现knowledge越来越重要。
>相关《人工智能群英会，云天励飞首席科学家王孝宇做主旨报告》内容：
1、 北京人工智能产业联盟专家顾问委员会成立
北京商报讯（记者 魏蔚）7月28日，在2022全球数字经济大会人工智能驱动未来产业论坛上，北京人工智能产业联盟专家顾问委员会（以下简称"委员会"）正式成立。委员会主任由中国工程院院士赵沁平担任，中国工程院院士邓中翰、中国科学院院士鄂维南等担任副主...【继续阅读】
2、 向YOUNG芯升 芳华未来 中国太保寿险隆重举办个人业务第26届群英会暨第3届绩优组织峰会
7月25-26日，中国太保旗下中国太保寿险在重庆隆重举办个人业务第26届群英会暨第3届绩优组织峰会，主题为“向YOUNG芯升，芳华未来”。全国近200位寿险精英接受主会场现场表彰，近700位获奖人员在各分公司分会场接受表彰，大家通过视频连线方式分享、见证了...【继续阅读】
3、 瑞莱智慧两大平台同时入选工信部人工智能产业揭榜单位名单
理财鱼小提示：瑞莱智慧两大平台同时入选工信部人工智能产业揭榜单位名单 近日，工业和信息化部“人工智能产业创新任务揭榜单位”名单揭晓，瑞莱智慧从千余家申报单位中脱颖而出，旗下的人工智能安全平台RealSafe和人机协同AI平台RealCenter双双入选这一国家级重...【继续阅读】