第四范式陈雨强对话Yann LeCun：结合“宽与深”是AI发展的新契机

7月4日，卷积神经网络（同“CNN”）发明人、Facebook人工智能研究院院长、纽约大学终身教授Yann LeCun出席了上海交通大学举行的“中美人工智能高端论坛”，并发表学术报告 Deep Learning and AI：Past, Present, and Future。演讲之后，第四范式联合创始人兼首席研究科学家陈雨强、思必驰首席科学家俞凯、今日头条实验室总监李磊、360人工智能研究院院长颜水成等中国新锐人工智能科学家代表，与 Yann LeCun教授进行了主题为「对话人工智能未来」的圆桌讨论。

Yann LeCun教授是卷积神经网络之父，被公认为是世界人工智能三巨头之一。此次到访中国，Yann LeCun教授与国内人工智能一线的新锐标杆人物，交流了两国AI技术的发展现状与未来趋势，对推动AI学术研究的发展具有权威的指导意义。在对话中，第四范式陈雨强针对于AI模型的发展趋势，提出了其关于“人工智能模型宽与深“的思考。

陈雨强此前曾在百度凤巢主持架构了世界上第一个商用的深度学习系统，在今日头条主持设计了中国用户量最多的新媒体人工智能推荐系统，在人工智能工业应用领域拥有自己的深入理解。陈雨强表示，近年来，各行各业都逐渐转向“AI化”，而“VC维”是衡量人工智能工业应用水平的关键。VC维理论反映了函数集的学习能力——VC维越大则模型或函数越复杂，学习能力就越强。工业界如何能够有效地提高机器学习模型的VC维？陈雨强称，机器学习包含数据、特征、模型三个方面，在数据足够充足的情况下，可以沿着模型和特征两条路径切入，在提升VC维方面做一定功课。

事实上，两种路径都有非常成功的应用案例。深度学习依靠在模型表达性与推理方面的天然优势，在语音、图像等领域被广泛应用；宽度学习则在细致刻画和记忆特征方面优势明显，凭借层次化的特征工程，也能获得非常好的泛化效果，被应用在广告、推荐等领域，尤其是近期，越来越多的领域开始探索宽度学习技术，此前北京航空航天大学计算机学院副教授童咏昕与陈雨强等人在2017年KDD会议上发表论文，就提出了利用简单、统一的框架解决打车需求预估的问题。

在谈及模型的未来发展趋势时，陈雨强称，宽与深的结合已成为研究热点。2016年6月，Google研究院发表论文称，正在研发Wide&Deep Model，并表示其在搜索、广告与推荐等领域均十分有效。同年7月，第四范式发布了新一代的模型算法——深度稀疏网络DSN（Deep Sparse Network）。Wide&Deep Model利用深度窄网络刻画宏观特征之间的关系，利用宽度浅层网络记忆微观特征，但无法刻画微观特征之间的复杂关系，由于Wide&Deep Model将“宽”和“深”分离，导致微观和宏观特征之间的关系也无法刻画。与Wide&Deep Model不同，第四范式的DSN将“宽”和“深”做了更全面的融合，算法底层是上千亿大小的宽度网络，上层是一个全连接的网络，这样既可以记住更多信息，又能刻画所有特征（包括宏观特征和微观特征）之间更复杂的关系。在参数规模上，Wide&Deep Model支持的参数规模为十亿级, DSN支持的参数规模已达到十万亿级，模型“VC维”更高。这意味着随着数据量的增大，模型效果将有更大的提升空间。

在对话最后陈雨强表示，在通过技术层面提高模型维度的同时，第四范式也在积极降低机器学习的使用门槛，让更多的技术、业务等非专业建模人员能够使用机器学习，建立适合各个业务的高维模型。