您当前的位置是:  首页 > 新闻 > 国内 >
 首页 > 新闻 > 国内 >

智铀科技创始人兼CEO夏粉:AutoML从学术走向企业应用

2018-07-24 13:38:42   作者:   来源:CTI论坛   评论:0  点击:


  2018年7月6日易谷网络“智能服务与营销新方案发布会”在北京泛太平洋酒店顺利举办。智铀科技创始人兼CEO夏粉发表了题为《基于AutoML的智能推荐技术》的主题演讲。
  夏粉:大家好!刚才提到“机器学习”,现在它是热门词,当我读博士时它是冷门词。我的导师是机器学习的泰斗王珏老师,他说“你来我这,将来找不到工作,毕业之后只能当老师。”谁也没想到,人工智能、大数据、物联网都起来了,机器学习变得热门了。
  我今天的主题是“基于AutoML的智能推荐技术。”
  我是机器学习的博士,有15年以上的机器学习的经验,15年前机器学习是个冷门。我在学术界机器学习顶级会议和杂志上都有文章。现在是智铀科技创始人,专注于自动化机器学习,就是AutoML技术产品和研发。曾经在百度任资深科学家,在百度期间负责百度的超大规模机器学习团队,在百度期间我曾经研发了一个大规模稀疏架构自动化机器学习平台Pulsar,覆盖百度90%的业务线,包括百度核心业务线凤巢、金融、糯米等,在百度内部机器学习平台中用户数排名第一。
  推荐在日常生活中各个场景都会发生,我们吃饭时希望美团推荐餐厅,在上网时希望推荐合适的广告,在信息资讯时希望给我们推荐合适的资讯,在打电话给客服时希望它推荐给我们满意的客服。
  这是百度搜索的图,当用户在百度搜索引擎查询“北京美食”时,这个页面下方有一个广告块,我们希望广告块推荐用户满意的广告。对一个系统来说,这件事情是怎么发生的?当用户输入检索词时,怎么检索系统?从它的广告库里成千上亿的广告库里挑选广告。广告怎么挑选?它有很多维度,比如广告满意度、相关性、点击率等,这个系统会综合各因素,从上亿的广告里找出一个用户满意的广告。
  从我刚才的描述中发现,所谓的推荐一定要有一个目标,这个目标可能是你的相关性,也可能是点击率,也可能是相关性和满意度的综合体,但无论如何,这里面核心的问题是需要对场景做精准预测。以点击率为例,希望用户输入查询时,推荐一个点击率比较高的广告。点击率这件事情是什么?实际上是一个模型,模型是描述系统里各因素的相关关系,什么叫相关关系?以这个为例,我们希望用户在这个场景下点击这个广告的可能性,这就是相关性。推荐系统的核心是建模,我们希望找到这样的规律,找到这个规律的过程,就是建模的过程。建模就是学习概念。
  对比使用推荐技术和不使用推荐技术的广告系统,当使用推荐技术以后,发现在广告投放的相关性上得到提升,在点击率上得到提升,在收入上也同样得到提升。原因是什么?因为我们建了模型,通过模型能够预测出来将来发生的事情,可以通过预测来达到想要的目标,比如我通过预测广告点击率比较高,所以把点击率高的广告挑出来,自然推荐时就会得到很高的点击率。
  推荐技术的核心问题是建模问题,但建模问题并不是一个崭新问题。自从人类文明以来,人类就一直在建模。当我们没有计算机的时候、没有数据的时候,怎么建模?用人脑建模。人脑会看到很多事情,比如有一句话叫“阅人无数”,指的是看的人多了以后,会根据言谈举止推测人的性格,这个建模过程是在脑袋里面的。第一代建模技术主要表现在人工规则、表现在统计方法。
  当计算机出现的时候,进入第二代建模方法“机器学习”,它克服了人工建模的犯错,而且当因素变多时候,人很难发现因素间的关系,这时需要借鉴机器学习的方法。当数据量有限时,这时建的模型是小规模模型。当深度学习、互联网企业加入时,互联网拥有更大算力、更多数据,这时建模会容纳更多数据,计算更精确,是第三代建模技术。大家感知比较多的是第三代建模技术,因为第二代是学术研究场景,到第三代时大家真的感到人工智能时代来临了。
  第二代和第三代建模解决的是什么问题?第一代计算机会得到模型,但它并不能得到好的模型。如果你想建一个好的模型,这时还差一个事情,各个企业转人工智能得招人、招科学家,直接用第二代、第三代技术不能得到好的模型,如果得到好的模型必须聘请科学家,好科学家的数量是稀缺,严重制约企业在人工智能的发展。如果希望人工智能造福各行各业,我们一定要降低门槛,去除对科学家的依赖。这时第四代建模技术是AutoML技术来临,主要的特点是去除对科学家的依赖,不光用计算机建一个模型,而且是建一个好的模型。
  这是机器学习的建模流程,原始数据特征抽取之后进行数据预处理,然后对特征预处理-选择算法-调参-评估-预测-得到模型。通过不断的迭代才得到不断的模型,有好的模型才能够得到预测。举个类似的场景,以做饭为例,数据相当于原料,比如米、蔬菜,第一步数据预处理,对蔬菜进行清洗,把不干净的、老的地方去除,第二步特征预处理,类似于菜的搭配,选择算法可以理解为选择锅,高压锅或者平底锅,调参可以理解为掌握火候,这个菜好不好吃可以进行口味的调整,如果菜不好吃就要重复这个流程。五星级的厨师是反复进行这个流程。
  机器学习建模场景在一开始是没有经验的,我从自动化所加入百度时,对广告建模也没有经验,我是怎么有经验的?重复这个过程。这个过程中非常痛苦的,我带30个人重复了3年这个事情。但做的过程中给百度带来了巨大的利益,每次调参,模型变得越来越精准,收益在逐渐调整。
  对于早期的互联网公司经历了第三代的学习技术,大量依赖于科学家和人力成本。有没有办法去除这个依赖?有!目前的解决方案是AutoML,把中间重复的、繁杂的调参过程去除,类似于做饭去除了对厨师的依赖,我们给大家一个智能锅,把原料放进去以后,它自动给你加工出一个菜,而且保证这个菜的口味非常好吃,这就是AutoML技术要研究的内容。
  目前学术界和工业界都对此展开研究,在国际机器学习大会以及神经处理大会NIPS上,最近几年把它列为专门的议题在讨论。同样,在企业界,谷歌于2017年已经把AutoML技术作为它的云战略重要组成部分。谷歌为了提升它云的占有率,提出了三大战略,其中就有AutoML技术,主要是为了抢占云的市场,AutoML技术是对一个企业非常重要的技术。
  这个技术很热,但也困难,是机器学习领域最前沿的技术之一。它为什么困难?第一,参数调节非常复杂,跟做菜一样有很多工序,每个工序都需要调。第二,目标函数不可导,比如做饭选择平底锅还是高压锅,这个锅的选择是突变过程,不能对菜的好坏形成连续影响,这带来了优化挑战。第三,评估代价特别大,以做饭为例,需要把所有的东西做完以后才知道好吃不好吃,中间过程没有办法评估。
  技术非常难,但正因为困难,才激起机器学习专家的热情。包括我本人也对此非常热情,从我加入百度时,就一直在研究这套技术。这套技术的学术现状是这样的,目前一两个主流方法,第一种方法是减少搜索代价,还以做饭为例,做一半可以确定菜好不好吃,比如菜炒焦了,后面再怎么调也不会好吃,要及时止损,减少迭代次数。第二种方法是AutoML,一个高级厨师做宫爆鸡丁时觉得跟鱼香肉丝相似,所以就没必要再摸索宫爆鸡丁的过程,这时用AI训练,比如训练人脸识别过程,而训练的过程是人工的,训练的过程用机器,相当于用机器人训练机器人,这是AutoML的方法,及时止损和得到效率的极大提升。
  智铀科技是目前少数几个跟谷歌一样掌握自动化机器学习的公司之一,我们不断对学术界现状做了了解,除此之外还独创很多算法。举个例子,我们在模型算法上,建立了万亿的神经网络,是目前世界最大的神经网络。在特征学习用独特的算法,这个算法一个下午就可以相当于用30个人调3年。我们还有参数学习方法。
  对于AutoML的展望,第一代人工智能是学习分类器,让大家感觉到人工智能来了。第二代是学习特征,能够找出这个图片有哪些特征表示。第三代是学习如何学习,就是给了你目标以后,希望人工智能能够自动学习出目标来,而不需要人工干预。第四代是学习学习什么,机器自动思考该学习什么,而不像前三代由人来指定学什么。
  智铀科技是一家年轻公司,成立一年多,公司使命是“致力于企业级自动化机器学习平台研发”,希望通过我们的技术,降低企业应用AI门槛,为用户提供数据分析、模型调参等一站式服务,帮助企业构建人工智能核心,实现AI驱动,而且这个驱动是低成本的。降低去除科学家的依赖。
  我们尽管成立时间不长,但推出了小智产品,它拥有当前最先进的AutoML技术。产品亮点主要有:第一,自动化构建高精度模型。第二,简单易用,全程可视化。第三,模型快速部署发布。第四,模型准确性高、速度快,达到高级科学家的水平。第五,支持海量数据建模。右边是合作案例,包括银行、互联网金融、内容营销、基因等等。
【免责声明】本文仅代表作者本人观点,与CTI论坛无关。CTI论坛对文中陈述、观点判断保持中立,不对所包含内容的准确性、可靠性或完整性提供任何明示或暗示的保证。请读者仅作参考,并请自行承担全部责任。

专题