【中国智能制造网 企业动态】当前,各家机构对AI的研究重点各不相同。不同的机构在他们认为重要的研究领域有不同的优先级。一场AI军备竞赛已经拉开序幕,而终的赢家则是幸运地把资源投入到了可能获胜的研究方法上的人。这个几率确实很小,但考虑到涉及的高回报,每家公司看来都正在进行这场赌博。
各大科技巨头纷纷大力投资深度学习,都有抢占DL山头之势。但细看就能发现,玩家进攻深度学习的侧重点和偏好的方法实际上各不相同。本文作者根据观察,从谷歌eepMind、微软到近表现突出的亚马逊、Uber,盘点AI产业玩家的深度学习实力和战略。
长期以来,我一直在努力理解深度学习的研究发展。我使用的方法论是模式设计编目,它对于分析这个复杂程度不断增长的领域相当有效。事实上,由于该领域的巨头持续在发表新的令人惊讶的研究成果,我自己对这些概念的理解也将继续调整。
然而,我观察到的某些模式实际上超出了对深度学习的一般理解范围。我观察到的是,不同的研究团体似乎侧重使用不同种类的方法来解决人工智能的谜题。不过,预先声明,我并不了解这些组织内部的运作机制,以下内容都是我个人的观察思考而已。
幸运的是,通过阅读这些机构发表的研究成果,你就会有这样的感觉:各个团体所喜欢的方法各不相同(注意:这些方法不是相互排斥的)。所以,请让我顺便说明一下自己对于偏见(或偏好)的直觉——领域里的每个大玩家都在如何研究深度学习。
谷歌DeepMind:强化学习&深度学习
谷歌在看到DeepMind的Atari游戏AI之后将DeepMind收购。自此,DeepMind一直喜欢在他们的方法中使用强化学习。他们肯定将深度学习作为大多数研究的组成部分,但似乎总是强调深度学习与强化学习的组合,也就是深度强化学习。
DeepMind深度学习研究大多集中于在模型中的非参数层嵌入使用变分法。DeepMind还关注注意力机制和记忆增强网络。在研究的广度上,我认为没有组织能企及DeepMind。DeepMind的研究驱动力似乎是想要发现智能的本质。
谷歌大脑:侧重实用和工程,强调应用可扩展
谷歌大脑在处理研究方面有着很明显的侧重实用和工程的方法。你可以看到他们如何对inception架构进行各种各样的细节调整。他们在围绕可用的计算资源如何搭建深度学习架构方面做了大量的工作。谷歌还结合了其他传统算法,如beamsearch、图遍历和深度学习的广义线性模型。这种方法似乎也强调了对可扩展解决方案的需求。(编注:很奇怪这里作者没有提到谷歌挖来Hinton
、李飞飞、李佳等学术大牛及他们进入谷歌后所的研究。)
得益于其庞大的计算和数据资源,谷歌(大脑)在深度学习方面取得了令人印象深刻的成果。
Facebook/FAIR:重视基础理论研究,但主线不明
这是由Yann Le Cun领导的团队,目前还不清楚它的实力有多么强大,因为大多数创新研究似乎都来自于LeCun在纽约大学的研究小组。LeCun的团队进行的是探索深度学习基本层面的实验性研究。在研究深度学习基础理论这一方面,目前各大机构的研究团队花费的功夫不多。
FAIR已经在Torch上发布了几个不错的开源实现项目,在某些问题上使用深度学习做出了一些成绩。然而,很难看出FAIR有任何特定的研究偏好。我发现很难从他们的研究工作中看出一个主线。
微软:底蕴深厚,实力不凡
类似于谷歌,微软的方法非常实际并且面向工程。微软拥有的计算机科学人才,发明残差网络就是一个例子。微软还有其他新颖的方法,例如DecisionForrest,这些表明微软显然是深度学习领域思想的而非只是追随。微软的认知工具包,虽然参与AI这场游戏比较晚,但是从工程上说品质很高。微软的开源深度学习平台CNTK可能是使用分布式计算学习方面好的框架之一。
可以说,微软在深度学习方面的研究贡献可能仅次于谷歌。这可是相当了不起的,因为没有研究深度学习出身的研究人员加入他们的团队。
OpenAI:偏爱对抗生成网络
OpenAI是由ElonMusk等人创办的,成立的初衷是他们害怕其他公司大幅吸取深度学习人才。如果不能在财务上竞争(给予高新),OpenAI就提供学术上的自由——这也的确吸引到了很多的人才,包括从谷歌。
OpenAI倾向于使用生成模型,更具体地说,是对抗生成网络(GAN)。他们还对增强学习环境做出了认真的努力(例子是OpenAIGym)。很奇怪的是,尽管GAN的性能表现如此之好,但是DeepMind似乎更偏爱变分模型(variationalmodel)。
微软已经向OpenAI提供了Azure服务,因此可以认为微软与OpenAI已经结成联盟。此外,就在NIPS2016开会的前一天,OpenAI发布了Universe,后者是一个在几乎所有环境中衡量和训练AI通用智能水平的开源平台。而且,其合作伙伴可是有一大堆显赫的公司名字。
蒙特利尔大学/YoshuaBengio团队:仅存的学术重镇
这是Yoshua Bengio带领的小组,经常发表论文。Bengio是少数意志坚定的研究人员,目前还没有不向任何一家商业实体屈服(不过,Bengio自己试图在蒙特利尔构建AI生态圈,并且参与创立了一个名叫Element AI的孵化器,以强大的学术实力为卖点,为企业提供的解决方案,还以合资经营的方式扶持AI初创公司)。
与LeGun在NYU的研究小组类似,Bengio团队也侧重于弄清深度学习的工作原理。此外,该团队还建立了很多深度学习新模型和学习算法。MILA(蒙特利尔大学学习算法学院)可以说是地球上好的学术深度学习研究小组。
谷歌非常精
明,通过资助Bengio的小组进行一些间接的控制。这一举措促使Hugo Larochelle离开Twitter(迅速退出产业界),并加入谷歌在蒙特利尔新成立的AI实验室。
SalesForce MetaMind:应该认真对待
由RichardSocher领导,来自该组的大部分工作都明显地倾向于使用基于RNN(递归神经网络)的方法来解决NLP问题。SalesForce的解决方案大多面向在其构造中使用记忆(employmemory)的网络。这些人的研究成果相当令人印象深刻,因此应该认真对待。
百度:强调基础设置建设
吴恩达的团队可能是批真正使用Infiniband网络创建大规模GPU系统的组织之一。他们做了很多强调基础设施的工作,并有一些开源的解决方案(包括开源深度学习平台Paddle Paddle)。百度的研究重点是图像和语音处理,后者做得非常好。此外,不要忘了百度还有无人驾驶汽车。
英伟达:把一切都赌在了深度学习上
英伟达把一切都赌在了深度学习解决方案上。他们有好的工程团队孜孜不倦地调整他们的GPU,以获得好的性能。虽然英伟达在深度学习创新方面完全没有进行任何研究,但他们花费了大量精力来打造深度学习所需的强大计算资源。
不过,英伟达在无人驾驶汽车领域可能一个先行者,他们有篇论文,关于自动驾驶汽车端到端的深度学习解决方案,给我留下了深刻的印象。
英特尔Nervana:不能忽视的玩家
英特尔在收购Nervana初创公司前就陷入了严重的麻烦。他们的硬件解决方案远不及竞争对手英伟达。Nervana非常善于研发深度学习使用的计算基础设施。GPU硬件上一些快的部署都来自Nervana。我的推测是,Nervana是因为其软件而被收购,不一定是它正在开发设计的硬件。令人好奇的是,Nervana的硬件解决方案将于2017年年中发布,在深度学习领域,这可是一段很长的时间(译注:原文如此,英特尔Nervana首款深度学习芯片预计明年年初发布)。
你不会见到Nervana发表大量的研究论文,我也认为他们在创业公司阶段不可能聚集足够多的深度学习人才。然而,英特尔是一个不能轻视的玩家,他们有与Micron共享的技术,这可能给英特尔带来在深度学习这个领域无法逾越的优势。
IBM:AI开路者,但近年深度学习表现不太突出
BM以Watson在《危险边缘》节目中打败了人类竞争对手了整个AI热潮。2011年,IBM被认为于所有人。不幸的是,深度学习一路走来,IBM在这个领域反应缓慢。Watson在一些解决方案中显然使用了深度学习技术,但IBM几乎没有进行什么深度学习方面的研究。他们有True North神经形态计算芯片,但这似乎更像炒作。
苹果:目前还没什么可说
除了从CMU挖来Russ Salakhutdinov,苹果的深度学习无需多言。苹果未来的研究将偏向于Russ对无监督学习的研究。苹果正在忙碌地通过收购增加深度学习方面的人才。一些更大的收购(比Dato)主
要发生在机器学习领域。遗憾的是,苹果的收购招聘(acqui-hires)主要是在数据科学和大数据领域。我猜想,当苹果意识到深度学习与机器学习是不同之后时,他们就冲出去挖来了Salakhutdinov。
苹果的文化非常隐秘,所以我不知道他们不发表论文是否表明他们缺乏专业知识或拖了公司的后腿。更新:据报道,苹果已经在NIPS2016上发表了他们的篇研究论文。
亚马逊:异军突起,实力意外雄厚
不多说,支持MXNet是一件好事。亚马逊初开源了一个名为DSSTNE的框架,它不幸地注定遭到社会的忽视。另一方面,考虑到没有得到任何一家大公司支持,MXNet的实力令人印象深刻。
不久前,亚马逊推出了线下智能购物商店AmazonGo,从宣传片看来,他们将深度学习很好地融入了生活,这也说不定是个异军突起的玩家。
Uber:打算要成为BigFour的节奏?
Uber近收购了自动驾驶卡车初创公司Otto,刚刚通过收购Geometric Intelligence建立了他们的AI实验室。Uber创始人兼CEOGaryMarcus之前在接受其他媒体采访时,看上去对深度学习并没有那么重视。Marcus是认知心理学家,而不是计算机科学家,这一点很重要。不过,Geometric Intelligence能够雇用一大批机器学习从业者。Uber的这次收购很可能是一次人才收购,因为Geometric Intelligence不大可能有收入,更不用说有任何产品了。
以上只是我的个人印象。我确定,考虑到深度学习领域的大量信息,我可能漏掉了一些已发表并应当予以承认的论文或研究成果。所以如果你觉得我的评论不公,还望海涵。
在这篇文章中,我只想指出,各家机构对AI的研究重点各不相同。不同的机构在他们认为重要的研究领域有不同的优先级。一场AI军备竞赛已经拉开序幕,而终的赢家则是幸运地把资源投入到了可能获胜的研究方法上的人。这个几率确实很小,但考虑到涉及的高回报,每家公司看来都正在进行这场赌博。
(原标题:【盘点】14家AI产业巨头深度学习实力及战略分析 作者:CarlosE.Perez)