快捷搜索:  as

2020年人工智能将如何发展?机器学习领域顶尖人

人工智能不再筹备着有朝一日改变天下,而是正在改变天下。在我们买入新的一年和十年之际,VentureBeat约请了人工智能领域最敏锐的一些人,从新核阅了2019年取得的成绩,并瞻望了机械进修在2020年将若何成熟。

每小我都有对未来一年的猜测,但这些人——在人工智能领域拥有势力巨子的小我——正在塑造本日的未来,他们怜惜科学追求,他们的经历为其赢得了信誉。只管一些人猜测在诸如半监督进修和神经符号措施等子领域会有进步,但险些所有ML领域的精彩人士都表示,在2019年基于Transformer的自然说话模型方面取得了伟大年夜进步,并估计在面部识别等技巧方面会继承存在争议。他们还盼望看到人工智能领域成长出比准确性更有代价的器械。

Soumith Chintala

PyTorch的认真人、首席工程师和创建者

不管你若何评价,PyTorch是当当代界上最受迎接的机械进修框架。 PyTorch是2002年引入的Torch开源框架的衍临盆品,于2015年可用,并且在扩展和库中稳步增长。

今年秋日,Facebook宣布了带有量化和TPU支持的PyTorch 1.3,以及深度进修可解释性对象Captum和PyTorch Mobile。还有诸如PyRobot和PyTorch Hub之类的器械,用于共享代码并鼓励ML从业者支持可重复性。

今年秋日在PyTorch开拓大年夜会上,Chintala在与VentureBeat的一次对话中表示,他在2019年的机械进修中险些没有冲破性进展。

“实际上,我觉得我们没有创始性的器械……基础上是从Transformer开始的。我们的ConvNets在2012年达到黄金时段,而Transformer在2017年阁下。这是我的小我见地。”他说。

他继承称DeepMind的AlphaGo在强化进修方面的供献是创始性的,然则他说,这些成果很难利用到现实天下的实际义务中。

Chintala还觉得,机械进修框架(如PyTorch和谷歌的TensorFlow)的成长已改变了钻研职员探索思惟和开展事情的要领,这些机械进修框架在当今的ML从业者中广受迎接。

他说:“从某种意义上说,这是一个冲破,它使他们移动的速率比曩昔快了一两个数量级。”

今年,谷歌和Facebook的开源框架引入了量化,以前进模型练习的速率。在未来的几年中,Chintala盼望PyTorch的JIT编译器和Glow等神经收集硬件加速器的紧张性和采纳率“爆炸式增长”。

“借助PyTorch和TensorFlow,你已经看到了框架的交融。呈现量化的缘故原由,以及其他一系列较初级其余效率,是由于下一场战斗是框架的编译器——XLA,TVM,PyTorch拥有Glow,许多立异正在等待发生。”他说,“在接下来的几年中,你将看到……若何更智能地量化,若何更好地交融,若何更有效地应用GPU,以及若何自动为新硬件进行编译。”

像大年夜多半其他行业引导者那样,Chintala猜测AI社区将在2020年之前将更多的代价放在AI模型机能上,而不仅仅是准确性,并开始将留意力转向其他紧张身分,例如创建模型所需的权重,若何向人类解释输出,以及AI若何更好地反应人们想要建立的社会类型。

“假如思虑一下以前的五、六年,我们只是关注准确性,而原始数据如英伟达的模型是否更准确? Facebook的模型更准确吗?'”他说, “我实际上觉得2020年将是我们开始(以更繁杂的要领)进行思虑的一年,假如你的模型……没有优越的互操作性机制(或满意其他标准),你的模型是否比现在正确3%并不紧张。”

塞莱斯特·基德(Celeste Kidd)

加州大年夜学伯克利分校的成永生理学家

塞莱斯特·基德(Celeste Kidd)是加州大年夜学伯克利分校基德实验室的主任,她和她的团队在这里探索孩子们的进修要领。他们的看法可以赞助神经收集的创建者,这些人正试图以一种与养育孩子差不多的要领来练习模型。

她说:“人类婴儿没有被标记的数据集,但它们治理得很好,对我们来说紧张的是要懂得这种环境。”

让基德在2019年认为惊疑的一件事是,神经收集创建者的数量随随便便救贬低了自己或其他钻研职员的事情,由于他们无法做婴儿可以做的工作。

她说,当你将婴儿的行径匀称化时,您会看到有证据注解他们懂得某些器械,但他们绝对不是完美的进修者,而这种发言对婴儿的能力描画得过于乐不雅。

她说:“人类婴儿很棒,但他们犯了很多差错,而且我常常看到人们随便进行的许多对照,都是把婴儿行径在人口层面上抱负化了。” “我觉得,对付今朝懂得的内容与你接下来想要懂得的内容之间的联系,人们很可能会越来越有辨别力。”

在人工智能中,“黑匣子”这个词已经存在多年了。它曾经用来品评神经收集短缺可解释性,但基德觉得2020年可能意味着神经收集弗成解释的不雅念的遣散。

她说:“黑匣子的论点是虚假的……大年夜脑也是黑匣子,我们在理解大年夜脑若何事情方面取得了很大年夜进步。”

在揭开这种对神经收集的熟识的神秘面纱时,基德钻研了像麻省理工学院- IBM沃森人工智能实验室(MIT-IBM Watson AI Lab)履行主任奥德·奥利瓦(Aude Oliva)这样的人的事情。

“我们当时在讨论这个问题,我说了有关该系统是黑匣子的工作,她合理地非难了我,说他们当然不是黑匣子。当然,你可以将它们分化并将它们拆开,看看它们若何事情并对其进行实验,就像我们为理解认知所做的一样。”基德说。

上个月,基德在神经信息处置惩罚系统(NeurIPS)会议上颁发了开幕式主题演讲,这是天下上最大年夜的年度AI钻研会议。她的演讲重点关注人脑若何恪守执拗的信念,留意力系统和贝叶斯统计。

她说,信息通报的“舒适区”介于一小我之前的兴趣和理解与他们认为惊疑的器械之间。人们倾向于较少打仗那些过于令人惊疑的内容。

然后她说,不存在中立的技巧平台,于是她把留意力转向内容保举系统的制造商若何操纵人们的信念。为了追求最大年夜程度的介入而构建的系统会对人们若何形成信念和不雅点孕育发生重大年夜影响。

基德在演讲中谈到了机械进修中男性的误解,即与女性同事独自一人会导致性骚扰指控并停止男性职业。她说,这种误解反而会侵害女性在该领域的职业。

因为在罗切斯特大年夜学颁发有关性行径不真个谈吐,基德与其他女性一路被评为2017年度“年度人物”,这些女性赞助实现了我们现在所说的“平等对待妇女运动”。当时,基德觉得大年夜声疾呼将停止她的职业生涯。

她盼望在2020年看到人们越来越意识到技巧对象和技巧决策对现实生活的影响,并回绝觉得对象制造商对人们的应用行径不认真任的不雅点。

她说:“我听到很多人试图说'‘我不是真理的审判人’来为自己辩白。” “我觉得必须前进对这是不诚笃态度的熟识。”

“在一个社会,尤其是作为应用这些对象的人们,我们真的必要直接意识到随之而来的责任。”

杰夫·迪恩(Jeff Dean)

谷歌AI总监

迪恩引导Google AI已有近两年光阴,但他已经在谷歌事情了二十年,是谷歌早期搜索和散播式收集算法的架构师,也是Google Brain的早期成员。

迪恩上个月在NeurIPS上与VentureBeat进行了交谈,在那里他就ASIC半导体设计的机械进修以及AI社区应对气候变更的要领进行了演讲,他说这是我们期间最紧张的问题。在关于气候变更的评论争论中,迪恩评论争论了AI可以努力成为零碳行业以及AI可以用来赞助改变人类行径的设法主见。

他估计到2020年,多模式进修领域将取得进展,这是一种寄托多种媒体进行练习的AI,而多义务进修则涉及旨在一次完成多个义务的收集。

毫无疑问,2019年最大年夜的机械进修趋势之一是基于Transformer的自然说话模型的持续增长和扩散,此前模型Chintala被称为近年来人工智能最大年夜的冲破之一。 谷歌于2018年开源了基于Transformer的模型BERT。根据GLUE排行榜,今年宣布的许多机能最高的模型(例如Google的XLNet,微软的MT-DNN和Facebook的RoBERTa)都基于Transformer。公司谈话人奉告VentureBeat,XLNet 2将于本月晚些时刻宣布。

迪恩指出了已经取得的进展,他说:“ ...我觉得全部钻研线程在实际产活力械进修模型方面异常富有成效,[现在让我们]做的机械进修模型比以前能够完成的繁杂得多。然则他弥补说,仍有增长空间。“我们仍旧盼望能够创建更多情境的模型。像现在这样,BERT和其他模型可以很好地处置惩罚数百个单词,但不能作为处置惩罚高低文的10,000个单词。是以,这是[有趣的偏向。”

迪恩说,他盼望少强调一些最新技巧,而倾向于创建更强大年夜的模型。

Google AI还将努力推进新的举措,例如Everyday Robot,这是一个于2019年11月推出的内部项目,旨在制造能够在家庭和事情场所完成常见义务的机械人。

Anima Anandkumar

英伟达机械进修钻研总监

Anandkumar在担负AWS首席科学家后加入了GPU制造商英伟达。在英伟达,人工智能钻研在多个领域进行,从医疗保健的联合进修到自动驾驶,超级谋略机和图形学。

英伟达和Anandkumar在2019年的重点领域之一是强化进修的仿真框架,这些框架越来越受迎接且成熟。

在2019年,我们看到了英伟达的Drive autonomus驾驶平台和Isaac机械人模拟器的兴起,以及从模拟和天生抗衡收集或GAN天生综合数据的模型的兴起。

去年还迎来了AI的兴起,例如StyleGAN(一种可以使人们分辨不出自己看到的是谋略机天生的人脸照样真实的人的收集)和GauGAN(可以用画笔天生风景的收集)。 StyleGAN2上个月首次亮相。

GAN是可以隐隐现实边界的技巧,Anandkumar觉得,它们可以赞助AI社区考试测验办理的主要寻衅,例如抓握机器臂和自动驾驶。

Anandkumar还盼望未来一年经由过程迭代算法、自我监督和练习模型的自练习措施取得进展,这些模型可以经由过程对未标记数据进行自我练习来改进。

“我觉得各类不合的迭代算法都是未来,由于假如你只做一个前馈收集,那么鲁棒性就成为问题。”她说:“假如你考试测验进行多次迭代,并根据所需的数据类型或精度要求对迭代进行调剂,那么实现这一目标的时机就更多了。”

Anandkumar看到了2020年AI社区面临的浩繁寻衅,例如必要与各领域专家一道创建专门针对特定行业的模型。决策者、小我和AI社区也将必要办理代表性问题,以及确保用于练习模型的数据集能够涵盖不合人群的寻衅。

她说:“我觉得[面部识别问题]很轻易掌握,然则在很多[其他领域]……人们没故意识到应用数据存在隐私问题。”

Anandkumar说,面部识别获得了最大年夜的关注,由于很轻易理解面部识别若何侵犯小我隐私,然则AI社区在2020年还面临许多其他道德问题。

“我们将在数据网络要领和应用要领方面进行越来越严格的检察。这种环境正在欧洲发生,然则在美国,我们肯定会看到更多这样的环境,而且出于精确的来由,我们会看到更多这样的环境,比如国家运输安然委员会和联邦运输治理局。”她说。

在Anandkumar看来,2019年的一大年夜惊喜是文本天生模型的成长速率。

“ 2019年是说话模型之年,对吗?现在,我们第一次在段落长度上达到了加倍连贯的文本天生,这在曩昔是弗成能的,但现在已经很好了。”Anandkumar说。

2019年8月,英伟达推出了Megatron自然说话模型。Megatron拥有80亿个参数,是举世最大年夜的基于Transformer的AI模型。 Anandkumar说,她对人们开始将模型表征为具有个性或字符的要领认为惊疑,并且她盼望看到更多针对特定行业的文本模型。

“我们还没有达到孕育发生对话的阶段,这种对话是互动的,可以跟踪并进行自然的对话。以是我觉得,到2020年,在这个偏向上将会有更多卖力的考试测验。”她说。

例如,开拓用于节制文本天生的框架要比开拓用于识别人或工具的图像的框架更具寻衅性。文本天生模型还可能面临例如为神经模型定义事实的寻衅。

着末,Anandkumar说,她很痛快看到基德在NeurIPS上的演讲得到了起立鼓掌,并且被机械进修社区中越来越成熟和包涵的迹象所鼓舞。

“我感觉现在是分水岭。” 她说, “一开始以致很难做些小篡改,然后大年夜坝就破碎了。我盼望是这样,由于在我看来,我盼望维持这种势头,并进行更大年夜的布局革新,并使所有小组,这里的每小我都发告竣长。”

达里奥·吉尔(Dario Gil)

IBM钻研总监

吉尔引导的一组钻研职员积极为白宫和天下各地的企业供给咨询办事。他觉得,2019年的重大年夜飞跃包括环抱天生模型的进步,以及天生可托说话的质量赓续前进。

他猜测,在低落精度的体系布局上,更有效的培训将继承取得进展。更高效的AI模型的开拓是NeurIPS的重点,IBM Research在此引入了具有8位精度模型的深度进修技巧。

他说:“我们用现有的硬件和GPU架构来练习深度神经收集,其效率仍旧很低。”是以,对这个问题进行根本性的反思是异常紧张的。我们必须前进人工智能的谋略效率,这样我们才能做得更多。”

吉尔引用钻研注解,对机械进修练习的需求每三个半月翻一番,这比摩尔定律所猜测的增长快得多。

吉尔也对AI若何赞助加速科学发明认为愉快,然则IBM Research将主要专注于机械进修的神经符号措施。

吉尔盼望AI从业者和钻研职员将专注于准确性以外的指标,以斟酌临盆中支配的模型的代价。将该领域转向构建受相信的系统,而不是把准确性放在首位,这将是继承采纳AI的中间支柱。

“社区中有些人可能会继承说,‘不用担心,只要供给准确性。不要紧,人们会习气这个器械有点像黑匣子,”或者他们会提出这样的论点,即人们无意偶尔不会对我们做出的某些抉择孕育发生解释。我觉得,异常紧张的一点是,我们要集中社区的常识气力,在此方面做得更好。人工智能系统不能成为关键义务利用法度榜样的黑匣子。”

吉尔信托要开脱这样的不雅念,即只有少数机械进修领导才能做到AI,以确保更多的具稀有据科学和软件工程技能的人采纳AI。

他说:“假如我们把它作为一个神秘领域,那便是AI的领域,只对从事这方面钻研的博士开放,它并不能真正匆匆进人工智能的利用。”

在来年,吉尔对神经符号AI分外感兴趣。 IBM将寻求神经符号措施来增强诸如概任性编程之类的功能,此中AI将进修若何操作法度榜样以及可共享其决策背后缘故原由的模型。

他说:“经由过程采纳这种混杂的措施,一种新的现代措施,经由过程这些神经符号措施,把进修和推理结合在一路。在这种措施中,符号维度嵌入到进修法度榜样中。我们已经证实,你可用所需数据的一小部分来进修。”“由于你学了一个法度榜样,你终极获得了一些可解释的器械,并且由于你有了一些可解释的器械,你获得了一些更可托的器械。”

他说,公道性,数据完备性和数据集选择等问题将继承引起人们的广泛关注,“与生物识别技巧有关的任何工作也将如斯”。面部识别获得了很多关注,但这仅仅是开始。语音数据以及其他形式的生物识别技巧将越来越具有敏感性。他继承引用了哥伦比亚大年夜学教授Rafael Yuste的话,他从事神经技巧钻研,并正在探索提取视觉皮层上神经模式的措施。

吉尔说:“我以这个例子为例,所有与身份、人的生物特性以及人工智能在阐发方面取得的进步,将继承处于前沿和中间位置。”

除了神经符号和知识推理(MIT-IBM沃森实验室的一项旗舰计划外),吉尔于2020年表示,IBM Research还将探索AI量子谋略,以及AI模拟硬件,而不仅仅是低落精度的架构。

总结

机械进修正在继承塑造商业和社会,VentureBeat采访的钻研职员和专家看到了一些即将呈现的趋势:

跟着Transformers推动了伟大年夜的飞跃,自然说话模型的进步是2019年的主要故事。在2020年探求更多基于BERT和基于Transformer的模型的变体。

人工智能行业应该探求措施来评估模型输出的准确性。

诸如半监督进修,机械进修的神经符号措施之类的措施以及诸如多义务和多模式进修之类的子领域可能会在明年呈现。

与生物统计数据(如语音记录)相关的伦理寻衅可能会继承引起争议。

量化之类的编译器和措施可能会在诸如PyTorch和TensorFlow之类的机械进修框架中作为优化模型机能的要领而盛行。

本文滥觞前瞻网,转载请注明滥觞。本文内容仅代表作者小我不雅点,本站只供给参考并不构成任何投资及利用建议。(若存在内容、版权或其它问题,请联系:service@qianzhan.com)

您可能还会对下面的文章感兴趣: