51期单双中特:只有大规模算力才能救AI?强化学习之父 vs 牛津教授掀起隔空论战

来源:SOHU  [  作者:量子位   ]  责编:吕秀玲  |  侵权/违法举报

单双中特王长期公开 www.ybcy5.cn

原标题:只有大规模算力才能救AI?强化学习之父 vs 牛津教授掀起隔空论战

乾明 安妮 发自 凹非寺

量子位 出品 | 公众号 QbitAI

70年来, 人们在AI领域“一直连续犯着同样的错误”。

这是“强化学习之父”理查德·萨顿(Richard S. Sutton)为同行后辈们敲响的警钟。

他在博客上发表最新文章《苦涩的教训》(The Bitter Lesson),总结了AI发展史上的怪圈:

人类不断试图把自己的知识和思维方式植入到AI之中,比如用人类的思路教AI下棋、将让AI按照人类总结的思路来识别图像等等。这些做法,能带来暂时的性能提升,长期来看却会阻碍研究的持续进步。

真正的突破,总是来自完全相反的方向。摒弃人类在特定领域的知识、利用大规模算力的方法,总会获得最终胜利。

靠自我对弈磨炼围棋技艺的AlphaGo,基于统计方法、深度学习来识别语音、图像的算法,一次次击败先前那些浓缩了人类知识的AI,甚至人类自己。

搜索、学习,充分利用大规模算力才是王道。用人类在特定领域的知识来提升AI智能体的能力,都是在走弯路。

萨顿说:“将AI建立在我们对自身思维方式的认知上,是行不通的?!?/p>

OpenAI首席科学家Ilya Sutskever精辟地总结了萨顿的核心观点:算力常胜。

文章一发出,就引发了热烈的讨论,OpenAI CTO Greg Brockman、特斯拉AI总监Andrej Karpathy等人都在转发附议。

DeepMind机器学习团队主管&牛津大学教授Nando de Freitas甚至称之为“周末必读”。

然而,也有反对的声音。

牛津大学计算机系教授希蒙·怀特森(Shimon Whiteson)连发13条Twitter反驳萨顿的观点,表示“坚决不同意”,同样获得了大量支持。

怀特森认为,构建AI当然需要融入人类知识,问题只在于该何时、如何、融入哪些知识。

AI的历史进程是一场融入人类知识的胜利??蒲Ъ颐枪惴撼⑹?,抛弃失败的99%,留下有用的1%。而这1%,对现代人工智能算法成功的重要性不亚于萨顿推崇的大量计算资源。

一场隔空论战,就这样展开了。

我们先读完“本周末必读”的萨顿博文,看看正方的观点。

苦涩的教训

以下为萨顿博客完整全文,经量子位翻译整理:

回溯70年的AI研究,从中得出的最大经验是,利用计算力的通用方法最终总是最有效的,而且遥遥领先。

出现这种情况的终极原因是摩尔定律,或者宽泛一点来说,是单位算力成本的持续指数级下降。

大多数AI研究都以智能体可用算力恒定为前提进行,在这种情况下,利用人类知识可能是提升性能的唯一方法。但是,将目光投向比一个典型研究项目更长远的时间段,就会发现必然有更多可用的算力出现。

为了寻求短期可见的提升,研究人员会利用该领域的人类知识,但从长远来看,利用算力才是唯一重要的事。

虽然但这两者看似没有必要相互对立,但实际上它们往往是对立的。

在一个方向上花费的时间,就必然不能花在另一个方向。对于某一种方法的投入也会带来心理上的承诺。

同时,用人类知识来提升AI会倾向于使方法复杂化,让运用算力的通用计算方法变得不太适用。

很多AI研究人员后知后觉地领悟了这种“苦涩的教训”?;毓似渲凶钪匾囊恍┢挠衅舴?。

在国际象棋领域,1997年击败国际象棋冠军卡斯帕罗夫的深蓝,就是基于大规模深度搜索。

当时,大多数计算机国际象棋研究者都以沮丧的眼光看待它,他们追求用人类对国际象棋特殊结构的理解制胜。

当一种更简单的、有特殊硬件和软件加持的基于搜索的方法被证明更有效,这些基于人类知识下国际象棋的研究者输得一点都“不体面”。他们说,这种“用蛮力”的搜索可能这次能赢,但这终究不是通用策略,无论如何这也不是人类下棋的方式。

他们希望基于人类输入的方法获胜,却事与愿违,只剩失望。

计算机围棋领域,研究进展也遵循着同样的模式,只是比国际象棋迟了20年。这一领域最初的众多努力,都是利用人类知识或游戏的特殊特性避免搜索,然而,搜索一被大规模高效应用,这些努力都变得无关紧要,甚至更糟。

利用自我对弈来学习一种价值函数同样重要(在许多其他游戏、甚至在国际象棋中也一样,虽然在1997年的深蓝项目中没有发挥很大作用)。通过自我对弈来学习,以及学习本身,其实都和搜索一样,让大规模计算有了用武之地。

搜索和学习是AI研究中应用大规模计算力的两类最重要技术。

在计算机围棋和国际象棋项目中,研究人员最初努力的方向是如何去利用人类的理解(这样就不需要太多的搜索),很久以后,才通过拥抱搜索和学习取得了更大的成功。

在语音识别领域,很早之前曾有一场竞赛,1970年由DARPA主办。

在这场比赛中,一部分参赛者运用那些需要人类知识(单词知识、音素知识、人类声道知识等等)的特殊方法。也有一部分人基于隐马尔可夫模型(HMMs)完成比赛。这种新方法本质上更具统计性质,也需要更大的计算量。

不出所料,最终统计方法战胜了基于人类知识的方法。

这场比赛为所有自然语言处理任务都带来了巨大的改变,在过去的几十年里,统计和算力逐渐占据主导地位。

语音识别中兴起没多久的深度学习,也是朝着这一方向迈出的最新一步。深度学习方法对人类知识的依赖甚至更少,用到了更多的算力。通过在大型训练集上的学习,能得到更好的语音识别系统。

就像在棋类游戏中一样,研究人员总是试图让系统按照他们心目中的人类的思维方式工作,试图把这些知识放进计算机的系统里。但最终,当摩尔定律带来大规模算力,其他人也找到了一种充分利用它的方法时,会发现原来的做法适得其反,是对研究人员时间的巨大浪费。

在计算机视觉领域,也有类似的模式。早期的方法,将视觉设想为搜索边缘、广义圆柱体,或者SIFT算法捕捉的特征。但现在,所有这些方法都被抛弃了。现代的深度学习神经网络,只使用卷积和某些不变性的概念,而效果要好得多。

这些教训告诉我们,(AI)这个领域,我们仍然没有完全了解,我们连续犯着同样的错误。

为了认清状况,有效防止犯错,我们必须理解这些错误有什么吸引力。

我们必须从这”苦涩的教训”中学习:长远来看,将AI建立在我们对自身思维方式的认知上是行不通的。

  • “苦涩的教训”源自这些历史观察:
  • 人工智能研究人员经常试图将知识“植入”到他们的智能体中,
  • 这在短期内通常是有帮助的,让研究者自身产生满足感,
  • 但从长期来看,这会拖慢、甚至阻碍研究的进一步发展,

而突破性进展最终会来自完全相反的方法:基于搜索和学习进行规模计算。

最终的成功总是带来些许怨恨,通常也不被完全理解,因为它超越了当前受欢迎的、以人为中心的方法。

从历史的教训中,我们能学到两点。

第一,通用型方法有强大的力量。即使可用的算力变得非常大,这些方法仍然可以继续扩展,运用增加的算力。似乎可以按照这种方式任意扩展的方法有两种:搜索学习。

第二,思维的实际内容复杂到非??膳挛蘅删纫?。我们不该再试图寻找简单的方法来思考其内容,比如,用简单的方式去思考空间、物体、多智能体或者对称性。

所有这些,都是随意、本质上非常复杂的外部世界的一部分。它们不应该内置在任何一个AI智能体中,因为它们复杂得没有尽头。相反,我们应该只构建能发现和捕获这种任意复杂性的元方法,

这种方法的本质是能够很好地找到近似值。不过,寻找的工作应该交给我们的方法,而不是我们自己。

我们需要的是能像我们一样进行发现的AI智能体,而不是包含我们已经发现的东西在内的AI。

在我们发现的基础上建立AI,只会让它更难看到发现的过程是如何进行的。

原文链接:

//www.incompleteideas.net/IncIdeas/BitterLesson.html

“甜蜜的一课”

坚决不同意萨顿观点的怀特森老师认为,构建AI当然需要融入人类知识,问题只在于该何时、如何、融入哪些知识。AI历史上有“甜蜜的一课”(The Sweet Lesson),我们在尝试寻找正确先验知识的过程中,推动了AI的进步。

他将萨顿的观点总结为:“AI的历史告诉我们,利用算力最终总是战胜利用人类知识?!?/p>

以下是怀特森Twitter内容的翻译整理:

我认为这是对历史的一种特殊解释。的确,很多把人类知识融入AI的努力都已经被抛弃,随着其他资源(不仅仅是计算力,还包括存储、能源、数据)的丰富,还会抛弃更多。

但是,由此产生的方法的成功,不能仅仅归功于这些丰富的资源,其中那些没有被抛弃的人类知识也功不可没。

要是想脱离卷积、LSTM、ReLU、批归一化(batchnorm)等等做深度学习,祝你好运。要是抛开“围棋是静态、零和、完全可观察的”这一先验知识,就像搞定这个游戏,也祝你好运。

所以,AI的历史故事并非融入人类知识一直失败。恰恰相反,这是融入人类知识的胜利,实现的路径也正是一种完全符合惯例的研究策略:尝试很多方法,抛弃失败的99%。

剩下的1%对现代人工智能的成功至关重要,就和AI所以来的大量计算资源一样关键。

萨顿说,世界固有的复杂性表明,我们不该把先验知识融入到系统中。但是我的观点恰恰相反:正是这种复杂性,导致他推崇的搜索和学习方法极度复杂难解。

只有借助正确的先验知识,正确的归纳偏见(inductive biases),我们才能掌握这种复杂性。

他说,“现代的深度学习神经网络,只使用卷积和某些不变性的概念,而效果要好得多?!币桓觥爸弧弊志屯瓜粤苏庵侄涎缘奈涠闲?。

如果没有这些卷积和不变性,深度学习就不会成功,但它们却被视作微小、通用到可以接受。

就是这样,“苦涩的教训”避开了主要问题,这根本不是要不要引入人类知识的问题(因为答案显然是肯定的),而是该问这些知识是什么,该在何时、如何使用它。

萨顿说,“我们需要的是能像我们一样进行发现的AI智能体,而不是包含我们已经发现的东西在内的AI?!钡比?。但是我们善于发现正是因为我们天生带有正确的归纳偏见。

AI历史上的“甜蜜一课”是这样的:虽然找到正确的归纳偏见很难,但寻找的过程为原本难解的问题带来了巨大的进展。

原文链接:

//twitter.com/shimon8282/status/1106534185693532160

论战双方

这场隔空论战的双方,分别是“强化学习之父”萨顿,和牛津大学计算机系教授希蒙·怀特森。都是强化学习领域的科学家,观点却截然相反。

强化学习之父:萨顿

萨顿,被认为是现代计算强化学习的创始人之一,为强化学习做出了许多贡献,比如“时序差分学习”(temporal difference learning)和“策略梯度方法”(policy gradient methods)等等。

1978年,萨顿在斯坦福大学获得了心理学学士学位,之后才转向计算机科学,在马萨诸塞大学安姆斯特分?;竦貌┦垦?。

他与导师Andrew Barto合著的《强化学习导论》一书,已经成为强化学习研究领域的基础读物。

目前,萨顿任教于阿尔伯塔大学,是计算机科学系的教授和 iCORE Chair,领导强化学习和人工智能实验室。

2017年6月,萨顿加入Deepmind,共同领导其位于加拿大埃德蒙顿的办公室,同时保持他在阿尔伯塔大学的教授职位。

2001年以来,萨顿一直都是AAAI Fellow,在2003年获得国际神经网络学会颁发的President’s Award,并于2013年获得了马萨诸塞大学阿默斯特分校颁发的杰出成就奖。

来自牛津大学的反对者:怀特森

希蒙·怀特森,是牛津大学计算机系的教授,专注于人工智能和机器学习领域。强化学习、让智能体跟着演示学习都是他所研究的课题。

他2007年获得美国德克萨斯大学奥斯汀分校的计算机博士学位,随后留校做了一段时间的博士后,然后任教于阿姆斯特丹大学。

2015年,怀特森成为牛津大学副教授,2018年成为教授。

隔空论战,你支持谁?

除了怀特森之外,也有不少人对萨顿的观点表示不能完全同意。

比如Nando de Freitas认为萨顿博文的最后一段非常正确、发人深?。?/p>

我们需要的是能像我们一样进行发现的AI智能体,而不是包含我们已经发现的东西在内的AI。在我们发现的基础上建立AI,只会让它更难看到发现的过程是如何进行的。

但他也就着怀特森的观点,谈了一些自己的想法:

  • 算力非常重要,特别是对强化学习智能体来说。然而,卷积、LSTM这些概念都不是在研究规?;墓讨蟹⒚鞯?。
  • 其他生物也和我们人类一样拥有强大的算力,生活在同样的数据、环境,但它们可没打算飞向火星。

帝国理工学院教授、DeepMind高级研究员Murray Shanahan虽然支持不能人工手写特定领域的先验知识,但还是认为“应该寻找有利于让AI学习这些常识类别的架构上的先验”。

德克萨斯大学奥斯汀分校的助理教授Scott Niekum说,他大致同意萨顿的观点,但也有值得商榷的地方,比如科学从来都不是一条直线,很多最重要的发现,可能就来自借助内建特定领域知识来研究那些不够通用的模型的过程。

这个问题,你怎么看?

单双中特王长期公开 www.ybcy5.cn true //www.ybcy5.cn/seduzx/610300/301862389.html report 7842 为您提供全方面的只有大规模算力才能救AI?强化学习之父 vs 牛津教授掀起隔空论战相关信息,根据用户需求提供只有大规模算力才能救AI?强化学习之父 vs 牛津教授掀起隔空论战最新最全信息,解决用户的只有大规模算力才能救AI?强化学习之父 vs 牛津教授掀起隔空论战需求,原标题:只有大规模算力才能救AI?强化学习之父vs牛津教授掀起隔空论战乾明安妮发自凹非寺量子位出品|公众号QbitAI70年来,人们在AI领域“一直连续犯着同样的错误”。这是“强化学习之父”理查德·萨顿(RichardS.Sutt...
  • 猜你喜欢
    • 24小时热文
    • 本周热评
      图文推荐
      • 最新添加
      • 最热文章
        精彩推荐
        读过此文的还读过
          教育资格教育大全EDU资格考试考试高考考试EDU教育考试教育|教育|天文|地球科学|物理|农业|生物|社会学|培训|数学|科学技术|环境学|心理学|职业教育|升学入学|化学|外语学习|医学|语文|纺织|建筑学|出国留学教育科学艺术文学地球科学化学环境科学建筑学科技留学农业培训社会学生物升学数学天文学外语物理心理学医学语文职业教育美术书法外国文学戏剧中国文学教育/科学高考菁菁校园人文学科理工学科外语学习辅助考研/考证公务员留学/出国 考试 作业作业2作业3幼儿教育幼儿读物少儿英语唐诗宋词育儿理论经验育儿知识家庭教育小升初学科竞赛其它课程小学教育初中教育中考科学学科竞赛其它课程高中教育学科竞赛其它课程职业教育中职中专职高对口职业技术培训其他成人教育成人考试电大自考专升本远程、网络教育高等教育理学工学经济学管理学文学哲学历史学法学教育学农业医学军事艺术研究生入学考试院校资料其它人文社科法律资料军事/政治广告/传媒设计/艺术教育学/心理学社会学文化/宗教哲学/历史文学研究经管营销人力资源管理财务管理生产/经营管理企业管理公共/行政管理销售/营销金融/投资经济/市场工程科技信息与通信电子/电路建筑/土木城乡/园林规划环境/食品科学电力/水利交通运输能源/化工机械/仪表冶金/矿山/地质纺织/轻工业材料科学兵器/核科学IT/计算机互联网电脑基础知识软件及应用硬件及网络自然科学数学物理化学生物学天文/地理医药卫生临床医学基础医学预防医学中医中药药学农林牧渔农学林学畜牧兽医水产渔业求职/职场简历封面/模板求职/面试职业规划自我管理与提升计划/解决方案学习计划工作计划解决方案商业计划营销/活动策划总结/汇报学习总结实习总结工作总结/汇报党团工作入党/转正申请思想汇报/心得体会党团建设工作范文制度/规范演讲/主持行政公文表格/模板合同协议书信模板表格类模板饮食游戏体育/运动音乐旅游购物娱乐时尚美容化妆影视/动漫保健养生随笔幽默滑稽语文一年级语文二年级语文三年级语文四年级语文五年级语文六年级语文数学一年级数学二年级数学三年级数学四年级数学五年级数学六年级数学英语一年级英语二年级英语三年级英语四年级英语五年级英语六年级英语一年级其它课程二年级其它课程三年级其它课程四年级其它课程五年级其它课程六年级其它课程小学作文语文初一语文初二语文初三语文数学初一数学初二数学初三数学英语初一英语初二英语初三英语政史地初一政史地初二政史地初三政史地理化生初一理化生初二理化生初三理化生初中作文语文高一语文高二语文高三语文数学高一数学高二数学高三数学英语高一英语高二英语高三英语政史地高一政史地高二政史地高三政史地理化生高一理化生高二理化生高三理化生高中作文高考外语学习英语考试英语学习日语学习法语学习韩语学习其它语言学习资格考试/认证IT认证公务员考试司法考试财会/金融考试从业资格考试交规考试其它考试教学研究教学案例/设计教学计划教学反思/汇报PPT模板商务科技简洁抽象艺术创意可爱清新节日庆典卡通动漫自然景观动物植物中国风国外设计风格动态背景图表模板其它模板PPT制作技巧图片/文字技巧动画/交互技巧音频/视频技巧其它技巧笔试社交礼仪其它其它其它其它调查/报告法律文书调解书判决书起诉状辩护词家居家电社会民生 文库教育文档幼儿教育小学教育初中教育高中教育高等教育教学研究外语学习资格考试/认证成人教育职业教育IT/计算机经管营销医药卫生自然科学农林牧渔人文社科工程科技PPT模板PPT制作技巧求职/职场计划/解决方案总结/汇报党团工作工作范文表格/模板法律文书饮食游戏体育/运动音乐旅游购物娱乐时尚美容化妆家具家电社会民生影视/动漫保健养生随笔摄影摄像幽默滑稽 小学作文初中作文高中作文话题作文考试作文单元作文作文素材儿童教育 教学设计文库22 34 56 78 910 1112 1314 15文库2文库作文总结建筑资料库考研14综合范文 教学方法综合教案英语学习学习中心教育资讯1教育资讯1 考试 课题研究课件下载考试试卷留学类日记语文教学资源托福知道 教育论文教育生活学习方法模拟考教育教育资讯1英语作文 日常工作资源公务员考试简笔画考试作文问答 资讯综合学习学习考试学习方法学习问答外语学习资格考试职场学习交流高考清华大学复旦大学毕业季厦门大学浙江大学武汉大学作文南京大学五道口职业技术学校翻译韩语英语英文名日语英语翻译教师资格证智联招聘前程无忧语文日记数学读后感读书笔记
        • [网连中国]赛龙舟 包粽子 办诗会……全国各地品民俗迎端午 2019-04-16
        • 评论:着力提升中小学教师优秀传统文化素养 2019-04-09
        • 初心不忘 青春闪亮 2019-04-09
        • 女子和现任一起挥泪卖“前男友礼物”半年骗取10万 2019-04-03
        • 紫光阁中共中央国家机关工作委员会 2019-03-25
        • 全省手机报推广发行经验交流会在大悟召开 2019-03-21
        • 【玛沁天气】最新玛沁今天天气,实时提供玛沁气温、空气质量、24小时天气预报、生活指数查询 2019-03-21
        • 岗集金明花园小区问题多 希望能改造和加强管理 2019-03-15
        • Lorgane législatif national conclut sa session annuelle 2019-03-13
        • 中国精神  乘“舟”出海:龙舟运动风靡全球 2019-03-13
        • 新时代·新征程十九大精神在基层--安徽频道--人民网 2019-02-17
        • 重庆部署加快推进“互联网+政务服务”工作 2019-02-17
        • 这艘军舰有美国导弹护体 仍被中国反舰导弹轻松击沉 2019-02-02
        • 潇湘玉竹版主下午好! 2019-02-02
        • 弘扬红船精神 当好勇立潮头城建排头兵 2019-02-01
        • 551| 86| 296| 462| 933| 540| 572| 108| 979| 632|