人工智能先锋人物杰夫·辛顿说:“深度学习将无所不能”
来源 I 大数据文摘 2020-11-20 12:10:47
40 0 0

大数据文摘授权转载自数据派THU

作者:Haren Hao编译:陈之炎、车前子


  • 人工智能领域的缺口:“必须有更多的概念上的突破,在规模上,还需要加大。"
  • 神经网络的弱点:“神经网络在处理多参数少量数据时,表现不错,但是这方面,人类似乎做得更好。"
  • 人脑如何工作:“大脑内部是参与神经活动的大向量。"

现代人工智能革命始于一场默默无闻的研究竞赛:2012年,即第三届图像网络竞赛(ImageNetcompetition),挑战团队需要建立一个能识别1000个物体的计算机视觉系统,这1000个物体中包括动物、景观和人类。
在前两年,即便是最好的参赛团队,准确率都不超过 75%。但是到了第三年,三位研究人员(一位教授和他的两个学生)突然打破了这个天花板,他们惊人地超出了10.8个百分点,赢得了比赛。那个教授便是杰弗里·辛顿,他们使用的技术叫做深度学习。
自20世纪80年代以来,辛顿一直致力于深度学习的研究工作,由于缺乏数据和计算能力,其有效性受到了限制,一直到2012年才取得成果。辛顿对这项技术的坚定信念最终带来了巨大的回报:在第四年的图像网比赛(ImageNet competition)中,几乎所有参赛队都在使用深度学习,并获得了神奇的准确性。很快,深度学习便被应用于图像识别之外的任务。
去年,由于他在这一领域的特殊贡献,辛顿与人工智能的先驱们YannLeCun和Yoshua Bengio一起被授予图灵奖。10月20日,我在麻省理工学院技术评论的年会“Em Tech MIT会议”上与他谈到了这个领域的现状,以及下一步的方向。
为了表达清楚,对以下内容进行了编辑和浓缩。

你认为深度学习足以复制人类所有的智力,为什么这么确定?


我深信深度学习将无所不能,同时,我认为必须有相当多的概念上的突破。例如,2017年AshishVaswani等人,引入“transformer”“transformers”这个概念,它利用向量来表示词义,这是一个概念性的突破,目前几乎用于所有的自然语言处理模型。我们需要更多类似的突破。

如果有了这些突破,是否能够通过深度学习来模拟所有人类智力?


的确如此,特别是如何获得神经活动的大向量来实现“推理”这样的突破。但同时我们需要大幅度增加规模。人脑大约有100万亿个参数,即突触,是真正的巨大模型,像GPT-3(https://www.technologyreview.com/2020/07/20/1005454/openai-machine-learning-language-generator-gpt-3-nlp/),有1750亿个参数,但它比大脑小一千倍。GPT-3现在可以生成看似合理的文本,但与大脑相比,它依然太小。

提到规模时,是指更大的神经网络,更多的数据,还是两者兼而有之?


两者兼而有之,计算机科学中发生的事情和人们实际发生的事情之间存在某种差异。与获得的数据量相比,人们拥有更多的参数。神经网络擅长处理有大量参数的少量数据,但人类在这方面却做得更好。

很多业内人士认为,下一个大的挑战是常识,你同意吗?


我同意,这是一件非常重要的事情,我认为运动控制也非常重要,而深层神经网络现在正变得越来越擅长这一点。特别是,谷歌最近的一些工作表明,可以完成精细的运动控制并与语言相结合,比如:打开一个抽屉,取出一个小木块,系统便可以用自然语言告诉你它在做什么。
像GPT-3这样的模型,它可以生成精彩的文本,很明显,它必须深入理解才能生成该文本,虽然我们对于它理解的程度还不太清楚。但是,如果有什么东西打开抽屉,拿出一个小木块并说:“我刚刚打开一个抽屉,拿出小木块一个”,也可以说它明白自己在做什么。

人工智能领域一直把人脑作为其最大的灵感来源,不同的人工智能方法源于认知科学中的不同理论。你是否相信大脑实际上建立起了外部世界的表征之后,再来理解它,或者这只是一种有用的思考方式?


很久以前,在认知科学中,两个学派之间存在着一场争论:其中一个是由斯蒂芬·科斯林(Stephen Kosslyn)领导的,他认为,当大脑处理视觉图像时,你拥有的是一组正在移动的像素;另一学派则更符合传统的人工智能,“不,不,这是胡说八道,它是分层、结构性的描述。脑内处理的是一个符号结构。”
我认为他们都犯了同样的错误。科斯林认为我们处理的是像素,因为外部图像是由像素组成的,这是能为我们理解的一种表示;有人认为大脑处理的是符号,是因为我们也在用符号表示事物,这也是我们能理解的一种表示。我认为二者都不对,实际上大脑内部是多个神经活动的大向量。

仍然有许多人认为符号表示是人工智能的方法之一。


当然。我有像赫克托·莱维斯克(Hector Levesque)这样的好朋友,他们相信符号表示的方法,并在这方面做了很棒的工作。我不同意他的观点,但符号表示方法是一件完全合理的事情。我猜测,符号只是存在于外部世界中,在大脑内部,用大向量进行内部操作。

你认为你对人工智能未来最与众不同的观点是什么?


好吧,我早先持有的与众不同的观点,五年后,它们却成为了主流。早在20世纪80年代,我的大多数反向观点现在都被广泛接受了,现在大多数人都同意并接受了这些观点。所以,在某种程度上可以说,我的逆向观点已被削弱了。

原文标题:

AI pioneer Geoff Hinton: “Deep learning is going to beable to do everything”

原文链接:

https://www.technologyreview.com/2020/11/03/1011616/ai-godfather-geoffrey-hinton-deep-learning-will-do-everything/




实习/全职编辑记者招聘ing

加入我们,亲身体验一家专业科技媒体采写的每个细节,在最有前景的行业,和一群遍布全球最优秀的人一起成长。坐标北京·清华东门,在大数据文摘主页对话页回复“招聘”了解详情。简历请直接发送至zz@bigdatadigest.cn





点「在看」的人都变好看了哦!
0人打赏
发表评论
请先 注册 / 登录 后参与评论
评论
推荐阅读
"华为实验室起火"?官方回应
东莞市委宣传部回应第一财经记者表示:今天下午,一个在建的项目着火,没有人员伤亡。该建筑与实验室并无关系,正在装修和建设之中,没有投入使用。9月25日下午消息,网友爆料称华为位于东莞的松山湖实验室突然起火,火势不小,现场浓烟滚滚。据报道,松山湖消防救援站已经赶往救援。从网友发布的视频来看,着火的是一栋大楼,现场烟雾强烈,整个视频画面中都是黑色的烟雾,看起来火势不小。据了解,华为松山湖基地是华为终端公
2020-09-26 00:47
《关于改革社会组织管理制度促进社会组织健康有序发展的意见》
中共中央办公厅 国务院办公厅印发《关于改革社会组织管理制度促进社会组织健康有序发展的意见》近日,中共中央办公厅、国务院办公厅印发了《关于改革社会组织管理制度促进社会组织健康有序发展的意见》,并发出通知,要求各地区各部门结合实际认真贯彻执行。《关于改革社会组织管理制度促进社会组织健康有序发展的意见》主要内容如下。为深入贯彻党的十八大和十八届二中、三中、四中、五中全会精神,进一步加强社会组织建设,激发
昨天 21:55
大数据文摘
3000块一桌,就吃这?一群百万大V傻眼
为什么我们既需要袁隆平,也需要李子柒
华为“断供”十日:“绝版”产品被热炒
一家四口同日死亡?连云港警方通报

推荐阅读

谁在定义“被害人有罪论”?
“甩锅秀”秀出美政客政治操守无底线
"华为实验室起火"?官方回应
《关于改革社会组织管理制度促进社会组织健康有序发展的意见》

推荐作者

纸上建筑
算法的牢笼甚于差评的阴影
麟剑28
【世界民族文明史系列】坎纳拉人与印度遮娄其王朝
杨昇说说
骑手不只是困在系统里,更是活在系统里