社区所有版块导航
Python
python开源   Django   Python   DjangoApp   pycharm  
DATA
docker   Elasticsearch  
aigc
aigc   chatgpt  
WEB开发
linux   MongoDB   Redis   DATABASE   NGINX   其他Web框架   web工具   zookeeper   tornado   NoSql   Bootstrap   js   peewee   Git   bottle   IE   MQ   Jquery  
机器学习
机器学习算法  
Python88.com
反馈   公告   社区推广  
产品
短视频  
印度
印度  
Py学习  »  chatgpt

LeCun畅谈:ChatGPT局限巨大,自回归模型寿命不超5年

CVer • 2 年前 • 351 次点击  

点击下方卡片,关注“CVer”公众号

AI/CV重磅干货,第一时间送达

点击进入—>【计算机视觉】微信技术交流群



转载自:新智元 | 编辑:拉燕

【导读】图灵奖得主Yann LeCun畅谈AI:未来是开源。

今年上半年,可谓是AI届最波澜壮阔的半年。

在急速发展的各类GPT甚至AGI的雏形背后,是持不同观点的两大阵营的人们。

一派认为,以ChatGPT为首的生成式AI非常强大,能带动一大波革命性的风潮,继续推进没有问题。

另一派认为,咱发展的有点太快了。不说禁止,也得停一停。而且道德方面,相匹配的约束也太少了。

而作为AI届的一位大拿,Yann LeCun对此却有不同看法。

彻底禁止?不可行


LeCun表示,他对ChatGPT的表现并不感到惊讶,也不赞成暂停人工智能的研究。

「这可能会产生和预期相反的结果。」

他表示,人工智能作为人类智能的放大器,可能是新文艺复兴的起源。

ChatGPT这种大语言模型是「自回归」。AI接受训练,从一个包含多达14000亿个单词的语料库中提取单词,预测给定句子序列中的最后一个单词,也就是下一个必须出现的单词。

Claude Shannon在上个世纪50年代开展的相关研究就是基于这一原则。

原则没变,变得是语料库的规模,以及模型本身的计算能力。

LeCun表示,「目前,我们无法靠这类模型生成长而连贯的文本,这些系统不是可控的。比如说,我们不能直接要求ChatGPT生成一段目标人群是13岁儿童的文本。

其次,ChatGPT生成的文本作为信息来源并不是100%可靠的。GPT的功能更像是一种辅助工具。就好比现有的驾驶辅助系统一样,开着自动驾驶功能,也得把着方向盘。

而且,我们今天所熟知的自回归语言模型的寿命都非常短,五年算是一个周期,五年以后,过去的模型就没有人再会用了。

而我们的研究重点,就应该集中在找到一种是这些模型可控的办法上。换句话说,我们要研究的AI,是能根据给定目标进行推理和计划的AI,并且得能保证其安全性和可靠性的标准是一致的。这种AI能感受到情绪。」

要知道,人类情绪的很大一部分和目标的实现与否有关,也就是和某种形式的预期有关。

而有了这样的可控模型,我们就能生成出长而连贯的文本。

LeCun的想法是,未来设计出能混合来自不同工具的数据的增强版模型,比如计算器或者搜索引擎。

像ChatGPT这样的模型只接受文本训练,因此ChatGPT对现实世界的认识并不完整。而想要在此基础上进一步发展,就需要学习一些和整个世界的感官知觉、世界结构有关的内容。

而这些更复杂的内容并不是简单地通过阅读文本就能实现的,这才是未来几年的最大挑战之一。

开源才是尽头


对权力的渴望,是人类特有的。而AI并不会因为变得越来越强大就会具备这种渴望。

只有人类这个物种才知道如何制定法律,保障个体的行为不会过多损害共同利益。

OpenAI最初是一个开放的研究项目,现在已经关闭了。而OpenAI对其工作只字未提,这种情况的逆转在研究领域并不常见。

问题在于训练一个语言模型很昂贵,要花费几千万欧元,所以初创企业负担不起。

这也是微软与OpenAI合并的主要原因,需要集团共同的计算能力来改进其未来的模型。这也是为什么DeepMind和谷歌大脑最终还是合并了。

LeCun表示,最终在市场方面,开发者会走向一个开放平台的共同生态。如果只有少部分公司控制着这类技术,就糟糕了。

从历史上来看,不管是Facebook还是改完名的Meta,都在积极推动开放性的基础研究,比如LlaMa这个开源项目。

90年代初期,Sun Microsystems和Microsoft大打出手,争夺操作服务器的权力。要记住,所有能一直站稳脚跟的互联网技术都是开源的。

LeCun最后表示,目前,阻止这类开放的开源AI平台的关键,是法律上的问题。如果未来欧盟想要推动AI产业的结构化,那么这种类似的开源平台是必不可少的。

参考资料:
https://twitter.com/USBEKetRICA/status/1648597311843450881

点击进入—>【计算机视觉】微信技术交流群


最新CVPR 2023论文和代码下载


后台回复:CVPR2023,即可下载CVPR 2023论文和代码开源的论文合集

后台回复:Transformer综述,即可下载最新的3篇Transformer综述PDF


目标检测和Transformer交流群成立


扫描下方二维码,或者添加微信:CVer333,即可添加CVer小助手微信,便可申请加入CVer-目标检测或者Transformer  微信交流群。另外其他垂直方向已涵盖:目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer等。


一定要备注:研究方向+地点+学校/公司+昵称(如目标检测或者Transformer+上海+上交+卡卡),根据格式备注,可更快被通过且邀请进群


▲扫码或加微信号: CVer333,进交流群

CVer计算机视觉(知识星球)来了!想要了解最新最快最好的CV/DL/AI论文速递、优质实战项目、AI行业前沿、从入门到精通学习教程等资料,欢迎扫描下方二维码,加入CVer计算机视觉,已汇集数千人!


扫码进星球

▲点击上方卡片,关注CVer公众号

整理不易,请点赞和在看

Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/154185
 
351 次点击