社区
教程
Wiki
注册
登录
创作新主题
社区所有版块导航
Python
python开源
Django
Python
DjangoApp
pycharm
DATA
docker
Elasticsearch
分享
问与答
闲聊
招聘
翻译
创业
分享发现
分享创造
求职
区块链
支付之战
aigc
aigc
chatgpt
WEB开发
linux
MongoDB
Redis
DATABASE
NGINX
其他Web框架
web工具
zookeeper
tornado
NoSql
Bootstrap
js
peewee
Git
bottle
IE
MQ
Jquery
机器学习
机器学习算法
Python88.com
反馈
公告
社区推广
产品
短视频
印度
印度
一周十大热门主题
写给不会代码的你:20分钟上手 Python + AI
本周github最火的开源项目是这个!!!
GPT-4「荣升」AI顶会同行评审专家?斯坦福最新研究:ICLR/NeurIPS等竟有16.9%评审...
GitHub(微博搜索)-20240324-1
Stability AI CEO宣布辞职;消息称OpenAI将与好莱坞电影公司会面并推荐Sora丨A...
【漏洞预警】GitHub Enterprise Server命令注入漏洞(CVE-2024-2443...
GitHub(微博搜索)-20240327-1
最新消息,抖音禁止投放AIGC内容生产相关工具类软件,包括不限于-20240323180002
GitHub(微博搜索)-20240325-1
2024 年 3 月编程语言排行榜,Python 与其他语言之间的差距从未如此之大!
关注
Py学习
»
Git
27亿参数的「野生版」GPT-3开源,GitHub项目2.9K Star量
机器学习算法与Python学习
• 3 年前 • 321 次点击
(给
机器学习算法与Python学习
加星标,提升AI技能)
机器之心报道
GPT-3 是 2020 年 OpenAI 推出的具有 1750 亿参数的自回归语言模型,它在许多自然语言基准上都取得了出色的成绩。GPT-3 能够执行答题、翻译、写文章等任务,甚至还带有一些数学计算的能力。
不同于 GPT-2 和 GPT-1,OpenAI 选择不开源 GPT-3,而是通过商业 API 来提供该模型的能力及训练数据集。该公司通过选择将 GPT-3 独家许可给与 OpenAI 有业务关联的微软来进一步限制访问。
尽管如此,既然论文已经放出,人们对于 GPT-3「野生版」的开发没有止步。其中开源 AI 研究机构 EleutherAI 的 GPT-Neo 项目是 GPT-3 的复现与开源中最优秀的项目之一。3 月 22 日,EleutherAI 的开源项目 GPT-Neo 宣布放出复现版 GPT-3 的模型参数(1.3B 和 2.7B 级别),并将其更新在了 Colab notebook 上。
虽然是 1750 亿参数模型 GPT-3 的复现,此次开源的模型里较大的版本也只达到了 GPT-3 商用版里最小模型的参数量,不过 Eleuther AI 表示未来会进一步开源 10B 版本和原始大小版本的 GPT-3 模型参数。这一项目一经发布,就受到了 AI 社区的关注,目前该项目已收获 2.9K star 量。
项目地址:https://github.com/EleutherAI/gpt-neo/
训练数据集
EleutherAI 承认,由于 OpenAI 决定不发布 GPT-3 架构的一些关键细节,因此 GPT-Neo 与原版 GPT-3 相比必然会存在一些偏差。此外,还有一些偏差可能来自 EleutherAI 计划使用的训练数据集,该数据集是由来自 EleutherAI 的 10 人小组策划的。
像 GPT-3 这样的语言模型通常会放大数据中存在的偏见。例如,OpenAI 指出在数据集中女性和 sucked 这样的词汇可能会存在关联,著名预训练语言模型 BERT 也曾被指存在偏见。
EleutherAI 小组表示他们已对 GPT-Neo 训练数据集进行了「广泛偏见分析」,并做出了一些消除偏见的决定,以排除他们认为对某些群体或观点「造成不可接受的负面偏见」的某些数据集。该项目使用一个 825 GiB 的多样开源语言建模数据集,它对于大型语言模型的训练和基准测试都很有效。
数据集:https://pile.eleuther.ai/
GPT-3 可以变得更小吗?
EleutherAI 计划利用项目团队使用的架构来训练 GPT-Neo,使其达到和 GPT-3 在相同模型大小时「相同」的性能。在未来,他们还计划将模型减小一个数量级甚至更多。
如果这样的模型被认为具备实用化的条件,其效率的提高将会抵消不断膨胀的算力需求。根据 OpenAI 的一项调查,自 2012 年以来在著名数据集 ImageNet 之上将图像分类模型训练成相同的识别准确度,其所需的算力每 16 个月减少两倍。但是与更多参数的新模型相比,算力的使用仍然是个开放问题。
「要想让性能继续提高,模型的尺寸还会不可避免地增加」项目团队成员之一 Leahy 说道。「大模型的能力对于小模型来说是遥不可及的,这可能就是残酷的现实。我们看起来没有其他解决的方法——如果更大的模型意味着更好的性能,拥有算力的公司就会具备优势,就这么简单。」
EleutherAI 是一个致力于开源 AI 研究的团队。Leahy 表示:「我们致力于允许更多资源匮乏的用户(尤其是研究者)使用相关技术,以期在相关领域涌现更多更好的研究,并在此基础上进行我们以安全为重点的研究,而不是将其锁定在行业实验室内。毕竟,这些技术仍然在发展阶段,当此类模型在生产中按原样使用而没有进行更广泛的调查时,自然会产生存在偏见等问题,我们希望这些模型能够开放更多的可用性。」
参考内容:
https://venturebeat.com/2021/01/15/ai-weekly-meet-the-people-trying-to-replicate-and-open-source-openais-gpt-3/
Python社区是高质量的Python/Django开发社区
本文地址:
http://www.python88.com/topic/110409
321 次点击
登录后回复