Py学习  »  Git

27亿参数的「野生版」GPT-3开源,GitHub项目2.9K Star量

机器学习算法与Python学习 • 3 年前 • 321 次点击  

(给机器学习算法与Python学习加星标,提升AI技能) 

机器之心报道


GPT-3 是 2020 年 OpenAI 推出的具有 1750 亿参数的自回归语言模型,它在许多自然语言基准上都取得了出色的成绩。GPT-3 能够执行答题、翻译、写文章等任务,甚至还带有一些数学计算的能力。

不同于 GPT-2 和 GPT-1,OpenAI 选择不开源 GPT-3,而是通过商业 API 来提供该模型的能力及训练数据集。该公司通过选择将 GPT-3 独家许可给与 OpenAI 有业务关联的微软来进一步限制访问。

尽管如此,既然论文已经放出,人们对于 GPT-3「野生版」的开发没有止步。其中开源 AI 研究机构 EleutherAI 的 GPT-Neo 项目是 GPT-3 的复现与开源中最优秀的项目之一。3 月 22 日,EleutherAI 的开源项目 GPT-Neo 宣布放出复现版 GPT-3 的模型参数(1.3B 和 2.7B 级别),并将其更新在了 Colab notebook 上。


虽然是 1750 亿参数模型 GPT-3 的复现,此次开源的模型里较大的版本也只达到了 GPT-3 商用版里最小模型的参数量,不过 Eleuther AI 表示未来会进一步开源 10B 版本和原始大小版本的 GPT-3 模型参数。这一项目一经发布,就受到了 AI 社区的关注,目前该项目已收获 2.9K star 量。


项目地址:https://github.com/EleutherAI/gpt-neo/

训练数据集

EleutherAI 承认,由于 OpenAI 决定不发布 GPT-3 架构的一些关键细节,因此 GPT-Neo 与原版 GPT-3 相比必然会存在一些偏差。此外,还有一些偏差可能来自 EleutherAI 计划使用的训练数据集,该数据集是由来自 EleutherAI 的 10 人小组策划的。

像 GPT-3 这样的语言模型通常会放大数据中存在的偏见。例如,OpenAI 指出在数据集中女性和 sucked 这样的词汇可能会存在关联,著名预训练语言模型 BERT 也曾被指存在偏见。

EleutherAI 小组表示他们已对 GPT-Neo 训练数据集进行了「广泛偏见分析」,并做出了一些消除偏见的决定,以排除他们认为对某些群体或观点「造成不可接受的负面偏见」的某些数据集。该项目使用一个 825 GiB 的多样开源语言建模数据集,它对于大型语言模型的训练和基准测试都很有效。


数据集:https://pile.eleuther.ai/

GPT-3 可以变得更小吗?

EleutherAI 计划利用项目团队使用的架构来训练 GPT-Neo,使其达到和 GPT-3 在相同模型大小时「相同」的性能。在未来,他们还计划将模型减小一个数量级甚至更多。


如果这样的模型被认为具备实用化的条件,其效率的提高将会抵消不断膨胀的算力需求。根据 OpenAI 的一项调查,自 2012 年以来在著名数据集 ImageNet 之上将图像分类模型训练成相同的识别准确度,其所需的算力每 16 个月减少两倍。但是与更多参数的新模型相比,算力的使用仍然是个开放问题。

「要想让性能继续提高,模型的尺寸还会不可避免地增加」项目团队成员之一 Leahy 说道。「大模型的能力对于小模型来说是遥不可及的,这可能就是残酷的现实。我们看起来没有其他解决的方法——如果更大的模型意味着更好的性能,拥有算力的公司就会具备优势,就这么简单。」

EleutherAI 是一个致力于开源 AI 研究的团队。Leahy 表示:「我们致力于允许更多资源匮乏的用户(尤其是研究者)使用相关技术,以期在相关领域涌现更多更好的研究,并在此基础上进行我们以安全为重点的研究,而不是将其锁定在行业实验室内。毕竟,这些技术仍然在发展阶段,当此类模型在生产中按原样使用而没有进行更广泛的调查时,自然会产生存在偏见等问题,我们希望这些模型能够开放更多的可用性。」

参考内容:
https://venturebeat.com/2021/01/15/ai-weekly-meet-the-people-trying-to-replicate-and-open-source-openais-gpt-3/



    

Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/110409
 
321 次点击