社区所有版块导航
Python
python开源   Django   Python   DjangoApp   pycharm  
DATA
docker   Elasticsearch  
aigc
aigc   chatgpt  
WEB开发
linux   MongoDB   Redis   DATABASE   NGINX   其他Web框架   web工具   zookeeper   tornado   NoSql   Bootstrap   js   peewee   Git   bottle   IE   MQ   Jquery  
机器学习
机器学习算法  
Python88.com
反馈   公告   社区推广  
产品
短视频  
印度
印度  
Py学习  »  chatgpt

JARVIS项目原作解读:连接ChatGPT和HuggingFace解决AI问题

机器之心 • 2 年前 • 416 次点击  

机器之心最新一期线上分享邀请到了微软亚洲研究院研究员宋恺涛,为大家分享他们近期的开源项目 JARVIS。

在最近一段时间内,以 ChatGPT 为代表的大语言模型(Large Language Models,LLMs)在工业界和学术界掀起了巨大的关注。然而,以处理文本为主的 LLMs,在解决许多复杂并且具有挑战的 AI 任务上,依然存在着许多瓶颈:

1、受限于语言模型的输入输出形式,当下的 LLMs(如 ChatGPT)缺少能够处理复杂模态信息的能力(如图像、语音、视频等)。

2、一些复杂的 AI 任务需要先进行规划,分解多个子任务,并协调不同模型的调度和协作执行。而这些要求也超出了 LLMs 本身的能力。

3、在针对一些特定任务上,LLMs 尽管在零资源或者低资源下展现非常好的效果,但依然要弱于一些专家模型(例如微调模型)。

因此,如何解决问题也成为 LLMs 走向通用人工智能的关键一步。为此,JARVIS 项目团队指出如果 LLMs 要实现这一目的,它们应当能够利用外部模型的力量。而关键点就在于如何寻找一个合适的关键件来连接大语言模型和 AI 模型。

JARVIS 项目团队注意到任何 AI 模型都可以通过总结其模型功能来获取一种文本表示,并因此提出一个概念:语言是 LLMs 用于连接 AI 模型的通用接口。基于这一理念推出 JARVIS,一种模型协作系统用于连接 LLMs(例如 ChatGPT)以及机器学习库(例如 Hugging Face)等。该系统将 LLMs 作为大脑,并利用语言的能力来管理不同 AI 社区中的不同模型,具体流程分为 4 步:任务规划、模型选择、任务执行、生成反馈。

在这一框架下,模型具备了分解和管理不同任务的能力,并且能够处理包括文本、语音、图像、视频等不同模态的复杂信息。这一框架也吸引了越来越多的人来探索 LLMs 与外部模型或者工具进行协作调度的应用前景。


分享主题:JARVIS – 连接 ChatGPT 和 HuggingFace 解决 AI 问题

分享嘉宾:宋恺涛,微软亚洲研究院研究员。本科和博士毕业于南京理工大学,其研究方向包括自然语言处理,语音识别等,包括预训练语言模型,内容生成等。其在 ICML,NeurIPS,ICCV,KDD,ACL,IJCAI,AAAI 等国际顶级会议上发表多篇论文。

分享摘要:尽管大语言模型表现出非常优异的性能,但在实际解决一些复杂的 AI 任务中依然存在许多瓶颈。因此,在本次分享中,我们会介绍如何构建大语言模型与 AI 社区的连接以及多模型协作以解决更具挑战的 AI 任务,并探讨对于未来的展望。

相关链接:

1)SOTA!模型平台项目主页链接:

https://sota.jiqizhixin.com/project/hugginggpt

2)论文链接:

https://arxiv.org/abs/2303.17580 

3)代码仓库:

https://github.com/microsoft/JARVIS


加群看直播
直播间关注机器之心机动组视频号,北京时间 4 月 25 日 19:00 开播。
交流群:本次直播设有 QA 环节,欢迎加入本次直播交流群探讨交流。

如群已超出人数限制,请添加机器之心小助手:syncedai2、syncedai3、syncedai4 或 syncedai5,备注「JARVIS」即可加入。

如果你也有最新工作希望分享或提交你感兴趣的内容方向,随时告诉我们吧:https://jiqizhixin.mikecrm.com/fFruVd3

机器之心 · 机动组
机动组是机器之心发起的人工智能技术社区,聚焦于学术研究与技术实践主题内容,为社区用户带来技术线上公开课、学术分享、技术实践、走近顶尖实验室等系列内容。机动组也将不定期举办线下学术交流会与组织人才服务、产业技术对接等活动,欢迎所有 AI 领域技术从业者加入。

Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/153967
 
416 次点击