社区所有版块导航
Python
python开源   Django   Python   DjangoApp   pycharm  
DATA
docker   Elasticsearch  
aigc
aigc   chatgpt  
WEB开发
linux   MongoDB   Redis   DATABASE   NGINX   其他Web框架   web工具   zookeeper   tornado   NoSql   Bootstrap   js   peewee   Git   bottle   IE   MQ   Jquery  
机器学习
机器学习算法  
Python88.com
反馈   公告   社区推广  
产品
短视频  
印度
印度  
Py学习  »  chatgpt

ChatGPT Agent四大学术场景综合测评:文献综述、数据分析、PPT 制作与文献调研

阿昆的科研日常 • 3 月前 • 170 次点击  

点击上方“阿昆的科研日常”,关注我的公众号。

添加微信:akunscience28    备注:AI

免费获取《AI科研写作提示词》


之前测评过OpenAI的deep research(Kimi/OpenAI/Gemini deep research文献综述能力对比测评)。

那么,ChatGPT agent推出后,还需要OpenAI deep research吗?

两者哪个效果更好?

本文从文献综述、数据分析、PPT 制作与文献调研四大学术场景进行综合测评。

 

1.文献综述

我们针对同一个主题,比较了ChatGPT agent与deep research的效果。

ChatGPT agent运行7分钟,按照框架展示了主题综述的调研结果:

图片

可以看到,ChatGPT agent引用了很多mdpi和Frontiers上面的文章:

图片

当在提示词中补充“请主要查找来自pubmed和pubmed central的论文,以及其他学术期刊官网论文。”

这一次结果来源文献就好多了:

图片

ChatGPT agent倾向于查找有全文查看权限的pmc文章,并没有引用pubmed摘要的结果,而deep research会采用:

图片

此外,ChatGPT agent各部分的分析汇总也没有deep research深入。

综上,对于文献综述任务,无论是完整度、深度,OpenAI deep research效果更好。


2.数据分析

ChatGPT Agent除了能检索和汇总数据,还能将结果整理成图表。

那么我们再来看看其表现如何:

图片

图片

可以看出,数据来源是WHO、PMC、国际阿兹海默症官网等。

相比Deep research的文字报告,agent还有图表汇总:

图片

图片

由于数据来源不全,所以统计图没有显示每一年的详细数据,比较简略。

而且GPT agent当前还不能上传附件,如果能结合已有的数据文件,再加上检索最新数据,agent就能发挥的会更好。

 

3.PPT制作

根据给出的pdf文献,制作一份文献汇报PPT:

图片

时间有点长,整整运行了半小时,经历了“读取附件文章-分析内容-提取PPT要点-代码出PPT文件-转换pptx格式”等步骤,才给出了一份PPT。

图片

Agent出的ppt,可以直接下载和编辑:

图片

整体内容和视觉呈现,比较简洁,不如GenSpark和天工AI PPT。

 

4.文献调研

需要自主检索大量文献的主题综述,agent表现不如deep research。

那简单一点,指定数据库和网站的文献汇总报告呢?

实测效果还是很不错的:

图片

图片

图片

如果你对其中某一个主题感兴趣,还可以让GPT agent展开,继续深入挖掘更多文献:

图片

图片

ChatGPT agent目前的能力,虽然能执行多步骤任务,但能力有限,太复杂的任务完成度不好。

但是如果把任务颗粒度细化,比如文献综述,规定具体的文献数据库来源,缩小检索范围,agent完成的就会相对较好。

当然,目前的通用agent,比如Manus、GenSpark,都有完成任务质量不高的通病,不如特定场景的agent好用(比如各家deep research ,GenSpark PPT制作,天工 AI PPT等)。

所以,工具还是那个工具,合理分配任务,是提升效率和效果的关键。

以上。


AI辅助论文写作课程
《AI辅助写作到发表》是由我的合伙人迪娜老师制作的一套视频课程。
迪娜老师是一位8+年的一区SCI期刊科学编辑,初审及润色文章超500篇,精准掌握学术文章写作要求和特点,不但熟知各种写作问题,也懂审稿人的各式套路。
《AI辅助写作到发表》视频课程中包含选题、润色、降重、Discussion讨论、期刊选择、CoverLetter撰写等,几乎涵盖SCI写作到投稿的全流程
图片

我之前也从头到尾学过一遍,视频总体时长不长,但干货满满
在课程群里待了一段时间,已经看到好几个同学、老师通过课程分享的技巧发表了自己的文章:
图片
ps.我自己虽暂时没有文章需求,但呆在群里也学习了不少科研、AI方面的可靠信息,像是文章该怎么改,专家意见该怎么回,哪个科研工具好用,哪个公司又出新AI了、效果怎么怎么样,哪个地方入手的AI稳定靠谱……
怎么说呢,相当于蹭了个十年学术期刊编辑的脑子,相当受用
图片


课程购买方式

公众号后台回复关键字 6400,查看加入方式


如果你觉得我的分享对你有帮助的话,欢迎大家在这里点赞、在看、分享。当然,也欢迎大家在这里打赏。互动越多,更新越快哦~

声明:本公众号的所有原创内容,在未经允许的情况下,不得用于任何商业用途,违者必究。


Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/185232