Py学习  »  chatgpt

ChatGPT Agent四大学术场景综合测评:文献综述、数据分析、PPT 制作与文献调研

阿昆的科研日常 • 3 周前 • 95 次点击  

点击上方“阿昆的科研日常”,关注我的公众号。

添加微信:akunscience28    备注:AI

免费获取《AI科研写作提示词》


之前测评过OpenAI的deep research(Kimi/OpenAI/Gemini deep research文献综述能力对比测评)。

那么,ChatGPT agent推出后,还需要OpenAI deep research吗?

两者哪个效果更好?

本文从文献综述、数据分析、PPT 制作与文献调研四大学术场景进行综合测评。

 

1.文献综述

我们针对同一个主题,比较了ChatGPT agent与deep research的效果。

ChatGPT agent运行7分钟,按照框架展示了主题综述的调研结果:

图片

可以看到,ChatGPT agent引用了很多mdpi和Frontiers上面的文章:

图片

当在提示词中补充“请主要查找来自pubmed和pubmed central的论文,以及其他学术期刊官网论文。”

这一次结果来源文献就好多了:

图片

ChatGPT agent倾向于查找有全文查看权限的pmc文章,并没有引用pubmed摘要的结果,而deep research会采用:

图片

此外,ChatGPT agent各部分的分析汇总也没有deep research深入。

综上,对于文献综述任务,无论是完整度、深度,OpenAI deep research效果更好。


2.数据分析

ChatGPT Agent除了能检索和汇总数据,还能将结果整理成图表。

那么我们再来看看其表现如何:

图片

图片

可以看出,数据来源是WHO、PMC、国际阿兹海默症官网等。

相比Deep research的文字报告,agent还有图表汇总:

图片

图片

由于数据来源不全,所以统计图没有显示每一年的详细数据,比较简略。

而且GPT agent当前还不能上传附件,如果能结合已有的数据文件,再加上检索最新数据,agent就能发挥的会更好。

 

3.PPT制作

根据给出的pdf文献,制作一份文献汇报PPT:

图片

时间有点长,整整运行了半小时,经历了“读取附件文章-分析内容-提取PPT要点-代码出PPT文件-转换pptx格式”等步骤,才给出了一份PPT。

图片

Agent出的ppt,可以直接下载和编辑:

图片

整体内容和视觉呈现,比较简洁,不如GenSpark和天工AI PPT。

 

4.文献调研

需要自主检索大量文献的主题综述,agent表现不如deep research。

那简单一点,指定数据库和网站的文献汇总报告呢?

实测效果还是很不错的:

图片

图片

图片

如果你对其中某一个主题感兴趣,还可以让GPT agent展开,继续深入挖掘更多文献:

图片

图片

ChatGPT agent目前的能力,虽然能执行多步骤任务,但能力有限,太复杂的任务完成度不好。

但是如果把任务颗粒度细化,比如文献综述,规定具体的文献数据库来源,缩小检索范围,agent完成的就会相对较好。

当然,目前的通用agent,比如Manus、GenSpark,都有完成任务质量不高的通病,不如特定场景的agent好用(比如各家deep research ,GenSpark PPT制作,天工 AI PPT等)。

所以,工具还是那个工具,合理分配任务,是提升效率和效果的关键。

以上。


AI辅助论文写作课程
《AI辅助写作到发表》是由我的合伙人迪娜老师制作的一套视频课程。
迪娜老师是一位8+年的一区SCI期刊科学编辑,初审及润色文章超500篇,精准掌握学术文章写作要求和特点,不但熟知各种写作问题,也懂审稿人的各式套路。
《AI辅助写作到发表》视频课程中包含选题、润色、降重、Discussion讨论、期刊选择、CoverLetter撰写等,几乎涵盖SCI写作到投稿的全流程
图片

我之前也从头到尾学过一遍,视频总体时长不长,但干货满满
在课程群里待了一段时间,已经看到好几个同学、老师通过课程分享的技巧发表了自己的文章:
图片
ps.我自己虽暂时没有文章需求,但呆在群里也学习了不少科研、AI方面的可靠信息,像是文章该怎么改,专家意见该怎么回,哪个科研工具好用,哪个公司又出新AI了、效果怎么怎么样,哪个地方入手的AI稳定靠谱……
怎么说呢,相当于蹭了个十年学术期刊编辑的脑子,相当受用
图片


课程购买方式

公众号后台回复关键字 6400,查看加入方式


如果你觉得我的分享对你有帮助的话,欢迎大家在这里点赞、在看、分享。当然,也欢迎大家在这里打赏。互动越多,更新越快哦~

声明:本公众号的所有原创内容,在未经允许的情况下,不得用于任何商业用途,违者必究。


Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/185232
 
95 次点击