点击上方“阿昆的科研日常”,关注我的公众号。
添加微信:akunscience28 备注:AI
免费获取《AI科研写作提示词》
那么,ChatGPT agent推出后,还需要OpenAI deep research吗?
两者哪个效果更好?
本文从文献综述、数据分析、PPT 制作与文献调研四大学术场景进行综合测评。
我们针对同一个主题,比较了ChatGPT agent与deep research的效果。
ChatGPT agent运行7分钟,按照框架展示了主题综述的调研结果:

可以看到,ChatGPT agent引用了很多mdpi和Frontiers上面的文章:

当在提示词中补充“请主要查找来自pubmed和pubmed central的论文,以及其他学术期刊官网论文。”
这一次结果来源文献就好多了:

ChatGPT agent倾向于查找有全文查看权限的pmc文章,并没有引用pubmed摘要的结果,而deep research会采用:
此外,ChatGPT agent各部分的分析汇总也没有deep research深入。
综上,对于文献综述任务,无论是完整度、深度,OpenAI deep research效果更好。
ChatGPT Agent除了能检索和汇总数据,还能将结果整理成图表。
那么我们再来看看其表现如何:


可以看出,数据来源是WHO、PMC、国际阿兹海默症官网等。
相比Deep research的文字报告,agent还有图表汇总:


由于数据来源不全,所以统计图没有显示每一年的详细数据,比较简略。
而且GPT agent当前还不能上传附件,如果能结合已有的数据文件,再加上检索最新数据,agent就能发挥的会更好。
根据给出的pdf文献,制作一份文献汇报PPT:

时间有点长,整整运行了半小时,经历了“读取附件文章-分析内容-提取PPT要点-代码出PPT文件-转换pptx格式”等步骤,才给出了一份PPT。

Agent出的ppt,可以直接下载和编辑:

整体内容和视觉呈现,比较简洁,不如GenSpark和天工AI PPT。
需要自主检索大量文献的主题综述,agent表现不如deep research。
那简单一点,指定数据库和网站的文献汇总报告呢?
实测效果还是很不错的:



如果你对其中某一个主题感兴趣,还可以让GPT agent展开,继续深入挖掘更多文献:


总结:
ChatGPT agent目前的能力,虽然能执行多步骤任务,但能力有限,太复杂的任务完成度不好。
但是如果把任务颗粒度细化,比如文献综述,规定具体的文献数据库来源,缩小检索范围,agent完成的就会相对较好。
当然,目前的通用agent,比如Manus、GenSpark,都有完成任务质量不高的通病,不如特定场景的agent好用(比如各家deep research ,GenSpark PPT制作,天工 AI PPT等)。
所以,工具还是那个工具,合理分配任务,是提升效率和效果的关键。
以上。
《AI辅助写作到发表》是由我的合伙人迪娜老师制作的一套视频课程。迪娜老师是一位8+年的一区SCI期刊科学编辑,初审及润色文章超500篇,精准掌握学术文章写作要求和特点,不但熟知各种写作问题,也懂审稿人的各式套路。《AI辅助写作到发表》视频课程中包含选题、润色、降重、Discussion讨论、期刊选择、CoverLetter撰写等,几乎涵盖SCI写作到投稿的全流程:
我之前也从头到尾学过一遍,视频总体时长不长,但干货满满。在课程群里待了一段时间,已经看到好几个同学、老师通过课程分享的技巧发表了自己的文章:ps.我自己虽暂时没有文章需求,但呆在群里也学习了不少科研、AI方面的可靠信息,像是文章该怎么改,专家意见该怎么回,哪个科研工具好用,哪个公司又出新AI了、效果怎么怎么样,哪个地方入手的AI稳定靠谱……怎么说呢,相当于蹭了个十年学术期刊编辑的脑子,相当受用。
课程购买方式
公众号后台回复关键字 6400,查看加入方式
如果你觉得我的分享对你有帮助的话,欢迎大家在这里点赞、在看、分享。当然,也欢迎大家在这里打赏。互动越多,更新越快哦~
声明:本公众号的所有原创内容,在未经允许的情况下,不得用于任何商业用途,违者必究。