社区
教程
Wiki
注册
登录
创作新主题
社区所有版块导航
Python
python开源
Django
Python
DjangoApp
pycharm
DATA
docker
Elasticsearch
分享
问与答
闲聊
招聘
翻译
创业
分享发现
分享创造
求职
区块链
支付之战
aigc
aigc
chatgpt
WEB开发
linux
MongoDB
Redis
DATABASE
NGINX
其他Web框架
web工具
zookeeper
tornado
NoSql
Bootstrap
js
peewee
Git
bottle
IE
MQ
Jquery
机器学习
机器学习算法
Python88.com
反馈
公告
社区推广
产品
短视频
印度
印度
一周十大热门主题
【漏洞通告】Docker Engine AuthZ授权绕过漏洞(CVE-2024-41110)
大一统!深度学习和传统机器学习终迎来统一的RPN理论框架表示
【7.22头条】仅剩12小时丨Python科研绘图教程,40+绘图案例(附完整代码)
AIGC Weekly #81 小模型扎堆
深度学习时间序列异常检测方法
谁能活到下一轮?大模型&AIGC 创企生存现状一撇
几个被淘汰的Python库,请不要再用!
网页链接麻省理工这本爆火的《深入理解深度学习》的免费书终于出中文-20240721092841
美国科学家使用AI探索癌症治疗方案;美国初创公司 Chef Robotics 用AI包装“预制菜”丨...
销量超10万+册,这3本书凭什么能得到Python之父推荐!
关注
Py学习
»
chatgpt
离谱!最新研究:61%中国人写的英语论文,会被ChatGPT检测器判为AI生成的
爆炸吧知识
• 1 年前 • 203 次点击
点击长按下方图片👇
本文
转载于
:新智元
,如有侵权,请联系后台小编删除!
非母语者写的文章=AI生成?气抖冷。
ChatGPT火了以后,用法是真多。
有人拿来寻求人生建议,有人干脆当搜索引擎用,还有人拿来写论文。
论文...可不兴写啊。
美国部分大学已经明令禁止学生使用ChatGPT写作业,还开发了一堆软件来鉴别,判断学生上交的论文是不是GPT生成的。
这里就出了个问题。
有人论文本来就写的烂,判断文本的AI以为是同行写的。
更搞的是,中国人写的英文论文被AI判断为AI生成的概率高达61%。
这....这这什么意思?气抖冷!
非母语者不配?
目前,生成式语言模型发展迅速,确实给数字通信带来了巨大进步。
但滥用真的不少。
虽说研究人员已经提出了不少检测方法来区分AI和人类生成的内容,但这些检测方法的公平性和稳定性仍然亟待提高。
为此,研究人员使用母语为英语和母语不为英语的作者写的东西评估了几个广泛使用的GPT检测器的性能。
研究结果显示,这些检测器始终将非母语者写作的样本错误地判定为AI生成的,而母语写作样本则基本能被准确地识别。
此外,研究人员还证明了,用一些简单的策略就可以减轻这种偏见,还能有效地绕过GPT检测器。
这说明什么?这说明GPT检测器就看不上语言表达水平不咋地的作者,多叫人生气。
不禁联想到那款判断AI还是真人的游戏,如果对面是真人但你猜是AI,系统就会说,「对方可能会觉得你冒犯了。」
不够复杂=AI生成?
研究人员从一个中国的教育论坛上获取了91篇托福作文,又从美国Hewlett基金会的数据集中摘取了88篇美国八年级学生写的作文,用来检测7个被大量使用的GPT检测器。
图表中的百分比表示「误判」的比例。即,是由人写的,但检测软件认为是AI生成的。
可以看到数据非常悬殊。
七个检测器中,美国八年级学生写的作文被误判的概率最高才12%,还有两个零误判的GPT。
中国论坛上的托福作文被误判的概率基本全部过半,最高误判概率可达76%。
91篇托福作文中的18篇被所有7个GPT检测器一致认为是AI生成的,而91篇中有89篇,都至少被一个GPT检测器误判。
从上图中我们可以看出,被所有7个GPT误判的托福作文在复杂度(Complexity)上明显低于其它论文。
这就印证了开头的那个结论——GPT检测器会对那些语言表达能力有限的作者有一定偏见。
因此,研究人员认为,GPT检测器应该多看点儿非母语者写的文章,样本多了,才能消除偏见。
接下来,研究人员把非母语者写的托福作文扔到了ChatGPT里,丰富一下语言,模仿母语者的用词习惯。
同时作为对照组,把美国八年级小孩儿写的作文也扔到了ChatGPT里,把语言简化了一下,模仿非母语者的写作特点。下图就是修正后的新判定结果。
我们可以发现,情况来了个大掉个儿,丰富了语言的托福作文错判率直线下降,低至3%,最高也不过19%。不像之前基本全部过半的错判率。
与之相反,八年级小孩儿写的作文的错判率直线上升,甚至还有一个GPT检测器的错判率高达99%,基本全错。
因为,文章复杂度这个变量出现了变化。
这里研究人员就得出了一个结论,非母语者写的东西不地道,复杂度低,容易被错判。
这也就导向了一个技术问题,同时也是一个价值问题。以复杂度来判定AI还是人类是作者,是否合理、全面、严谨。
结果显然不是。
以复杂度为判断标准的情况下,非母语者吃了大亏,因为,他们是非母语者(废话)。
AI润色=人类写的??
研究者认为,加强语言多样性不仅可以减轻对非母语者的偏见,还能让GPT生成的内容绕过GPT检测器。
为了证明这个观点,研究人员选取了2022-2023年间美国大学申请的入学论文题目,输入到ChatGPT-3.5里,一共生成了31篇假论文。
GPT检测器一开始还挺有效,但是第二轮就不行了。这是因为,在第二轮中,研究人员把这些论文又扔到ChatGPT里润色了一下,用一些文学性的语言提升了文本质量。
这样一来,GPT检测器的准确度就从100%直降到了0%。如下图:
经过润色的文章复杂度相应也上升了。
与此同时,研究人员又用了斯坦福大学145个期末项目报告的题目,让ChatGPT生成摘要。
摘要经过润色以后,检测器判断的准确性继续下降。
研究者再次得出结论,润色过的文章很容易被误判,都是AI生成的,两轮就是比一轮强。
GPT检测器?还是欠练
言而总之,总而言之,各种GPT检测器好像还是没能抓住AI生成和人类写作之间最本质的区别。
人的写作也分三六九等,仅靠复杂度判断,不甚合理。
抛开偏见因素不谈,技术本身也亟待改进。
参考资料:
https://arxiv.org/pdf/2304.02819.pdf
超模君 说
看到最后
你怎么看这件事?
欢迎留言分享!
限时福利
有订单问题,咨询在线客服
👇
Python社区是高质量的Python/Django开发社区
本文地址:
http://www.python88.com/topic/155559
203 次点击
登录后回复