社区所有版块导航
Python
python开源   Django   Python   DjangoApp   pycharm  
DATA
docker   Elasticsearch  
aigc
aigc   chatgpt  
WEB开发
linux   MongoDB   Redis   DATABASE   NGINX   其他Web框架   web工具   zookeeper   tornado   NoSql   Bootstrap   js   peewee   Git   bottle   IE   MQ   Jquery  
机器学习
机器学习算法  
Python88.com
反馈   公告   社区推广  
产品
短视频  
印度
印度  
Py学习  »  chatgpt

ChatGPT Image 2是强,但我说点吓人的

互联网AI早读课 • 6 月前 • 158 次点击  
GPT Image 2终于把事情闹大了。

上周,一张“财联社快讯:西山居将于6月31日解散并卖给网易”的伪造新闻截图,突然在社交平台疯传,金山软件的股价也应声下跌。

随后,西山居下午紧急辟谣:西山居不存在所谓“解散”或“出售”的情况,该图片存在明显违背常识的低级错误。据传,该图片的制作者已主动前往上海警局“自首”。

本意只是玩梗,甚至留了6月31日这样的“漏洞”,怎么还把股价干下来了?

GPT Image 2,太真了

Image 2已经绕开了我们过往识别造假的经验。

所谓道高一尺,魔高一丈,伪造图片和判断真假,一直在互相博弈。每当人类掌握了新的识别破绽的经验,那新技术到来之时就会“修复这些漏洞”。

过去,AI生图最大的难点就是文字,尤其是中文。

生图模型理解起那些一个个东方的小方块就像是鬼画符,文字一多了瞬间变乱码、错位、语义不通。

字体也是重灾区,一眼看上去的印刷体,放到哪里哪里出戏。

一年前AI生图的中文理解能力

这是我使用Image 2生成的一张处方笺图片,整体的排版很正确,属于是一眼看去不会觉得假的程度。虽然仔细看也有部分问题,比如提示词里“今天”的时间没有理解对,没有意识到“李沣医生”是名字+职业,签名应该只写“李沣”。

请扮演专业的医疗文书系统,帮我生成一份标准格式的文字版处方笺。具体参数与要求如下:医疗疗机构:硬核看板医院就诊科室:眼科处方医师:李沣医生开具日期:今天(请直接输出当前的具体日期)处方内容(Rp):硬核牌滴眼液 × 1瓶请按照正规处方笺的排版结构输出,需包含:医院表头、患者基本信息栏(姓名、性别、年龄等留空画线)、临床诊断(可留空画线)、Rp栏(包含药品名称、规格、数量及用法用量说明)、以及底部的医师、审核、调配、发药签名栏。排版需严谨、整洁且具有代入感。

Image 2完全理解了“一张可信的文件该长什么样”。甚至提示词里没有具体提到的用法用量,Image 2也十分正确地进行了填充,完全就是标准的滴眼液用法和用量。

再对比一下我使用相同提示词生成的真实场景图片吧,你觉得哪张看起来更真实?

生成一张菜市场买菜的图片,路边开放摊位,天气是刚刚下雨之后,太阳刚刚出来一个老年男性手拿着小纸条在问价买菜,有收款码,墙上贴着招牌菜价

上图是Image 2生成的图片,容易辨认的部分文字都是正确的,远处的人影也是清晰的,就像是手机随手拍摄的照片。而下图是Nano Banana Pro生成的图片,最大的错误在于手上的纸条文字画蛇添足了,不仅是明显的印刷体,而且拿“反”了。另外,人物的景深关系,就好像用专业大光圈相机拍摄的一样,非常的不“日常”。

过去很多AI图的问题,不是不够真,而是太真了——光线太漂亮,构图太工整,人物太干净,像广告片,像样张,像精修图,唯独不像生活里会出现的照片。而GPT Image 2在写实场景下会主动靠近“真实照片的瑕疵感”,包括更自然的皮肤纹理、更平的色彩、更像手机随手拍的构图和虚化。

仿佛网站上的真人检测,是捕捉你操作时的迟钝和不均匀的操作速度。AI生成的照片,也越来越会模仿这种寡淡、随意、甚至有点粗糙的真实感。

小红书用户elia11分享了使用Image 2生成的照片,非常真实地还原了手机屏幕上的油脂和提示词没提到的灯光反射。除此之外,手机显示时间恰好在聊天记录时间2分钟之后,Image 2在没有被要求的情况下,自行补充了符合现实的细节。这是一种主动构建真实感的能力。

看到这样的照片,你真的能分辨出它是假的吗?

被骗,真不是你的问题

我们判断图片的真假,一般靠两步验证,先是找破绽,然后看语境。

破绽就是指手指不对、文字乱码、脸太假、光影太奇怪这些图片本身的内容;而语境则是“图是谁发的、在哪里看到的、配的文字像不像新闻”这些图片之外的因素。

过去,AI图往往第一关就过不去。你可能说不出哪里不对,但总能感觉到“这图有点假”。但Image 2已经不一样了。使用同样提示词生成的两张照片,你完全分辨得出哪张照片更像真的。

生成一张2000年左右风格的老照片:时间是夏天的正午,地点是葡萄架前;一个3岁左右的小男孩和一个25岁的女性的合影,均为亚洲面孔;女性蹲在小男孩身后,身穿粉色的连衣裙,双手放在男孩肩上;男孩站在女性身前,身穿白色无袖背心,藏蓝色短裤,一双凉鞋,被晒得有点黑两人都在画面中央

现在第一关不起作用,我们的大脑就会开始第二次判断,使用语境信息进行验证。

“这看起来像个媒体图。”

“这排版挺正规。”

“这人平时也发新闻。”

“这应该八九不离十吧。”

这时候,判断已经和图片本身没什么关系了。所以,被Image 2生成的图片骗到,真不是你的问题。

但为什么明明6月31日这样的漏洞如此明显,还是会有人被骗?

在信息传播里,很多时候并不需要“完全相信”才会扩散。只需要“有点像真的”,就足以触发围观、猜测、转发,甚至引发市场和舆论的连锁反应。

造谣者完全不需要让你完全相信一张假的,只需要让你对真的也失去把握,目的就已经达到了一半。

当假图越来越真,当假图越来越真,你开始对所有图都多一分疑虑,包括真的。假的看起来像真的,真的被怀疑是假的,真真假假难以判断,这时候,他们的目的就达成了。

GPT Image 2,改变了什么

要说GPT Image 2带来的变化,是更大的信任危机。

过去造假,需要技术;现在造假,只需要意图。

请两天病假需要医院病历?今天不想上学需要学校出个放假安排?拼夕夕仅退款需要图片?……AI都可以帮你搞定,而且你的领导、你的家长、你自己作为卖家真的很难鉴别。

而对于公司和组织,一张伪造的“财务审批截图”,可能让出纳直接打出一笔款;一张伪造的“领导微信指示”,可能让员工绕过正常流程做了一个错误决定。那些截图不过是一口口飞向你的黑锅。西山居的事件,更是说明了AI伪造的信息可能直接影响市场判断。

当然,防守方也不是毫无动作。现在行业里最明确的一条路,是给内容补上“身份证”——OpenAI已经在ChatGPT生成图片中加入C2PA元数据,方便外部验证图片来源;Google也在自家企业平台里为生成内容附加符合C2PA标准的Content Credentials,用来记录内容的生成和编辑信息。

第二条路,是平台和监管一起推动“AI生成”标识。按照《人工智能生成合成内容标识办法》,AI生成内容需要带显式或隐式标识,多家平台也已经上线相关提醒、声明或识别机制。就在刚刚,“剪映”“猫箱”App及“即梦AI”网站存在未有效落实人工智能生成合成内容标识规定要求等问题被约谈,平台不能再装作这件事不存在了。

问题是,这些办法用处还是非常有限。C2PA和来源凭证一旦经过截图、裁剪、压缩,验证体验就会变差;而SynthID这类隐形水印虽然能增强追踪能力,但面对二次加工和复杂修改时也存在局限。现在更真实的局面是:国家在补规则,平台在补标识,模型公司在补溯源,但“证明真实”的速度,暂时还跑不过“制造假象”的速度。

这场危机最后还是会落回到个人。

普通人最该建立的,不是“我能一眼识破所有假图”的火眼金睛。给普通人三个建议:

第一,不让单张图片直接成为判断依据;

第二,凡是涉及钱、工作、医疗、身份和合同的信息,都多做一次来源核验;

第三,看到越像“独家内幕”“刚刚发生”“内部流出”的图片,越要先停一下。

写到最后,我甚至有点悲观,更强的Image 3、Banana 3迟早会来,到那时,我还能拿什么去相信。





‍

来源 |  硬核看板(ID:yinghekb)

作者 |  李沣 ;  编辑 | 呼呼大睡

内容仅代表作者独立观点,不代表早读课立场

图片

图片

图片

图片图片

Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/195686