近
日,小红书公布2025年上半年打击「虚假」阶段性成果。数据显示,从1月截止到6月10日,平台已累计封禁黑灰产账号超1000万个,处置虚假笔记320万篇、虚假人设账号1万个,其中AIGC造假内容治理成为重点,上线了AIGC谣言诊断模型,半年内拦截低质AI笔记60万篇。(背景:5月,开始打击!微信、小红书针对AI接连公告)
在上半年的治理中,针对AIGC技术引发的虚假笔记泛滥问题,小红书推出以下多层治理措施:
第一,明确AIGC内容显著标识:要求创作者主动对AIGC内容进行声明,并进行显著标识。对未声明AIGC的内容进行标识,帮助用户识别AIGC内容。持续简化打标流程,鼓励创作者利用新技术进行内容创新,也积极参与到生态建设中。
第二,上线音画识别模型,多维度识别AIGC。通过分析图像像素分布规律等识别AIGC合成痕迹;对音频的音色、语调等特征进行深度分析,挖掘可能存在机械化表达等。
第三,细化账号分级处罚机制。根据账号发布 AIGC 造假内容的性质、影响、范围和违规频次,制定阶梯式处罚标准,结合同设备关联关系对相关作恶账号一并追溯处罚。
第四,设置流量门槛,减少低质AI内容曝光。低质量AIGC内容到达一定曝光阈值,将停止推荐。
除此外,也对批量造假的黑灰产账号进行了重点打击。
黑灰产治理面临这些挑战:账号注册环节使用虚拟号码与群控系统批量、精细操作,内容层面通过符号缩写、黑话变体规避审核,违规场景从公开笔记向群聊、私信等私域转移。
对此,小红书升级机器对抗系统,将风险账号判罚时间缩短至实时处置,有效应对“黑产变体快且多”的特性。同时,针对黑灰产账号
建立“同质化识别”风控体系,上线50+识别模型,实现账号、笔记、评论文本三维相似度检测。
值得关注的是,小红书推出“实名认证解冻”机制,对高危账号先冻结后验证,完成验证后解冻,显著提升黑产作恶成本。线下层面,小红书已向警方提供线索并推动7起典型案件侦办,形成“线上技术拦截+线下司法打击”的闭环治理模式。
小红书明确,在治理中,用户参与共治成为治理效率提升的关键。2025年上半年,虚假内容举报量同比增长40%。通过优化审核流程,被举报内容平均审核时长同比减少25%,预计接入大模型后年底将再缩短10%。
最后,小红书还披露了下半年用户共治计划。将简化举报流程实现“一页提交”,引入部分用户内容标注功能,计划推出“热榜辟谣卡”让用户辟谣内容登上热榜。
对此,你怎么看?有举报过虚假笔记或低质AI内容吗?欢迎在评论区留言,说说你的看法。