社区所有版块导航
Python
python开源   Django   Python   DjangoApp   pycharm  
DATA
docker   Elasticsearch  
aigc
aigc   chatgpt  
WEB开发
linux   MongoDB   Redis   DATABASE   NGINX   其他Web框架   web工具   zookeeper   tornado   NoSql   Bootstrap   js   peewee   Git   bottle   IE   MQ   Jquery  
机器学习
机器学习算法  
Python88.com
反馈   公告   社区推广  
产品
短视频  
印度
印度  
Py学习  »  chatgpt

认知域作战新利器—ChatGPT认知剖析及对策

战略前沿技术 • 1 年前 • 280 次点击  


 

 

电话 | 010-82030532    手机 | 18501361766

微信 | tech9999    邮箱 | yw@techxcope.com


来源:军事文摘

作者:陈昌孝、李浩、王梓晗、姜文博

2022年11月30日,美国人工智能公司OpenAI正式发布大型自然语言交互程序聊天机器人ChatGPT(Chatbot Generative Pre-training Transformer)。随后,又推出GPT-3.5并很快迭代到GPT-4。这对于信息生产、流通全过程的改变,不仅掀开了人工智能被用于现实传播问题的序幕,也将助长国际体系与社会生活中根深蒂固的系统性偏见、有意欺诈、政治造谣、伪造身份等问题。这种强有力的变革对认知域作战同样会产生巨大影响,将会使得认知域作战的形式更加丰富、手段更加隐蔽、防范更加困难,其对于社会生活、政治生态和社会总体意识形态的影响也将会更加深入。需要深入分析其在认知域作战中的运用场景,把握认知规律、重塑认知内容、优化认知过程。

认知域作战视角下的ChatGPT主要特性


       


ChatGPT是在GPT(Generative Pre-trained Transformer)模型的基础上通过改进优化得到的,针对对话场景利用“人在回路”进行了优化。GPT是一种大型语言模型,是现阶段对于自然语言进行机器学习的主流思路,能够生成各种不同的文本类型。它可以根据上下文自动生成与人类语言类似的文本对话。GPT模型主要思路是让AI在通用的、海量的数据上学习文字接龙,即掌握基于前文内容生成后续文本的能力。目前GPT模型已经发展到了第四代,是针对对话场景进行针对性优化的结果。相比于以往的固定对话式人工智能,ChatGPT拥有自己的思考逻辑,因此在不处于“人在回路”的监管时,系统可以对同一问题给出多种回答,只不过这些回答在系统偏好的作用下以概率分布的形式存在。

GPT用海量数据学习“文字接龙”

ChatGPT作为新一代人工智能,在引入大数据进行自主学习时使用人工对系统学习结果进行评价,从某种意义上说,该过程正是赋予系统“灵魂”、完成画龙点睛的过程。但是由于人类本身固有的政治立场或倾向,使得在对学习结果进行筛选时,筛选结果不可避免地被打上了监督者的个人标签,从而在这一过程中给系统带入了一种“预设的价值观”,使其成为认知域作战的“新利器”。

一是难以抹去的价值底色。ChatGPT的价值观底色根植于参与该系统设计研发人员的价值观取向,即“硅谷价值观”,属于美国左派的温和派。这种底层逻辑的审视使得ChatGPT常常表现为美国精神的“卫道者”,在测试者的政治性话题中,ChatGPT对于涉美议题或涉及外国政治人物的话题上往往采取中立或避而不谈的态度,但是在关于美国正面话题的谈论上却表现得相对积极。除此之外,对于诸如少数族裔问题、枪支问题、堕胎问题、环保问题等争议性话题,ChatGPT也表现出相对保守的态度,并且在整体取向上更加偏向于温和左派。

在ChatGPT上线互联网后,世界各国的网民也都参与到了与ChatGPT的互动中来,并在大量的交流中逐渐发现ChatGPT在面对不同语言的提问时,同一问题往往会得到不同答案,并且这种改变是随着社会动态的变化而随时改变的。这种“见人下菜碟”的行为说明该智能系统仍处于成长学习阶段,且在该过程中系统所受到的人为干预远不止训练模型中标注出来的那么简单,这种实时且强有力的人为干预将ChatGPT的预设价值观推向了更加隐蔽、更加晦涩的深层次。

GPT与T5、BERT的演化

二是开放可塑的数据训练。ChatGPT本质上是基于GPT模型,针对聊天环境进行指向性优化的结果。GPT模型在面对不同来源的数据进行学习时,会根据数据本身“意义分布”的不同而学习得到不同的结果。这意味着,已经被ChatGPT证明相对成熟的GPT模型将可以在差异性数据来源的情况下,被培养成为适用于不同领域的特定人工智能。这种可塑性使得GPT系统的发展前景大大超过以往的自然语言学习系统,并且为GPT家族的发展壮大提供了可能性,也极大地拓宽了其市场前景与应用场景。

随着特定倾向性的数据训练,给定的价值观会演变成为工具本身的价值观,将会使ChatGPT以网络空间“虚拟人”的身份进行输出,而它所擅长的自然语言学习将会成为这种输出的主要路径与助力。以ChatGPT为代表的智能系统将会拓展现有网络空间,成为元宇宙的重要组成。在元宇宙中,ChatGPT可以催生出一种不具有现实映射的“虚拟人”,不仅仅以“系统的一部分”的形式存在,而是会基于其预设价值观,成为某种价值观的代言人,通过网络虚拟空间对现实世界产生巨大的影响。

三是高度逼真的自主输出。随着ChatGPT上线互联网,人们发现ChatGPT已经跨越了以往工具在面临“领会意图”这一问题上难以跨越的人机鸿沟,自然语言学习的过程赋予其超越指令的能力。若将其运用到认知域作战当中,将可替代目前进行流量攻击的“网络水军”。ChatGPT强大的数据产生能力与强自主性的概略意识,将使认知攻击的响应时间更短、行动更灵活、反馈更迅速,同时作战成本将会进一步降低,作战向无人化、智能化迈出了实质一步。

同时,ChatGPT所带来的深度造假技术的提升,使得认知域作战的进攻行动更加隐蔽。在现有的进攻行动中,敌方往往需要依托于热点事件,通过网络水军的集结来造成舆论攻势,进而造成部分民众的认知混乱。但是ChatGPT却能够脱离热点事件,取代网络水军的集结行动,将认知域作战的进攻行动以一种更加平滑的方式融入到日常生活中去。未来的认知域作战所依托的社会事件热度将会进一步降低,呈现出多点开花、多线出击的态势。

ChatGPT在认知域作战中的运用场景构设


       


在人类历史绝大部分时间内,科学技术发展的最新成果往往被最先应用于军事领域,ChatGPT的武器化势在必行,其在认知域作战中有着广泛的潜在应用场景。

以ChatGPT为代表的智能系统将会成为元宇宙的重要组成

利用沉锚效应,实现认知预设。沉锚效应是指:人们做决策前,思维往往会被所得到的第一信息所左右,第一信息就会像沉入海底的锚一样,把你的思维固定在某处,从而产生先入为主的歪曲认识。ChatGPT将会首先取代网络水军在认知域作战中的生态位置。强劲的系统架构、强大的数据处理能力,为ChatGPT带来的数据生产能力以及直接对接网络的机机交互模式,将会使得认知域进攻作战在时空上都更加平均,同时这种时空分布状态对进攻烈度进行积分所得到的总进攻强度又会远远高于以往。这种变化所带来的直接影响就是日常生活中任何一起稍具影响力的社会事件都有可能成为认知域作战的战场。ChatGPT的预设价值观不再需要特定的社会事件才能进行表达,而是会广泛地渗透在社会的各个角落,通过扭曲、造谣、带节奏的方式从生活中的点滴小事上持续输出负面信息。

ChatGPT强大的信息生产能力,将进一步突破信息生产力的上限,加剧个体“信息过载”状态,并对社会信息构成产生影响。从个体微观视角来看,直观地感受就是负能量的戾气充斥在社会的方方面面,同时大量具有相同预设价值观的信息会在任何社会实践发生的时候扑面而来。而且ChatGPT的“不厌其烦”“潜移默化”将会使得这一过程更加平滑顺畅,负能量信息被包含在一次次看似正常的抱怨、内涵与“合理的利益诉求”中,悄悄烙入人们的潜意识,形成思维底色。这种潜在印象将会在长期的加强下慢慢毒化社会风气、影响对于特定事件的社会风评、建立“事件—情绪”的对应关系,在不知不觉中改变一个人的认知逻辑与行为方式。

打造信息茧房,形成认知依赖。信息茧房是信息时代不可避免的社会问题,是个体或群体在信息消费过程中因自身或外界的因素而形成的信息来源窄化和观念极化现象。认知域作战过程中,通过大数据对个体展开偏好分析,形成个性化的用户画像,为精准认知攻击提供可能。ChatGPT的强大数据处理能力以及较高的自主性使得其可以获得进行偏好分析以及后续包括相关信息生产、信息投送的能力。

ChatGPT的智能系统可以实现偏好抓取到信息投送一体化,具备自主、持续、自适应的认知作战能力。这将会大大提高现有的信息茧房制设效率。传统认知域作战中,对于个体或群体信息茧房的制设,一方面需要长期的用户跟踪、偏好分析和信息投送;另一方面需要借助热点事件或制造热点事件才能达到理想效果,这都要花费较大资源,且攻击过程易被识别、干扰和破坏。但ChatGPT以平滑的姿态进行进程设计,并将预设的价值观安插到任何一起稍具影响的社会事件中去,不需要借助或制造热点,使得信息茧房制设常态化;ChatGPT高度自主性、智能化,可针对受到影响的个体进行精准分类,加大信息投送,促使潜意识中被植入的印象逐渐成长并在个人的思想中占据主导地位,极大提高了信息茧房制设效率。同时基于分散社会事件的信息投送模式也更难被发现和监管,使得认知域作战的进攻成本与响应速度进一步缩减。

强化社群效应,塑造群体极化。社群效应是指:当一部分人群拥有相近的价值观时,就会在无形中产生相较于日常人际关系更为紧密的联系。在人口总基数相对不变的前提下,当越来越多的人群被剥离出主流价值观时,主流价值观的影响力就会受到削弱,一旦信仰主流价值观的人口基数在社会中不足以达到大多数时,主流价值观也会丧失其主流地位。在这一过程中如果不能确立出新的主流价值观或新的主流价值观与国家利益不匹配,那么就会在事实上造成社会凝聚力、向心力的丧失,也就是说在社群效应影响下的小团体分裂行为最终必然导向社会原子化,进而产生社会群体的极化。

社群效应影响下的小团体分裂行为最终必然导向社会原子化

在认知域作战过程中,认知预设旨在源源不断地制造特定人群,拥有“入群”潜力的个体会在相关信息所织造的信息茧房的不断提纯与筛选下,逐步形成对于这种特定价值观信息的认知依赖。最后这类经过特殊培养、培育的人就会在自觉或外力的助推下形成抱团取暖的小圈子,在被不断饲养下逐渐成长,并最终对主流价值观形成挑战或者与其他意见相悖的小圈子相互攻讦,用混乱的小团体乱斗搅乱社会思想的统一。ChatGPT所拥有的精准信息投送能力与人群分类能力在这一过程中将会切实高效地助长各类小团体的形成。同时通过向处于信息茧房中的特定人员不断投放对应信息来制造出一批拥有极化思想的个人。当该类人群人口基数达到临界值后,就通过网络将这一类人员组织成为小团体并持续投放相关信息,使得该团体不断地纯化、成长。这些受到ChatGPT培养的众多小团体都会在客观上削弱主流价值观的影响力,而这种隐晦繁杂的认知进攻方式的出现正是基于算力的进一步提升以及ChatGPT智能高效的算法架构。

应对ChatGPT的策略思考


       


健全网络监控体系,实时感知舆论态势。网络舆情态势感知和监测能力是夺取认知域作战主动权的前提条件,而高效舆论感知网络又是基于先进算法、具有一定自主分析能力的多维感知系统。需要进一步健全网络监控体系,使之具有网络舆论态势感知及溯源能力,并拥有从内容重复性、逻辑性、语法语义等方面开发的人工智能内容鉴别能力。实现准确识别由人工智能控制账号发布的虚假信息以及诱导性言论,对虚假消息源头进行“发送、甄别、封禁、溯源、抓捕”的快速反应,堵截ChatGPT发布虚假信息的渠道,削减其参与认知域作战的能力。加强专业人才队伍建设,形成一支快速反映、灵敏有效、忠诚可靠、技术过硬的认知域作战人才队伍,在网络环境下认知对抗的常规力量对比中占据优势。

坚决守住舆论阵地,深化教育宣传效果。深刻意识到网络空间所具备的主权特征,全社会多部门共同参与,将网络空间当作“数字领土”一样进行主权建设。维护以社会主义核心价值观为代表的主流价值观的主流地位,深化主流价值观的宣传教育,把宣传阵地牢牢掌握在自己手里。丰富拓展宣传部门的工作形式与宣传手段,发掘符合主流价值观的好人好事,树立典型、弘扬正气,主动掌握社会舆论的定义权与主导权。采取人民群众更加喜闻乐见的方式,深化宣传教育效果,实现中华民族传统文化、中国特色社会主义理论体系和国家建设社会实践三者有机结合,加快实现四个自信,正本清源,从根源上杜绝ChatGPT颠倒黑白的一切可能。

坚持开展技术研发,丰富拓展应用手段。实现以政府为主导、以企业为主体,构建“政产学军研用”六位一体的协同创新机制,推进高精尖技术的不断前进与应用技术的大规模应用,将平台建设、基础设施投资与科技进步有效转化成为政府面对网络新兴挑战的反击力量。在平台建设中借鉴民用互联网的先进经验,实现网络认知对抗诸多力量的扁平化管理;在基础设施投资上由政府牵头、多方参与,在硬件上确保监管系统的正常运转;在科技进步上以监管与军事需求为主导,院校与科研院所充分参与,尽快突破认知域作战态势感知、战场孪生、用户画像等技术瓶颈,下好应对ChatGPT用于网络认知对抗的先手棋。


一网打尽系列文章,请回复以下关键词查看:
创新发展习近平 | 创新中国 | 协同创新 | 科研管理 | 成果转化 | 新科技革命 | 基础研究 | 产学研
热点专题军民融合 | 民参军 | 工业4.0 | 商业航天 国家重点研发计划 装备采办 |  摩尔定律 | 诺贝尔奖 | 国家实验室 军工百强 试验鉴定 | 双一流 | 净评估 
前沿科技颠覆性技术 | 仿生 | 脑科学 | 精准医学 | 基因编辑 虚拟现实 | 增强现实 人工智能 | 机器人 | 3D打印 | 4D打印 太赫兹 | 云计算 | 物联网  互联网+ 大数据 | 石墨烯 | 电池 | 量子 | 超材料 | 超级计算机 | 卫星 | 北斗 | 智能制造 不依赖GPS导航 5G | MIT技术评论 | 航空发动机 | 可穿戴 氮化镓 | 隐身 | 脑机接口 | 传感器 | 数字孪生
先进武器 无人机 | 轰炸机 预警机 | 运输机 | 直升机 战斗机 | 六代机 网络武器 | 激光武器 | 电磁炮 | 高超声速武器 反无人机 | 防空反导 潜航器
未来战争未来战争 | 抵消战略 | 水下战 | 网络空间战 | 分布式杀伤 | 无人机蜂群 | 太空战  反卫星 混合战 电子战 马赛克战
前沿机构战略能力办公室 | DARPA 快响小组 | Gartner | 硅谷 | 谷歌 | 华为 阿里 | 俄先期研究基金会 | 军工百强
其他主题系列陆整理中,敬请期待…… 



Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/163655
 
280 次点击