在当今的数字时代，网络安全是每个人都关心的问题，已不仅限于技术专家。美国时间12月6日早间，谷歌公司正式发布迄今为止功能最强大、最通用的多模态人工智能（AI）大模型——Gemini，人工智能（AI）和机器学习（ML）的快速发展，也为网络安全行业带来了机会和挑战。根据一项最新调查发现，全球45%的组织已经在其网络安全系统中实施了AI和机器学习，另有35%的组织计划这样做，而20%的组织认为现在还不是采用这些技术的正确时机（Nachaat Mohamed, 2023）。
下面，本文将主要介绍人工智能可能带来的安全风险以及默安科技在将人工智能运用于网络安全中的探索。
人工智能的起源，可以追溯到上个世纪50年代的“图灵测试”。 早期AI研究主要集中在符号主义，试图通过编程规则来模拟人类智能。1956年，达特茅斯会议正式将这一领域命名为“人工智能”。80年代，随着计算机技术的发展，机器学习特别是决策学习算法开始流行，AI开始专注于具体的问题解决，如专家系统。1997年，IBM的深蓝击败国际象棋世界冠军卡斯帕罗夫，成为里程碑事件。21世纪初，随着大数据和机器学习算法的进步，AI经历了爆炸式的增长，深度学习的兴起使得AI在图像识别、自然语言处理等方面取得了突破性进展。
图灵测试（The Turing test）一词来源于计算机科学和密码学的先驱艾伦·麦席森·图灵写于1950年的一篇论文《计算机器与智能》。图灵测试指测试者在与被测试者（一个人和一台机器）隔开的情况下，通过一些装置（如键盘）向被测试者随意提问。进行多次测试后，如果被测试者机器让平均每个测试者做出超过30%的误判，那么这台机器就通过了测试，并被认为具有人类智能。
21世纪初，在深度学习技术出现之后，人工智能应用进入快速发展阶段，语音识别、图像识别等是深度学习的典型应用，例如我们日常生活中接触到的车牌识别、人脸识别等；从去年11月份ChatGPT发布之后，人工智能呈现爆炸式增长，大家看到 AIGC 无限的创造潜力和未来应用可能性。ChatGPT基于Transformer等一些新的算法，其核心能力是能够进行推理，从而实现基于自然语言的输入进行内容的生成。另外，从行业视角来看，人工智能已经在多个领域有着广泛的应用：● 医疗保健
：AI在医学影像分析、疾病预测和个性化医疗中发挥着重要作用。● 交通与自动驾驶：AI技术在提升交通安全和发展自动驾驶车辆中扮演关键角色。● 制造业与自动化：在制造业中，AI提高了生产效率和质量控制的水平。● 零售与客户服务：通过个性化推荐和客户服务自动化，AI正在改变零售业。● 娱乐与媒体：AI在内容创造、游戏开发和个性化体验中发挥作用。举一个简单的例子，大家都使用过文字输入法中的联想能力，基于输入的内容，通过算法联想生成高度相关的内容，这与AIGC的技术原理有相似之处。当然，实际的AIGC技术原理比这个复杂得多，AIGC技术的基础由incode编码器与decode解码器组成，编码器的功能就是把输入进行“编码”，然后将“编码信息”再传递给解码器，解码器根据这些信息再进行“复现”。在编码器-解码器这个体系中，可以使用原始信息和解码器输出的信息之间的差异作为损失函数的基准，再利用误差反向传播来训练编码器，使得训练后的编码器逐步地向着解码器所输出的信息和原始信息一模一样的方向来调整神经元之间的权重。上图中是用一张图片A来举例，当然也可能是其它的信息，例如一段文本、一段音频等，无论是哪种，对于模型来说，实际上都是以数字形式表示的信息。
要知道人工智能会遭受怎样的漏洞攻击，首先要弄清楚人工智能的漏洞会出现在什么位置——摸清家底，这跟网络安全是一个道理。众所周知，人工智能的核心是模型（Models），而模型是跑在操作系统（OS）上，操作系统则是跑在云（Cloud）上的；同时，模型还需要对外开放API，这也是一个风险敞口。
首先要考虑模型本身的漏洞：模型的格式很特殊，市面上大约80%的模型格式是Python类型的一种文件，也就意味着它是可以自带后门的，如果访问控制得不当，就可能导致模型被窃取或被替换。
操作系统的漏洞与云平台的漏洞同样会给人工智能平台与模型带来相应的安全风险：操作系统的漏洞可能导致操作系统被控制，造成模型失窃；云平台的安全漏洞可能导致人工智能平台被直接控制；而API承载着模型与外部之间的双向连接，未做好安全策略可能导致模型被暴力猜解与滥用。
从产业链的角度来讲，要想让一个AIGC应用最终安全地呈现在用户面前，一路上可谓是“披荆斩棘”。从数据流转到标注公司进行标注、之后利用人工智能算法进行训练、再到模型社区中被下载使用，最后正式进入到应用阶段，变成一个个的应用，并被添加各类插件，整个过程布满各种被投毒、植入后门、数据泄露等风险。
其中特别值得提出的几点是：
● 人工智能平台的模型数据量一般很庞大，如果里面被恶意投入一些非法数据，会非常隐蔽，很难察觉；
● 好的模型需要被算法训练，而算法本身其实并不是绝对安全的，也可能从“好”算法变成有后门的“坏”算法，随之带来安全风险；
● 如果被上传到社区中供下载的模型本身已经被投毒，变成一个应用之后，风险会被迅速放大，带来无穷的后患；
● 在用户跟模型交互的过程中，可能会输出涉及个人隐私的内容，而这些隐私数据可能在后面被模型泄露给其他用户。
早在深度学习（DL）阶段，就有研究者发现已有算法存在着严重的安全隐患：攻击者可以通过给良性样本添加特定噪声而轻易地欺骗DL模型，并且通常不会被人发现，即对抗性扰动攻击。
攻击者利用人的视觉/听觉无法感知的扰动，足以使正常训练的模型输出置信度很高的错误预测，研究者将这种现象叫做对抗性扰动攻击，它被认为是在生产中部署DL模型之前的巨大障碍。
到了AIGC时代，攻击者针对模型本身，通过大量的暴力破解，基于对抗性样本训练或添加扰动因子，能够让模型匹配错误的输入，造成模型的误报或失败，从而让车牌号码相同的两张车牌，被模型识别成为了两张不同的车牌（如下图）。
对抗性扰动攻击被用于图像识别、文字识别、人脸识别中，并且这种攻击很隐蔽，不容易被识别出来。根据威胁模型可以将现有的对抗性攻击分为白盒、灰盒和黑盒攻击，这三种模型之间的差异在于攻击者了解的信息。
在白盒攻击的威胁模型中，假定攻击者具有关于其目标模型的完整知识，包括模型体系结构和参数，因此攻击者可以通过任何方式直接在目标模型上制作对抗性样本。在灰盒威胁模型中，攻击者了解的信息仅限于目标模型的结构和查询访问的权限。在黑盒威胁模型中，攻击者只能依赖查询访问的返回结果来生成对抗样本。在个人信息保护越来越受到重视的时代，人工智能平台的隐私数据保护问题不容忽视。除非是经过专门训练的模型，大部分模型并不能判断数据的重要性，在上下文的数据未经过隔离的情况下，用户的隐私信息就有可能被其他人看到。
更有甚者，如果攻击者利用有XSS漏洞的插件进行越权访问，就有可能获取所有在使用某个大模型用户的信息。
随着AIGC的发展，数字世界中我们看到的可能是假的，也就是说“眼见未必为实”。视频、声音、图片都可以被伪造与篡改，这也为各类非法诈骗活动创造出了一些条件。
在内容安全方面，目前人工智能平台主要有通过外挂防火墙的方式，以及模型本身带有的安全策略这两种机制，但后者可能会被攻击者通过提示词的构造绕过，从而诱导模型做一些越界的事情。
人工智能平台利用插件与外界进行交互，向外传递数据，并引入外界的数据，在这个过程中，如果插件安全未得到保证，就会面临相应的风险，最常见的是跨插件请求劫持问题，通过调用插件能够基于用户身份访问未授权的应用，获取用户隐私或进行未授权的操作。
例如，当用户问：我现在要以最快的速度从杭州去北京，应该坐哪一列火车？ChatGPT在回答这个问题时，就需要通过调用插件获得相关的实时数据，而这个过程中，如果相关插件存在漏洞，就可能被攻击者利用来实施跨插件请求劫持，从而进行未授权的操作。
在新一轮科技浪潮下，人工智能的快速发展和应用，可以帮助人们提升工作效率、推动社会进步，但我们也需要快速提高企业与个人的安全意识和能力，不能完全依赖ChatGPT解决所有问题。安全意识仍是使用 ChatGPT 等工具的前提条件，对于复杂代码生成、敏感信息的处理，则应慎重使用类似ChatGPT的应用，以免带来黑客入侵、敏感信息泄露等风险。同时，以智能对抗智能是未来发展的方向，默安科技也在将人工智能运用于网络安全的领域进行积极探索，通过与实时的安全数据进行对接，以自然语言对话的形式，实现与各类安全系统交互，从而帮助安全运营人员提高工作效率、提升工作效果。1.深度学习中的对抗性攻击和防御丨Engineering，中国工程院院刊
2.Encoder and Decoder （编码器和解码器）-谈人工智能专利中的术语（五十四），“人工智能与知识产权”公众号
3.2万字长文助你快速入门AIGC：包含底层原理、应用场景、热门工具、行业现状…，“图灵人工智能”公众号
4.基于人工智能的网络攻击的安全威胁及对策，赵妍、高树莹、赵良友
5.论坛·人工智能安全 | 对 ChatGPT 带来网络安全利弊的分析，翟尤，“中国信息安全”公众号
