社区所有版块导航
Python
python开源   Django   Python   DjangoApp   pycharm  
DATA
docker   Elasticsearch  
aigc
aigc   chatgpt  
WEB开发
linux   MongoDB   Redis   DATABASE   NGINX   其他Web框架   web工具   zookeeper   tornado   NoSql   Bootstrap   js   peewee   Git   bottle   IE   MQ   Jquery  
机器学习
机器学习算法  
Python88.com
反馈   公告   社区推广  
产品
短视频  
印度
印度  
Py学习  »  机器学习算法

在网络安全设备部署深度学习模型的思路

绿盟科技 • 2 年前 • 287 次点击  


一、概述

回顾网络安全产业的发展历程,随着网络空间攻击面不断扩大,恶意攻击者持续规模化、组织化,攻击技术的自动化、智能化、武器化,多种因素的作用下,使得传统堆砌基于规则等技术的防护设备逐渐失效。面对日趋白热化、持续化的网络攻防对抗环境,技术的演进直接关系到战略实施的有效性。从技术演进的角度,攻防能力的较量已经逐渐演变为攻防参与者的军备竞赛。在有限的信息、资源下,充分覆盖安全威胁,有效降低企业、组织乃至国家的系统性安全风险,成为全面数字时代网络安全的关键目标。


人工智能安全(AISec)[1]的技术融合给行业带来了新的期盼。无论是基于AI的安全应用还是AI自身安全,都已成为学术界和工业界的热点话题。AI技术在诸多单点安全技术和指定场景中,如恶意软件分类、恶意流量识别、入侵检测等,已取得不错的应用效果。由于网络安全场景的复杂多样,以及网络安全攻防对抗的愈演愈烈,网络安全应用识别目标会不断迭代、优化、升级、甚至发生改变,检测目标的有效特征也会随之发生变化。此类概念漂移问题可能会使得之前训练好的模型准确率等性能逐渐下降。


ChatGPT在网络安全领域的影响还是超过以往的人工智能技术,被诸多网络安全公司所关注。大模型被认为在很多场景中更加有效,其通常要求网络模型使用更大数据集、更多的模型参数。目前,部分网络安全设备需要处理分析大量数据流,进行数据包检查,完成威胁检测等功能。如果这些设备不是在云端,需要部署在本地,这就对人工智能模型的运行性能提出了较高的要求,所以模型在特定物理资源的部署问题也是应用到网络安全设备的难点之一。


本文将从上述两个方面进行探讨,给出深度学习模型在资源受限的网络安全设备部署的见解,希望可以带来一些思考。

二、实践案例

在网络安全设备部署深度学习模型需要通过真实场景的数据进行实验测试,一方面需要保证在真实场景数据的检测准确率,另一方面需要保证部署AI模型的运行性能。本节将介绍几个业内在网络安全设备部署深度学习模型的实践案例。


2.1

概念漂移

概念漂移是基于人工智能的安全应用程序所面临的挑战之一,通常这些应用程序建立在训练和部署分布相同的封闭世界假设之上,但是新补丁、新设备和新协议都有可能改变正常模式,进而可能导致大量的假阳性和假阴性。例如机器学习应用于网络安全流量分析的各种任务,其中,特征提取、模型选择、参数调优等众多因素决定着模型的性能。面对不同场景的网络流量威胁检测任务或新的任务,除了通过研究人员更新规则、指纹、模型的方案,也可以利用模型自动化进行更新等方案来应对。此前发布的公众号文章《OWAD:应对正常数据漂移的通用框架》[3]介绍了OWAD以无监督方式检测漂移,在标记开销较小的情况下,能够提供更好的正常数据漂移自适应性能,该方案在三个代表性安全应用数据集和实际环境部署后,得出OWAD[4]具有适用性。在该领域可能的解决思路还包括对模型的结构进行调整以适应概念漂移,比如加深层、加宽层、根据数据分布变化复合新旧模型等。


2.2

深度神经网络模型

深度神经网络模型在计算机视觉识别、自然语言处理等领域取得了巨大的成功。为了解决深度学习模型部署在有限资源设备上的问题,学术界和工业界相继出现了各种模型压缩和加速技术。其中,知识蒸馏是一种典型的方法,它能从一个大的教师模型中学习到一个小的学生模型。清华大学提出Metis的[5]方案用于实现、准确的网络包识别和处理,其架构如图1所示。该方案突破了传统正则匹配表达式为许多网络检测任务提供一次性解决方案的瓶颈。正则匹配依赖网络安全领域专家的知识,无法根据网络安全数据进行学习更新。相关研究人员利用正则匹配的专业安全知识、神经网络的学习能力、知识蒸馏技术在确保准确性和吞吐量的情况下完成网络流量分析。首先,该方案从网络数据包中提取字节作为输入特征,基于正则匹配表达式构建有限状态自动机(DFAs),利用DFAs训练字节级的循环神经网络(BRNNs)。在没有训练数据的情况下,BRNNs能保留正则匹配表达式的专家知识,可以在冷启动(缺乏数据的情况)下取得一定的检测效果。后续收集足够标记数据后,可以不断训练提高BRNNs的检测性能。为了可以在资源受限的网络安全设备上部署,研究人员通过知识蒸馏技术,将BRNNs转化为pooling soft random forests(PSRFs)模型,这样将BRNNs的能力转移到PSRFs。后者集成了前者近似的分类能力,而且后者可以轻松部署在网络设备上进行流量处理。


图1 Metis架构图


2.3

各类Web应用

各类Web应用是黑客攻击的重要目标,攻击者可以利用SQL注入、XSS攻击等对数据进行窃取或内容篡改。为了在Web防护产品中构建高性能、高可用的AI安全分析引擎,绿盟科技联合英特尔基于TADK打造的针对Web攻击的AI检测方案[2],可以有效拟合SQL注入、XSS攻击等数据。方案对于Web应用中常见的字符串信息生成字典并进行高效的分词,通过流特征提取库得到数据中的元数据和统计信息,包括数据包特征、协议特征等,基于URLNet模型[6]进行攻击分类。为了进行验证,绿盟科技的安全专家针对训练和测试数据进行了分析和打标签,构造出质量较高的数据集,保障了测试的可靠性。相关数据包括了多种类型的SQL命令注入方式及XSS攻击方式,以及覆盖多种攻击类型变种,例如训练集中SQL注入攻击数据10000条,XSS 攻击数据10000条,其他类型数据(正常流量数据和命令注入、路径穿越等其他类型的Web攻击数据)18000条。在测试集的实验结果中SQL注入攻击检测准确率达到99.05%,XSS攻击检测准确率达到99.6%。从实验结果可以看出模型在测试数据集中仍可以达到较高的检测准确率,对于正常流量的误报率较低。此外,由于采用了相关的深度学习加速技术,该检测模型的时间开销较小。英特尔的OpenVINO™工具套件可以对于模型推理的性能加速,大幅提高攻击的判别推理速度。针对Web攻击的AI高性能检测方案通过不断提升在生产环境中检测准确率和性能方面的表现推动Web攻击防御迈向自动化、智能化。未来不仅需要保证AI模型的检测效果,还需要进一步利用相关加速技术,降低AI模型的耗时,才能有效的加速融入AI能力的网络安全领域防护解决方案落地。

三、结束语

网络安全领域部分设备面临资源受限的问题。为了有效地在网络安全领域的生产中部署人工智能的方案,以完成威胁检测等功能,本文介绍了相关的技术,可以看到学术界和工业界均有相关方案,但是还是相对较少。绿盟科技始终把人工智能技术作为基础能力发展,持续思考如何让人工智能技术更好地赋能网络安全。未来协同行业的研究人员从更加实用的角度来推动人工智能方案在网络安全领域的应用。

参考文献

[1]《AISecOps 智能安全运营技术白皮书》, http://blog.nsfocus.net/wp-content/uploads/2020/12/AISecOps_White_Paper_NSFOCUS_20201218.pdf

[2] https://mp.weixin.qq.com/s/PaJgND3u_eI0ysotxE5xtA

[3] https://mp.weixin.qq.com/s/aJZX2g_zZagh-0QiTkdzKA

[4] Han D, Wang Z, Chen W, et al. Anomaly Detection in the Open World: Normality Shift Detection, Explanation, and Adaptation[C]//30th Annual Network and Distributed System Security Symposium (NDSS). 2023.

[5] Zhang Z, Huang Y, Duan G, et al. Metis: Understanding and Enhancing In-Network Regular Expressions[J]. Advances in Neural Information Processing Systems, 2024, 36.

[6]URLNet:是基于卷积神经网络 (Convolutional Neural Networks,CNN) 的一种 Web 防护模型,用于检测恶意 URL


Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/171222