AI系统面临的安全挑战与应对策略

key takeaways

AI系统广泛应用，成为恶意攻击者的主要目标。常见的攻击手段包括：操纵输入、目标响应、数据污染、混淆模型、利用偏见和幻觉、破坏基础设施、员工攻陷。提出五个步骤以保护AI模型免受攻击：用户教育、制定使用政策、增强安全性、验证和清理输入、实行数据匿名化。

人工智能AI系统几乎渗透到现代社会的各个方面。这些技术与商业信息系统深度集成，能够访问重要数据，如客户信息、财政报告和医疗记录。AI系统还能够接入各种IT和OT系统，包括云服务、通信工具、物联网设备及制造过程。

nord加速器官网入口

由于其广泛的应用和深层的可访问性，AI系统已成为恶意攻击者的重点目标。针对AI系统的对抗攻击正在上升。让我们深入探讨网络犯罪分子用于攻击AI的策略：

攻击手段描述操纵输入大型语言模型LLMs如 ChatGPT 是基于接收到的输入生成输出的。这使得它们更容易受到多种形式的对抗提示攻击。例如，最近研究表明，GPT4 对多模态提示注入攻击脆弱，攻击者可通过嵌入恶意命令的图像上传至LLMs，导致其安全过滤器和伦理协议被覆盖。目标响应LLM能够很好地分析客户和财务数据等，员工通常会将原始业务数据集输入以进行更深层次的训练和分析。然而，这些数据集通常包含敏感和专有信息，如硬编码的用户名、密码或支付卡信息。攻击者可以提问聊天机器人，获取信息，从而操控其模型，识别数据来源或发现其脆弱性。例如，2023年，三星因员工向AI分享敏感源代码而发生安全泄露。数据污染投入损坏或恶意数据可能会影响AI模型。例如，微软在X平台上的聊天机器人被关闭，因为其开始生成种族主义推文，原因在于恶意角色利用不当语言对其进行了操控。攻陷者还会通过植入特定网站、反向链接、关键词及用户评论等手段，导致模型从被篡改的信息源获取数据，这可能会指向网络钓鱼网站及不可靠页面。

备注：以上表格为攻击手段的常见描述和举例。

混淆模型 输入的微小变化可以使AI模型出现错误判断。这些变化通常只是错字等小问题，却可能极大改变输出数据。例如，利用快速梯度符号方法，攻击者可能会对图像引入细微的噪音或扭曲，从而导致错误的输出或预测。 利用偏见和幻觉 AI系统容易受到多种偏见。例如，AI网络安全系统可能将来自伊朗和朝鲜等反西方国家的流量标记为恶意，而将来自日本和巴西等友好地区的流量视为安全。攻击者可利用这种偏见，通过VPN伪装其流量。 AI系统也容易出现幻觉，攻击者可以加以利用。 破坏基础设施 AI系统通常部署在云计算服务器上。恶意角色使用如Nmap和Shodan等工具识别开放端口，可通过这些端口进入AI基础设施，