本报告研究了恶意使用AI技术可能带来的安全威胁，并提出了预测、预防和缓解这些威胁的建议。

人工智能（AI）和机器学习能力正在以前所未有的速度增长。这些技术有许多广泛的应用，从机器翻译到医学图像分析，更多的此类应用正在开发之中。AI技术是一柄双刃剑，恶意使用AI技术也将带来安全威胁。

引发安全格局的变化

随着AI的功能日益强大，应用日益广泛，AI系统的使用预计将导致安全格局的变化：

（1）扩大现有的安全威胁。原来需要人力、智力和专业知识的任务，现如今可利用AI系统来完成，攻击成本将大大降低。其结果是攻击者数量更多，攻击速度更快，能攻击更多的潜在目标。

（2）引入新的安全威胁。使用AI系统可以完成人类攻击者做不到的攻击任务。并且，AI系统的安全漏洞也会被恶意攻击者所利用。

（3）改变安全威胁的典型特征。可以预见，随着AI应用越来越多，安全攻击将效率更高，针对性更强，难以归因，针对AI系统漏洞的攻击也会成为典型安全威胁。

对不同场景安全威胁的影响

从数字安全、物理安全和政治安全三个方面来看，AI的发展将对安全威胁产生以下影响：

（1）数字安全：传统网络攻击中，攻击规模和攻击效率难以兼顾，而使用AI自动执行网络攻击在很大程度上可以兼顾这两个方面，这将使劳动密集型网络攻击（如鱼叉式网络钓鱼）带来更大的威胁。另外还会出现新型攻击方式，如利用人类弱点（如利用语音合成冒充本人），利用现有软件漏洞（如自动黑客攻击），或利用AI系统漏洞（如对抗样本和数据投毒）。

（2）物理安全：利用AI自动操作无人机和其他物理系统（如自主武器系统）进行攻击，由此带来更大的威胁。另外还会出现新型攻击方式，如破坏网络物理系统（如导致自动驾驶车辆崩溃）或利用无法远程控制的物理系统（如使用成千上万的微型无人驾驶飞机）进行攻击。

（3）政治安全：使用AI来进行自动监测（如分析大量收集到的数据）、说服（如开展有针对性的宣传）和欺骗（如篡改视频），可使涉及隐私入侵和社交操纵的威胁增大。另外还会出现新型攻击方式，如利用AI分析人类的行为、情绪和信仰等。

应对安全威胁的建议

面对不断变化的威胁环境，报告提出了4项顶层建议：

（1）决策者应与技术研究人员密切合作，对AI潜在的恶意用途进行调查，并寻求措施预防和减轻其带来的损失。

（2）AI领域的研究人员和工程师要意识到其工作成果有遭到滥用的可能性，要在确定研究重点和规范时将技术滥用问题纳入考虑，并在预见到可能发生有害应用时找到相关行为者。

（3）借鉴计算机安全等较为成熟领域的经验，更好地解决双刃剑问题。

（4）让更多的利益相关者和领域专家参与到对安全挑战的讨论之中。

优先探索领域

报告建议优先在四个领域进行探索研究，寻求潜在干预措施：

（1）向网络安全社区学习。在网络安全和AI攻击的交叉领域进行探索，组建网络红队（read teaming），开展形式验证，负责任的披露AI漏洞，开发安全工具及安全硬件。

（2）探索不同的开放模式。AI和机器学习的双刃剑作用越来越明显，有必要针对研究工作的开放性重新设计规范和制度，首先是在重要技术领域成果发布前进行风险评估，建立中央许可访问模式，与其他双刃剑技术交流借鉴有利于安全和保障的制度和做法。

（3）促进责任文化。AI研究人员和其所属机构对于塑造AI世界安全格局具有独特意义，需要重视教育、道德声明，以及标准、框架设计、规范和预期。

（4）制定技术和政策解决方案。报告对一系列有前景的技术以及政策干预措施进行了分析，这些技术可以帮助AI建立更安全的未来。进一步研究的领域包括保护隐私，协调使用用于公共安全的AI，AI相关资源的监测，以及其他立法和监管措施。

应对安全威胁不仅需要AI研究人员和企业的关注和行动，还需要立法机构、政府部门、监管机构、安全研究人员和教育工作者的关注和行动。这将是一个艰巨的挑战。

报告原题：The Malicious Use of Artificial Intelligence: Forecasting, Prevention, and Mitigation

报告链接：https://arxiv.org/ftp/arxiv/papers/1802/1802.07228.pdf