观点 | 网络军备竞赛即将开始，如何制定人工智能的国际准则

随着人工智能技术发展，网络空间的安全风险正在变得越来越大。但是，各个国家在纷纷制定人工智能发展战略的同时，却也在忽视「国际法」的建立——而网络世界已经和陆海空一样成为了很多组织，甚至国家之间对抗的「战场」。来自牛津大学的 Mariarosaria Taddeo 与 Luciano Floridi 近日发出呼吁，希望国际社会能够重视并尽快建立 AI 时代网络安全的行为准则和相关法律。

2018 于东京举办的人工智能展会暨大会（Artificial Intelligence Exhibition & Conference）上展出的目标识别和追踪技术。

网络攻击日益频繁、复杂，破坏性也与日俱增。2017 年，美国平均每天经历 4000 次勒索软件攻击，这些网络攻击将计算机文件加密锁住，直到用户付钱才解锁。2015 年，日均网络攻击次数是 1000。去年五月，WannaCry 病毒导致英国国家健康服务中心（NHS）中数百个 IT 系统瘫痪，超过 19000 个预约被取消。一个月后，NotPetya 勒索软件导致制药巨头 Merck、船运公司 Maersk 和物流公司 FedEx 各损失约 3 亿美元。2017 年，全球因网络攻击导致的损失高达 50 亿美元，2021 年该数字可能达到 6 万亿美元（详见 go.nature.com/2gncsyg (http://go.nature.com/2gncsyg)）。

在网络攻击的发展背后是一个个国家。它们使用网络攻击进行进攻和防守。例如，朝鲜和 WannaCry 有关联，俄国和 NotPetya 有关联。

随着网络攻击的威胁不断升级，防守战略也在不断发展。2012 年，美国开始使用「积极」的网络防御策略，计算机专家利用诱饵目标压制或转移病毒，或者入侵黑客的计算机删除数据或摧毁系统。2016 年，英国宣布了一项 19 亿英镑（约 27 亿美元）的五年计划，来对抗网络威胁。北约（NATO）也开始拟定积极的网络防御原则（将于 2019 年通过）。美国和英国领导了这一行动，丹麦、德国、荷兰、挪威和西班牙也参与其中（详见 go.nature.com/2hebxnt）。

人工智能可能会改变该活动的形态。网络攻击和防御正在变得更快、更精准，破坏力也更大。网络威胁可以在数小时内解决，而不再是几天或几周。人工智能已经被用于验证代码、找出 bug 和漏洞。例如，2017 年 4 月，英国软件公司 DarkTrace 推出一款网络防御产品 Antigena，使用机器学习发现 IT 网络的异常行为，关闭问题系统组件的通信，并发布警报。2016 年，人工智能在网络安全领域中的价值是 10 亿美元，预计 2023 年其价值可达到 180 亿美元。

很多国家计划在 2020 年底前部署 AI 进行国家网络防御，如美国已经在评估自动防御系统的使用，并将在下个月发布关于该策略的报告。AI 可以产生威慑力，因为网络攻击会遭到惩罚。算法可以识别源头并解决，无需找到背后的角色。目前，一些国家仍在犹豫，因为它们不确定谁应对此负责，因为网络攻击很可能通过第三方计算机、常用软件发动。

风险在于网络军备竞赛。随着国家使用越来越激进的 AI 策略，对手可能会更暴力地进行反击。这样的恶性循环可能最终导致物理层面上的攻击。

网络空间是新的战场，AI 是新的防御能力。因此，我们应该出台国家使用 AI 的相关规定，正如其他战场的规定一样（空气、海洋、陆地和空间）。需要设置适度反应和对非法行为进行适当惩罚的标准。在任何情况下，单方措施都是无效的。必须设立针对国家网络空间行为的国际准则。令人担忧的是，国际制约网络冲突的努力目前正处于停滞状态。

我们号召区域性组织，如北约和欧盟重新努力，为联合国所领导的网络安全计划做好准备。同时，计算机专家必须使利用 AI 进行网络防御的问题、局限性和缺点透明化。研究者必须和策略制定者和终端用户一道设计该技术的测试和监管机制。

规则缺失

目前，联合国方面的进程已经搁浅。2004 年，联合国设立了信息安全政府专家组，商定国家如何在网络空间中行动的自愿性规则。2017 年，其第五次会议以僵局告终。联合国信息安全政府专家组无法就国际人道主义法和现有正当防卫、国家责任的相关法律是否应当应用于网络空间达成一致。美国认为网络防御法规应该基于这些法律，而其他国家（包括古巴、俄罗斯和中国）持否定意见。它们认为这会「军事化」网络空间，并表明关于和平解决冲突的态度。该组没有发布最终报告。目前尚不清楚报告的发布是否能够成功，或者下一步会发生什么。

国际对话和行动必须继续。北约可能通过其即将发布的准则为这件事铺平道路，尽管目前尚不清楚其范围。

法国里尔一次会议上的军事网络防御专家。过去十年间关注网络策略的国家增长很快。

同时，使用 AI 进行网络防御的研究发展很快。美国在技术方面是处于领先地位。其目标是在 2019 年将 AI 纳入其网络防御系统。美国国防部（DOD）已花费 1.5 亿美元用于这方面的研究。美国国防部高级研究计划局（DARPA）正在开发相关的技术和策略。DARPA 2016 网络超级挑战赛（Cyber Grand Challenge）中，由来自美国和瑞士的团队开发的 7 个 AI 系统参与了竞争。这些系统找出并定位对手的漏洞，同时找出并修补自己的漏洞。

美国国防部将于今年五月发布首份美国国家防御 AI 策略报告。目前，我们尚不清楚其提出的方法。之前的文件，如 2015 年的《The DoD Cyber Strategy》和 2016 年的《The National Cyber Incident Response Plan》都没有涉及自动防御系统，机器学习或 AI。2012 年美国国防部关于「自主武器系统」的方向主要聚焦于部署 AI 的内部程序，而对美国何时在国际舞台上执行此项举措则保持沉默。

人工智能是中国的优先国策，中国希望成为机器学习技术的世界领导者。2017 年 7 月，中国国务院印发了《新一代人工智能发展规划》。在战场和网络中应用人工智能技术是该战略的重要组成部分。但目前尚不清楚中国会以何种程度将人工智能部署到网络防御中。

俄罗斯尚未发布任何有关其 AI 防御策略的公开文件。然而，在 2017 年的一次公开视频中，总统普京提到了人工智能，并表示：「在这一领域领先的国家将会成为世界的领导者。」有专家认为，俄罗斯正开发人工智能工具，并致力于使其成为常规防御力量。事实上，自 2014 年起，俄罗斯国家防御管理中心（NDCC）就一直在使用机器学习算法检测网络威胁。有报道称，俄罗斯曾率先使用人工智能技术传播假情报，并介入其他国家的公开辩论，包括 2016 年美国总统选举和英国脱欧公投。尽管这些行动不属于国防战略的一部分，但它们表明俄罗斯具备先进的人工智能技术。

朝鲜有着网络攻击的历史。它被怀疑参与 2016 年的 WannaCry 事件和 2014 年的索尼影业网络攻击事件。目前普遍认为朝鲜在人工智能领域处于落后状态，但它有望在未来赶上其他竞争对手。

欧盟也在加紧步伐。2017 年，欧盟重新评估了网络安全和防御政策，并在芬兰赫尔辛基设立了复杂威胁应对中心（European Centre of Excellence for Countering Hybrid Threats）。迄今为止，欧盟拥有最为全面的国家级网络行为监管框架。然而目前的行动还远远不够。欧盟将网络防御视为网络安全的一个案例，仅仅被动地通过提高其成员国信息系统的稳固性来提升安全。这样的机制缺乏积极的网络防御行动，也不包含人工智能技术。

这是一个正被错过的机会。欧盟可能已经在其最近的反思中开始界定红线，并制定相应的策略了。例如，在 2016 年，欧盟关于「网络和信息系统安全」的指令为识别对国家关键基础设施（如医疗系统、能源设施和供水系统）的潜在威胁提供了标准。同样的标准也可以用来定义国家操纵的非法网络攻击。

作者认为，北约和欧盟等区域协作组织必须采取以下三个步骤，以避免对国家基础设施的严重侵害，并维护国际稳定。

三大步骤

界定法律。国际社会迫切需要界定合法与非法的红线，还需要定义网络防御策略的相应反应机制。最终需要形成联合国级别的国际共识。在此之前，北约、欧盟这样的区域共同体公布的准则必须先处理这些问题，以身作则。

与盟友共同验证策略的实用性。友好国家之间应该组织 AI 防御战略的对抗性测试。在部署任何系统之前，这样的测试都应该是必须进行的。它可能是 DARPA 的 Grand Challenge，或者是北约、欧盟常规范畴内的模拟训练。因为人工智能会通过经验学习，这些测试也会提升联盟的战略水平，同时找到并消除漏洞。关键系统和重要基础设施的毁灭性漏洞应该在盟友间分享——政策框架应该要求公开这些内容。具有类似共享和公开要求的协议包括欧盟的电子识别、认证和信托服务条例，以及北约的行业合作协议。

监控并执行规则。国际社会需要就如何审核与监督基于 AI 的国家网络防御活动达成一致。「预警与纠正」机制会被用来解决问题和无法预见的结果。具有强制力的第三方机构，如联合国安理会应该被授权裁决出现的事件是否越过了红线，相应地，它们也有执行和公开规范的责任。对于违反规则的国家，我们需要对其实施经济和政治制裁。北约和欧盟也需要在其影响范围内执行这些准则。

目前看来，我们距离解决问题还有很长的一段路要走。但我们已经没有多少时间了。