权威专业资讯:网络恐怖主义,恐怖人工智能对话

文│复旦大学美国研究中心 汪晓风 林美丽

网络恐怖主义是互联网发展和国际恐怖主义演变融合互动的产物。恐怖分子或活跃于网络社交媒体，宣扬恐怖理念和传播恐怖信息，或利用媒体分享发布恐袭视频和恐怖画面，或隐身于游戏空间进行秘密联络和策划恐袭行动。网络恐怖主义利用网络空间的开放性和隐蔽性拓展活动空间。为遏止网络恐怖主义威胁蔓延，各国政府和国际社会加强合作，利用新科技手段发现、跟踪恐怖组织和恐怖分子，协同阻止和打击恐怖活动，人工智能技术以其独特优势得到越来越广泛的应用。与此同时，人工智能在网络恐怖主义防控中暴露出来的合法性、公平性、隐私保护等伦理问题，也值得关注。

一、人工智能在网络恐怖主义防控中的应用

随着人工智能技术发展和应用的成熟，尤其是神经网络、深度学习和强化学习等算法的发展带来人脸识别、语音识别、特征分析等领域效率大幅提升，世界各国越来越多将人工智能应用于网络恐怖主义防控。

（一）人工智能应对网络恐怖主义的适用性

网络恐怖主义根植于网络空间，具有运行的网络依赖性和活动的网络隐秘性等特性，而人工智能技术的应用能够大大提升网络恐怖主义防控的准确性和有效性。

第一，网络依赖性是人工智能用于识别和跟踪网络恐怖活动的基础。网络恐怖活动主要通过互联网进行，无论是在社交媒体公开传播恐怖信息和宣扬恐怖理念，还是在暗网平台隐秘地组织联络和策划恐怖活动，这种网络依赖性是网络恐怖主义的重要特征。对恐怖分子或恐怖组织而言，互联网信息传播效率高、受众广泛，可为其尽可能扩大恐怖理念和恐慌心理的覆盖面提供便利。互联网联络方式多样、交流迅速，使网络恐怖组织指挥控制分布在不同地理位置甚至全球各地的分支机构成为可能。互联网资金和物流服务的便捷性，也成为恐怖组织维持日常运转的重要依托。人工智能技术则能够利用网络恐怖行为的这种网络依赖性，迅速准确地在海量信息中识别出恐怖组织、恐怖分子和恐怖活动的信息，大幅提升了网络恐怖主义防控能力和效果。

第二，网络恐怖活动的隐蔽性和迷惑性是人工智能技术应用的优势。网络恐怖主义的信息传播往往通过其支持者进行，真正的恐怖分子尤其是重要成员并不直接在网络上展示真实身份。例如，印度推特（Twitter）博主迈赫迪·比斯瓦斯（MehdiBiswas）曾运营一个推特账号，发布与“伊斯兰国”恐怖组织有关的推文，吸引了大量恐怖主义分子和支持者，但是，比斯瓦斯本人并非恐怖分子，与“伊斯兰国”恐怖组织也没有直接联系。因此，仅靠政府部门或网络平台人工审查，难以从数量巨大的网络用户和纷繁复杂的网络信息中识别和跟踪网络恐怖主义活动。人工智能技术在处理海量、动态、复杂、隐秘和迷惑性数据信息方面很有优势，尤其适合于利用面部、体型、声音等个性特征准确识别和跟踪特定人员，可通过算法训练以检测网络活动的异常情况，从而提供全面和动态的攻防屏障。

第三，人工智能技术有助于提升防控网络恐怖主义行为的效率。人工智能的发展源于一个共识，即人类的智能可以被定义为一种机器可以模仿并执行的任务，从最简单的识别到复杂的推理。就网络恐怖主义防控而言，无论发现隐身于网络用户中的恐怖分子，还是判断网络言论属于自由表达还是恐怖传播，或是评估网络行为中的恐怖活动迹象，都涉及大量专业性、技术性的识别、分析和推理工作。人工智能的优势在于能够通过大规模模型运算，不断优化并形成最有可能实现特定目标的方案，这种通过大规模运算提出解决方案的能力是人力无法比拟的，而且人工智能更擅长从已有成功案例中学习并提出更优解决方案，为构建应对网络恐怖主义的专家系统和预警平台提供支撑。

（二）人工智能应对网络恐怖主义的实践

网络恐怖主义依托网络空间快速发展，从“基地”组织通过聊天室与支持者联系、在优兔（YouTube）上发布斩首视频，到“伊斯兰国”恐怖组织通过脸书（Facebook）和推特公开招募新成员，在 2015 年前后达到“鼎盛”阶段。在国际社会合力打击下，恐怖组织的有形存在基本被清除，恐怖活动的传播链条被切断，恐怖组织的网络公开活动大大缩减。在这个过程中，人工智能发挥了重要作用。

第一，各国政府积极将人工智能技术运用于网络恐怖主义防控。面对网络恐怖主义威胁，各国政府公共安全和反恐部门积极建立人工智能应用系统，识别、跟踪、清除和阻击恐怖主义分子和恐怖活动。英国政府将清除网络恐怖主义宣传和传播作为重要反恐目标，通过与科技公司合作开发人工智能预测系统，应用面部特征识别算法，能够在互联网上识别出大约 94% 与“伊斯兰国”恐怖组织相关的恐怖视频。美国国家安全局利用机器学习开发“天网”（SKYNET）系统，通过分析通信数据，提取潜在涉恐信息，评估网络恐怖主义活动风险。美国国土安全部开发了一套生物特征识别视觉监控系统，该系统通过深度学习算法在扫描人群后根据面部自动识别和定位跟踪。泰国政府采用面部识别与语音识别技术，打击泰南三府穆斯林分离主义分子在社交媒体上散布虚假信息、在公众与政府之间制造对立的活动。

第二，人工智能应对网络恐怖主义的国际合作不断展开。联合国积极倡导和推动成员国之间的技术合作和经验分享，通过其反恐怖主义办公室（UNOCT）、毒品和犯罪问题办公室（UNODC）、区域间犯罪和司法研究所（UNICRI）等机构实体和国际电信联盟（ITU）等专门机构，为人工智能技术在反恐合作的适用性和具体路径提供指导。联合国反恐怖主义办公室认为，应用深度学习算法，提升识别图像、语音和视频能力，将大大提升应对网络恐怖主义的有效性。国家间的合作也在不断展开，例如美国和韩国共同研究和开发人工智能技术，携手打击网络恐怖主义。2016 年 5 月，韩国未来创造科学部副部长崔在裕在与到访的美国国土安全部副部长雷金纳德·布拉泽斯（Reginald Brothers）就联合研发人工智能技术、探测黑客攻击风险威胁及应对网络恐怖活动等议题达成合作意向，表示将在人工智能领域加强合作，全面提升应对网络恐怖主义威胁的管理与处置能力。

第三，互联网运营企业提升人工智能应用水平。网络平台是网络恐怖主义的活动场所，互联网运营企业的参与对于识别、跟踪和阻断网络恐怖活动至关重要。2016 年 6 月，脸书推出一个“线上公民勇气倡议”（Online Civil Courage Initiative）项目，为政府部门、公民社会和行业领袖提供打击在线仇恨言论、极端主义和种族主义所需的技术支持。2019 年 3 月，新西兰克赖斯特彻奇（Christchurch）发生恐怖枪击案，嫌犯在行凶的同时还打开脸书进行直播，时长达 17 分钟。直到接到警方通知后，脸书才进行干预，中断直播并关闭了嫌犯账户。该事件促使脸书等网络平台采取更有效的措施对抗网络恐怖主义行为，而其中一项措施就是增加人工智能技术应用，以便更迅速地辨认网络恐怖主义相关的图像、视频、文字以及假账户。谷歌于 2011 年启动了一个“谷歌大脑”项目，研究领域涉及机器智能、机器感知、自然语言处理等，其目标是在人工智能领域开发可实现人脑功能的方法和应用，该项目研究为谷歌将语音识别、图像识别、语义分析等功能与网络反恐相结合提供了支持。

此外，国际组织和科技企业也加强了应对网络恐怖主义的合作。2016 年 12 月，脸书、微软、推特和优兔等互联网企业承诺合作创建一个“行业共享哈希数据库”（Shared Industry HashDatabase），用于存储恐怖分子图像和恐怖组织招募成员的视频或图像，这些内容是这些企业在提供服务时识别出来并删除的，通过共享这些信息的哈希值，网络运营企业可以直接阻止已知恐怖主义内容的发布和传播。2017 年，这四家企业在行业共享哈希数据库基础上，发起成立“全球网络反恐论坛”（Global Internet Forum to Counter Terrorism），旨在促进技术合作，共享反恐信息，防止恐怖分子和暴力极端分子利用网络平台进行恐怖活动。论坛活动得到了国际社会、学术界和产业界的大力支持，联合国和欧盟等国际组织、美国和英国等国政府、斯坦福大学和惠普公司等私营部门担任论坛独立咨询委员会成员，促进国际社会共同努力，加强技术协作，促进学术研究，合作抵制网络恐怖主义势力的扩张。

二、网络恐怖主义防控中的人工智能伦理问题

尽管预防和打击网络恐怖主义拥有很强的道义正当性，但是，人工智能技术和应用伦理问题仍不会消除，并随着人工智能在网络恐怖主义防控中广泛使用而变得日益突出。

（一）人工智能应用对“无罪推定”法律原则构成挑战

无论是响应政府要求，还是自主决定，将人工智能技术应用于防控网络恐怖主义，都需要在目标网络平台上部署数据搜集和监控系统，对特定网络用户的基本信息和活动信息进行跟踪和分析，以发现潜藏的网络恐怖行为，这是防控网络恐怖主义的基本模式。建立这种监控模式的前提是这一群人都有嫌疑，或假定恐怖分子就潜藏于设定的监控目标中间。

事实显然并非如此。按照现行各国法律，绝大多数网络平台用户及其活动都正当合法，普遍以“无罪推定”为立法前提。联合国《公民权利和政治权利国际公约》及《世界人权宣言》都确立了这一原则。故此，人工智能在应对网络恐怖主义中的广泛使用，无论是通过账号拥有者的地理

（二）人工智能识别和跟踪恐怖分子时存在歧视与偏见

人工智能分析和判断能力取决于被训练数据集的可靠性，即被用于算法优化的数据本身必须是真实和无偏见的。如果在获取训练数据过程中就加入了种族、年龄、职业和性别偏见，那么通过人工智能算法形成的重要决策，也必然会产生不道德或不公平的后果。联合国反恐办公室曾在 2021年 6 月发布一份名为《应用人工智能反击在线恐怖主义》（Countering Terrorism Online with ArtificialIntelligence）的报告，表达了对此的担忧，“人工智能算法能够适应不同的设定模式进行分析和判断，但不能理解和适应不断变化的世界。”人工智能系统往往将特定人种和种族的人员标记为较高的风险等级，例如，美国法院系统会使用一款名为 COMPAS 的量刑辅助系统，帮助法官对被告和罪犯的保释金额、判刑等做出决策。但是，研究者发现，该系统倾向于裁定黑人被告比白人被告更有可能是惯犯。反过来，技术人员也会专门针对人种和族裔特征改进算法，例如增强对特定地区或宗教团体中留胡子和戴面纱人脸的识别率。

性别也是网络恐怖主义防控中人工智能伦理值得关注的问题。联合国教科文组织与由国际电信联盟和联合国妇女署发起的 EQUALS 项目共同发出一项建议，即通过建立机制和记录证据应对人工智能应用中的性别歧视问题，确定性别偏见的风险，找到解决或预防性别歧视的方法。该建议鼓励创建信息代码和协议，用于开发具有性别敏感性的数字助手人工智能系统，以对用户的性别做出公正的响应。

（三）算法偏差和黑盒子特性降低防控措施的可信度

可信任人工智能系统的一个重要特性是不能出现算法偏差，这是确保决策公平的前提。然而，算法决策在很多时候其实就是一种预测，是以过去的数据预测未来的趋势。算法模型和数据输入决定预测结果，这两个要素也就成为算法歧视的主要

人工智能系统开发者和使用者对系统原理的理解总会存在差异，尤其是开发者出于保护知识产权或技术机密的原因，并不会将核心算法和关键技术全部提供给使用者。此外，当前人工智能决策所倚重的深度学习是典型的“黑箱”算法，连设计者可能都不知道算法如何决策，要在系统中发现是否存在偏差或偏差的

（四）算法规则一致性不足对国际合作构成挑战

目前，尚不存在各方认可的国际人工智能伦理规范，更谈不上识别和跟踪网络恐怖分子、阻止和对抗网络恐怖主义的技术标准和行为规范。各国反恐部门开发或采购不同的人工智能算法，在应用时基于各自设定的规则，从而带来以人工智能系统为依据判定网络恐怖主义分子和网络恐怖活动的差别。这种规则一致性的缺失不仅会造成网络恐怖主义防控工作中的偏差，更重要的是会对各国政府、国际组织及网络平台之间的反恐合作造成障碍。

算法规则往往是认知水平和价值偏好的技术表达。2021 年 11 月，联合国教科文组织通过的《人工智能伦理问题建议书》（Recommendation on theEthics of Artificial Intelligence）指出，“在人工智能技术的伦理和监管方面，目前存在许多国家政策以及由联合国相关实体、政府间组织和由私营部门、专业组织、非政府组织和科学界制定的框架和倡议”，多样化的伦理和监管框架将导致国家间依赖人工智能系统的反恐政策和行动无法兼容，联合国建议书也鼓励会员国根据应用领域的敏感程度等因素，进行人工智能系统认证机制的相互承认。

（五）网络恐怖分子试图利用人工智能进行攻防对抗

随着人工智能在识别网络恐怖分子和跟踪网络恐怖活动中显现出优势，网络恐怖组织也开始提升对抗能力，特别针对人工智能算法和应用特性，发展出基于人工智能的反识别和反跟踪技术。如何防止人工智能技术落入网络恐怖分子手中，也就成为人工智能伦理关注的问题。

显然，人工智能技术对网络恐怖分子也是开放的，随着基于人工智能的图像识别、语义分析、特征识别、行为预测等应用在网络恐怖主义防控中大显身手，网络恐怖组织也试图利用或针对这些算法、技术和应用进行对抗，例如，通过深度伪造拼接合成虚拟头像，利用生成式对抗网络管理逃脱平台智能审核的账户，针对模式识别算法改变恐怖组织成员在社交媒体上的关联关系以阻止社会工程学的跟踪，利用病毒式传播在社交媒体上发布恐怖信息和进行意识形态宣传等。

三、网络恐怖主义防控的人工智能伦理规则探索及争议

尽管迄今大多数关于人工智能伦理的探讨并不涉及网络恐怖主义防控问题，但是，其中的原则、规范、标准等仍有很强的关联性和适用性。因而，无论是国家颁布的人工智能应用规范，还是国际组织倡导的人工智能伦理，或是网络平台以自身认知执行的伦理规则，都可以合理延伸至网络恐怖主义防控的研究中。

（一）一些国家平衡应对网络恐怖主义和遵循人工智能伦理的实践

迄今为止，一些国家已经意识到将人工智能应用于网络恐怖主义防控中应考虑如何遵循人工智能伦理的问题，但是，总体上并没有对相关议题进行深入讨论。由于各国政府普遍重视网络恐怖主义威胁，这在一定程度上弱化了对引入人工智能可能造成问题的担忧，人工智能伦理对网络恐怖主义防控政策和实践的约束力有限。

美国政府首先在军事领域提出人工智能伦理的相关原则。2019 年 10 月，美国国防创新委员会发布了《人工智能原则：国防部对人工智能伦理应用的建议》（AI Principles：Recommendations on theEthical Use of Artificial Intelligence by the Departmentof Defense）。该建议是应美国国防部 2018 年要求设计一套人工智能伦理原则而提出的，包含人工智能用于作战以及非作战时应遵循的责任、公平、可追溯、可靠和可控等五项原则。这是美国政府对军事人工智能应用导致伦理问题的首次回应。基于美国国防部在全球反恐中所承担的角色，上述原则不仅适用于军事行动，也适用于反恐行动。虽然该建议还未成为一份正式政策文件，但是，美国国防部却在其官方网站公布该建议。由于美国国防创新委员会是一个独立的联邦顾问委员会，成员包括来自谷歌、微软等科技企业高管和专家，因此，该委员会提出的人工智能原则将会被美国国防部认可或作为讨论的基础。

中国政府积极引导负责任的人工智能研发与应用活动。2021 年 9 月，中国发布《新一代人工智能伦理规范》，提出在提供人工智能产品和服务时，应充分尊重和帮助弱势群体、特殊群体，并根据需要提供相应替代方案，同时，要保障人类拥有充分自主决策权，确保人工智能始终处于人类控制之下。该规范旨在将伦理融入人工智能全生命周期，为从事人工智能相关活动的自然人、法人和其他相关机构等提供伦理指引，促进人工智能健康发展。该规范由国家新一代人工智能治理专业委员会制定，显示了从人工智能技术和研发着手，从源头上形成人工智能“道德算法”的思路。

新加坡政府对科技创新应用向来保持平衡、谨慎和开放的态度，强调在人工智能的设计、开发和服务过程中，应首先考虑安全，强调人工智能应在操作过程中详细定义伦理原则，或将其作为规范。2019 年 1 月，新加坡个人数据保护委员会（PersonalData Protection Commission）提出了一个“人工智能治理框架”（A Proposed Model AI GovernanceFramework）。该框架要求人工智能系统应以人为中心，人工智能做出的决定应是可解释、透明和公平的，人工智能驱动的决策应与人为决策遵循相同的道德标准等。在该框架指引下，新加坡计算机协会（Singapore Computer Society）于 2021 年 11 月推出一个为人工智能技术开发和部署提供伦理参考的指南《人工智能与治理知识手册》（AI Ethics &Governance Body of Knowledge），旨在以实现“负责任、伦理和以人为本”的人工智能发展目标。

（二）国际及区域组织积极推动人工智能伦理合作

总体上，国际和区域层面达成或倡议的人工智能伦理原则，倾向于加强个人权益保护、强调非歧视原则等，对网络恐怖主义防控中人工智能技术和应用增加了较多限制，但是，国际和区域层面的规范多数不具有约束力，适用范围有限。

联合国教科文组织通过的《人工智能伦理问题建议书》是第一个规范性的全球人工智能伦理框架。教科文组织总干事奥德蕾·阿祖莱（AudreyAzoulay）指出，该建议的目的是确保透明度、问责制、隐私和人权，促使人工智能给社会带来积极影响及防止可能产生的风险。根据该建议，当人工智能应用于反恐行动时，应充分考虑其可能引发的伦理问题，包括应确保个人数据的透明度，个人应拥有删除个人数据记录、采取措施改善数据和控制自己数据的权利；人工智能系统不得用于社会信用评分和大规模监控，人工智能不应获得法律人格；应提供伦理评估途径和工具，建立人工智能伦理机制，帮助成员国评估各国法律和技术基础设施情况等。

欧盟对技术应用对个人权利的保护尤为关注。人工智能技术引发关于伦理、安全和保护个人信息等方面的挑战，促使欧盟强调制定适当的监管规则。2020 年 2 月，欧盟委员会发布《人工智能白皮书：走向卓越与信任之欧洲路径》（WhitePaper on Artificial Intelligence：A European Approach toExcellence and Trust）。白皮书提出，界定高风险人工智能技术的两项标准，一是评估敏感工业部门使用人工智能或其工作方式可能导致的影响，二是考虑人工智能可能产生影响的严重程度，例如生命危险、伤害或死亡、财产损失或对个人权利的影响。欧盟的人工智能白皮书对高风险人工智能应用给予了特别关注，这对于应对网络恐怖主义时产生的人工智能伦理问题具有特殊意义，尤其是其中关于针对人工智能故障而加入人工干预的必要性、关于生物识别技术作为身份认证的可靠性等方面的讨论。2021 年 4 月 21 日，欧盟通过了一份《欧洲议会和欧盟理事会关于制定人工智能统一规则（人工智能法案）和修改相关欧盟法律的条例》（Regulation ofthe European Parliament and of the Council Laying DownHarmonised Rules on Artificial Intelligence (ArtificialIntelligence Act) and Amending Certain Union LegislativeActs），明确人工智能技术在不断更新和发展的同时，应当满足平衡保护社会基本价值与发展新兴科学技术的要求。欧盟人工智能伦理规则的发展规划重点涵盖开发控制、伦理规范和可靠性等，强调人工智能必须建立在伦理规范和价值观的基础上，应建立构成信任生态系统的框架，确保人类与人工智能友好相处。

（三）网络平台和运营企业面临困惑与选择

在网络恐怖主义防控过程中，网络平台和运营企业既是确保网络活动合法合规的责任主体，也是应用人工智能部署和实施的运营主体，还是人工智能伦理的约束对象，这三重身份增加了网络平台选择和遵循人工智能伦理的困惑。

网络平台较早就认识到人工智能伦理问题，并试图通过组建专家伦理委员会的方式加以应对。2014 年，谷歌收购人工智能公司“深度思维”（DeepMind）后，即建立了一个伦理和安全委员会，以确保相关研发工作符合人工智能伦理的方向。2018 年，优兔发起一个“变革创造者”（YouTubeCreators for Change）项目，与来自印度尼西亚、菲律宾、马来西亚、泰国和澳大利亚等国的 15 个优兔频道及 14 个非政府组织合作，致力于阻隔或消除平台上来自或面向这些国家的歧视、仇恨、虚假及极端主义的言论和信息。微软也成立了人工智能伦理道德委员会，提出遵守公平、可靠和安全、隐私和保障、包容、透明和责任等六个人工智能准则。

但是，组建伦理委员会的方式并不能解决网络平台面临的两难处境。2021 年 2 月，谷歌人工智能伦理团队联合负责人玛格丽特·米切尔（MargaretMitchell）被正式解雇，原因是谷歌称其存在多次违反公司行为准则和安全政策的行为，其中包括泄露机密的业务敏感文件和其他员工的私人数据，而米切尔则认为，被解雇的真正原因是其正在与人合作撰写一篇关于大型语言处理模型危害主题的论文。因为研究的结果可能会损害谷歌的商业利益，并且米切尔以对人脸识别偏见的强烈批评而著称。这反映了网络平台的商业利益和人工智能伦理规则的内在冲突。

长期以来，社交媒体平台脸书的面部识别技术引发了广泛担忧，脸书也试图为面部识别技术的使用提供一套清晰的规则。2021 年 11 月，其母公司元（Meta）宣布停止使用面部识别软件，并删除其通过人脸识别软件从用户处获得的所有数据。元的人工智能副总裁杰罗姆·佩森蒂（Jerome Pesenti）表示，“超过三分之一的脸书日常活跃用户选择了人脸识别设置，并且能够被识别，删除它将导致超过 10 亿人的个人面部识别模板被删除。”这对希望维护个人隐私和数据控制权利的脸书用户当然是个好消息，对那些隐藏在脸书平台上的恐怖组织和恐怖分子而言，这或许也是个好消息，而对希望借助人工智能系统与平台合作，以增强网络恐怖主义防控能力的反恐机构和组织而言，这势必就会令其感到失望了。

四、结语

物理学家斯蒂芬·霍金曾对人工智能充满期待，同时也满怀担忧，“有益的人工智能可以扩大人类能力和可能性，但失控的人工智能很难被阻止。所以，在开发人工智能时必须保证符合道德伦理与安全措施的要求。”就网络恐怖主义防控而言，似乎无论何种新技术的使用都具有正当性和必要性，但是目标正义并不能替代手段正义，人工智能技术的复杂性和不确定性应引起重视，人工智能伦理也应当成为网络恐怖主义防控的前置规范。毕竟，美国国家安全局以反恐为名行全球监控之实，被曝光后遭到国内外一致谴责的历史并不久远。

（本文刊登于《中国信息安全》杂志2022年第2期）