Bresnick was interested in understanding what Chinese experts themselves were saying about AI capabilities and risks, as much of the Western press coverage focused on China's centralized governance advantage without delving into Chinese perspectives.
China sees AI as foundational for its military modernization, enabling what they call 'intelligentized warfare,' characterized by increased speed, precision, and autonomy. They believe the country that develops these systems faster will have a significant advantage in future wars.
Chinese experts are concerned about the lack of explainability and trustworthiness of AI systems, which could lead to escalations, accidents, or mistakes. They also worry about the potential targeting of friendly forces or civilians by AI systems.
One debate is whether China should focus on high-quality, 'exquisite' AI systems or rely on mass production of 'good enough' systems. Another involves whether the hierarchical Chinese military culture allows for effective use of AI, requiring potential reforms in decision-making processes.
Evidence includes reports in Chinese media, procurement documents, and academic publications discussing specific AI algorithms and military problems. The Department of Defense also highlights Chinese advancements in AI in its annual reports on China's military.
Chinese experts struggle with the 'black box' nature of AI, where decisions are not easily explainable. Additionally, the hierarchical and bureaucratic nature of the Chinese military, where trust is low between superiors and subordinates, further complicates the adoption of AI systems.
Constraints include data issues, such as a lack of militarily relevant data due to the absence of recent conflicts, difficulties in sharing data across military branches, and challenges in digitizing data. Other issues include cybersecurity, testing and evaluation, and the need for standardized AI development.
Chinese experts suggest using synthetic data, combining human knowledge with AI systems, and improving model training to enhance explainability and trustworthiness. They also advocate for international engagement on AI safety, particularly with the United States.
The discussions suggest that AI could change China's approach to deterrence in the South and East China Seas, as the speed and autonomy of AI systems may increase the risk of escalation. There is also a recognition of the need for international dialogue to manage AI-related risks.
Potential areas for discussion include escalation dynamics, norms for testing and evaluating AI-enabled military systems, and the role of AI in cyber defense or space operations. However, some of these topics, like cyber and space, may be too sensitive for immediate engagement.
我是美国德意志马歇尔基金会印太项目执行董事博妮·格拉瑟。欢迎收听“中国环球播客”。在中国2021年至2025年的第十四个五年计划中,优先发展能够对未来产生颠覆性和基础性影响的新兴技术。
中国现在是人工智能技术的全球领导者,并有望在未来几年超越西方,成为世界人工智能领导者,或者至少他们希望如此。重要的是,越来越多的证据表明,人工智能赋能的军事能力正日益成为中国军事概念的核心,用于应对未来的战争。最近发布的一份报告提供了对中国对人工智能军事用途的看法的见解。
这份报告由乔治城大学安全与新兴技术中心(CSET)发表,阐述了中国国防专家在开发和部署人工智能相关技术和能力方面所面临的一些主要挑战。
我很高兴今天邀请到这份报告的作者萨姆·布雷斯尼克做客节目,他是乔治城大学CSET的研究员,专注于人工智能应用和中国科技政策。欢迎来到“中国环球播客”,萨姆。谢谢,博妮,感谢你的邀请。很高兴来到这里。
首先,你能解释一下你为什么写这份报告吗?显然,已经有许多关于中国人工智能政策的著作,但你关注的是中国人自己写的内容。是什么让你对这个感兴趣的呢?是的。几年前,西方媒体出现了一系列文章,
声称中国正在超越美国,在开发和部署人工智能及相关新兴技术用于军事用途方面。这些文章都提出了同样的说法,即中国的集中式
治理结构和政治制度使其在识别技术方面具有优势,然后使政府机构甚至私营企业能够开发和使用这些技术。
而且,我认为这是一个有趣的见解或一系列见解,但我发现它通常忽略了中国人自己所说的内容,包括中国的能力与美国的能力相比如何,以及中国专家如何看待中国自身的能力。因此,我决定使用CNKI(中国学术知识库),
写作,并基本上使用2020年至2022年发表的数十篇文章的精选集,使用配对关键词搜索方法,帮助我识别
处理未来战争和人工智能的文章。在阅读了这些文章后,我认为我可以写出我最终写出的这份报告,确定中国在开发和部署与军事相关的AI系统方面如何看待自己,以及这些系统与美国相比如何。
那么,中国如何评估人工智能及相关新兴技术对未来军事能力的影响?他们看到了哪些风险?他们对这些风险有多担心?是的,关于第一个问题,已经有许多著作。它基本上归结为中国认为
这是其未来军事现代化的基础方面。中国认为,他们现在能够进行所谓的“信息化战争”,即他们依赖信息技术来做出决策、指导目标,并基本上利用信息技术来开展军事行动。下一步是他们所说的“智能化”,即使用人工智能及相关新兴技术。
因此,他们认为智能化战争将以作战速度加快为特征。打击的节奏将加快,打击将变得更加精确。未来的战场将拥有更多的自主性,人工智能系统将有助于辅助决策。
他们认为,哪个国家比其他国家更快、更好地开发人工智能军事系统,哪个国家在未来的战争中就会拥有显著的优势。因此,由于中国政府已经将此确定为一项重要的进步,因此他们在人工智能及相关新兴技术方面的投资巨大,其目标是在作战能力方面超越美国军队。
现在,这种方法并非没有风险。
西方有很多关于中国对人工智能相关风险的看法可能不同的讨论,也有人认为他们实际上并不像我们那样关心风险。美国国防部发布了几份文件,概述了风险以及如何减轻风险。我在这项研究中发现,许多中国学者非常了解人工智能相关的风险,并推荐了几种减轻风险的方法。他们提到的一个重大
风险是人工智能系统的可解释性和可信度不足,对吧?你不知道这些人工智能系统是如何做出决策的。你不知道你能信任它们多少。因此,使用它们可能会导致升级、事故和错误,从而导致战争爆发和升级。另外几个风险是人工智能系统攻击己方部队,对吧?甚至攻击平民。所以
在这份报告中,我尽量详细地概述了在中国军事学术界和军事界,正在讨论发生的风险。在你的研究中,你是否发现中国专家在他们的观点上存在显著差异,无论是关于风险还是人工智能及其军事应用的其他方面?你是否发现了任何争论点?
是的,这是一个非常有趣的问题。总的来说,我想说,我阅读的大多数文章,甚至几乎100%的文章,都对人工智能对未来军事行动非常重要持乐观态度。
两个有趣的争论点。我不知道我是否会称它们为争论,但也许是在这里阅读文章时发现的差异。关于中国应该追求卓越还是追求数量,存在一些争论。我的意思是
在美国,我们的军队优先考虑卓越的系统,最好的系统,非常昂贵的平台,例如F-35战斗机和航空母舰,你认为这些系统会在未来的战场上给你带来优势。你花费如此多的资金、时间和资源
来开发这些东西,你认为它们会在未来的战场上给你带来巨大的优势。而中国在质量方面已经变得非常好,但他们真正擅长的是数量。他们现在拥有的导弹和许多军事平台比我们多。
因此,在中国关于人工智能和新兴技术方面,存在着一些隐含的争论,即他们是否应该真正致力于提高质量,或者达到足够好的质量,并可能通过更多数量来弥补与我们的质量差距。
这是一个例子。无人机就是一个很好的例子,对吧?中国在制造能力方面具有很大的优势,对吧?因此,中国的一些学者认为,中国不一定需要拥有最好的无人机软件或人工智能,但可以通过这些无人机的压倒性数量来弥补这一差距。另一个有趣的争论,同样是通过阅读文章字里行间得出的,基本上是关于
中国军事文化体系的争论,我应该说中国军事文化、官僚文化和政治文化,以及中国军事体系是否允许最佳地利用人工智能?我的意思是,中国拥有一个非常等级森严、非常官僚的军事体系。
它并不经常允许年轻的、级别较低的军官做出决策。因此,中国的一些人在撰写文章时谈到需要改革决策周期或流程,以便充分利用人工智能及相关新兴技术。
所以这是两个争论点,我不知道是否会明确地称它们为争论。它们是在这里隐含地进行的,但我认为这对思考中国如何利用人工智能及相关新兴技术至关重要。有哪些公开来源的证据表明中国在人工智能的军事应用方面取得了进展?
这里有很多数据来源。一个重要的来源就是中国的媒体,对吧?例如,《解放军报》和《南华早报》经常会报道所谓的军事技术“突破”,对吧?蜂群技术是一个重要的例子。决策系统,对吧?
然后你还有,国防部每年都会发布一份关于中国军事进展的报告。因此,在过去的几年里,我们每年都有越来越多的证据表明中国在人工智能及相关新兴技术方面取得了进展。然后你还有随机的媒体报道,对吧,关于各种被报道的事情。例如,在过去几周,我们有一篇报道,关于
中国使用,呃,中国使用,我相信是Meta的开源,呃,
大型语言模型在某种程度上用于军事行动或军事规划。所以有媒体报道,对吧?在我看来,还有大量关于采购文件的信息。CSET在这方面做了一些工作,利用开源采购文件来查看解放军在军事行动方面购买了什么。
呃,相关的AI,然后我要说的最后一件事是,呃,在学术期刊中,你会看到计算机科学工程和军事期刊,呃
文章讨论了旨在解决特定军事问题的特定算法,或者某种计算机科学技术来训练无人机群,例如。因此,基本上,在媒体、学术出版物以及开源文件或开源场所中,越来越多的证据表明人工智能的重要性以及中国对人工智能的投资。我要说的最后一件事是,
我们还从中国的战略文件中了解到军民融合的重要性。这仍然在持续进行。从本质上讲,这就是希望让公共部门和私营部门共同致力于人工智能相关技术,以推动军事现代化。所以我想说证据很多。你只需要知道在哪里寻找它。
你的报告说,中国专家对现有AI技术的能力缺乏显著的信任。我发现这非常有趣。你能详细说明一下吗?是的。所以,你知道,关于人工智能现在有趣的事情是,每个人都在谈论它有多重要。但是
我们经常在风险非常低的场景中使用它,对吧?比如你让它总结一篇文章,你让它生成一些谈话要点。但你必须记住,在军事环境中,这些很多时候都是生死攸关的决定。
因此,你需要达到更高的信任水平才能让这些系统上线。因此,在进行这项研究时,我发现许多中国作者,军事作者,都在写关于与
了解人工智能系统如何做出决策相关的困难,对吧?有些人称之为“黑箱问题”。你会给出一个指令,然后会有一个输出,但你不知道系统是如何从A到B的。
这非常重要,因为你想能够理解人工智能系统如何做出决策,以便信任该系统。因此,在我阅读的这些文件中,多次提到缺乏可解释性、缺乏可靠性和缺乏安全性,所有这些都会影响这些系统的可信度。
再说一次,为了稍微回顾一下我之前给出的答案,解放军总的来说是一个低信任度的组织。正如我们在过去几周所看到的,非常高级别的官员随时可能被清除。你的上级不信任你的下级军官,而双方可能都不信任
你知道,系统本身。因此,我认为未来,解放军面临的一个重大障碍,潜在的障碍是,他们能否设计出他们足够信任的系统?实际上,你什么时候才能足够信任一个系统来使用它?中国专家还发现了一系列缺陷,这些缺陷可能会限制军事人工智能的开发和实施。你能列举其中几个吗?
是的。所以这些基本上从数据问题到网络安全,再到测试和评估,以及标准。而且,你知道,完整的列表显然在报告中,但我在这里会介绍几个。你知道,
要训练人工智能系统,你需要大量的数据,还需要高质量的数据。这在中国是一个问题,尽管我们经常听说中国具有数据优势,因为他们人口众多,他们有如此多的交易被数字化捕获。在军事领域,他们实际上存在数据不足的问题,因为他们已经45年没有打过仗了。对。
对。因此,与美国相比,我们在中东拥有数百万小时的无人机镜头,中国拥有的与军事相关的数据实际上比我们少,这使得训练模型变得困难。对。他们拥有的数据选择较少。
除此之外,解放军不同军种和兵种之间存在数据共享问题。似乎存在一些部门分割的情况,例如,海军拥有的东西可能不会与空军共享。然后还有数字化数据的问题,在一篇出现在我的报告中的非常有趣的文章中。
一位作者指出,一些海军炮击数据写在纸上,很少被数字化。因此,尽管我们认为中国是一个完全数字化的社会,但解放军似乎仍然在完全数字化其数据资源方面遇到一些麻烦。最后,关于数据问题,分析所需的大量信息。
现代战争会从传感器中产生大量数据,你知道,在海洋、陆地、空中和太空。因此,你需要将所有这些数据整合在一起并快速分析。对此有一些担忧。
我要简要提到的另一件事是标准,对吧?CSET的研究发现,中国的国防工业基础近年来变得更加分散。北京过去依赖少数国有企业来供应大部分军事物资。现在有数千家公司参与其中。
确保人工智能及相关技术开发的标准似乎是一个挑战,因为当你没有共享标准时,你将拥有由不同公司开发的系统,这些系统可能无法相互通信,对吧?或者以一种能够创建系统间互操作性的方式协同工作,这是未来一件重要的事情。我要说的最后一件事是,关于测试和评估。
人工智能系统是一种相对新兴的技术。我想说,我们美国军方可能也正在努力弄清楚如何正确地测试和评估其中一些系统。我认为中国的情况也一样,至少根据我阅读的文章来看,你如何创建测试和评估程序来应对未来战争中的所有可能性,对吧?你面临着战争迷雾。
你面临着电子战,你无法正确地看到或理解正在发生的事情。你如何在和平时期模拟这些情况来训练你的模型或评估你的模型或系统,以保证它们在未来能够按照你想要的方式工作?这些都是挑战,我认为目前还没有人对如何完全解决这些问题有很好的想法。
当中国人思考如何减轻人工智能风险时,他们是否阅读其他国际专家的著作?显然,在美国以及其他地方,关于减轻人工智能风险的文献有很多。
他们是否主张在人工智能安全方面进行国际合作?我知道美国专家和中国专家之间就人工智能问题存在对话,并且这种对话已经融入华盛顿特区的某些政策讨论中。当然,我们最近看到了
拜登总统和习近平主席签署了一项协议或谅解,即在任何核武器决策中都应有人为干预,而不是将其留给人工智能。这是两国政府通过第二轨对话多年来一直在努力的事情,然后在正式场合谈论此事。
那么,中国人是如何看待减轻人工智能风险的呢?他们是否甚至主张限制一些潜在用途,我认为一些美国人主张这样做?
是的,这里有很多内容。我会尝试解答其中一些。关于第一个问题,他们是否阅读国际专家的著作?绝对的。我想说,美国专家真的,至少在我阅读的文章中,是最常被引用的。
有各种各样的人,我不会说出名字,但有一些人总是出现在这些文件中。有时你会想知道,这些文件是否揭示了中国的观点,或者它们只是在重复美国的观点并将它们呈现为他们自己的观点?因为很多时候有很多重叠之处。
有时没有。但这是第一点。关于风险缓解,他们提出了一些技术性的风险缓解技术,对吧?你知道,重点是基本上提出一些技术来扩展数据集,使用合成数据,并试图将人类知识与计算机系统结合起来,以基本上创建更多数据,从而使他们的系统能够更好地工作。有模型训练
建议尝试解决一些可解释性问题,使这些东西更易于解释、更可靠、更值得信赖,以便你可以尝试避免一些可能导致潜在升级和风险的不可靠性。有趣的是,正如你提到的,也有很多关于需要进行国际合作的讨论。
我想说,我发现非常有趣的一点是,中美人工智能对话在过去一年左右的时间里一直在继续,与此同时,中美关于核问题的对话却被中国方面终止了。我认为这在某种程度上证明,中国确实非常重视这些问题,并且对这些问题足够担忧,以至于想要了解美国的想法,并试图减轻此类风险。总的来说,我想说中国非常感兴趣的是人工智能。
人工智能安全,重点关注民用系统的国际合作。在明确的军事论坛中,它不太愿意这样做。它确实参加了RE-AIM峰会。它是那里的大国之一。它参与了联合国。但中国并没有真正发布太多
关于它正在推进或推向国际对话的军事人工智能的指导。因此,我在进行这项研究时发现有趣的一点是,
在国防专家、军事人工智能国防专家领域,似乎存在着参与这些问题、分享中国观点的巨大愿望,因为有一种感觉是,美国在政治宣言中确实带头处理军事人工智能问题,例如。因此,希望能够,你知道,
为中国创造一个渠道,既可以在此进行合作,也可以分享其最佳实践和观点。从中国体系内部关于人工智能风险的讨论中可以得出什么结论?是的,这是一个非常有趣的问题。有一种普遍的看法是,
人工智能是他们一直说的那样,是一把双刃剑,对吧,它创造了巨大的机遇,但也包含着巨大的风险。因此,正如我提到的,对吧,我认为其中一个含义是,他们继续与美国进行人工智能对话,尽管终止了关于核问题的对话,这非常有趣。你知道,这意味着他们试图在某种程度上与美国一起管理风险。
你知道,我认为另一个非常有趣的事情,值得更多讨论,而且我也写过一些,那就是,你知道,人工智能似乎正在改变事情。
我不应该这么说。我应该说,在中国,有一些声音认为人工智能正在改变或已经改变了中国在南海和东海地区采取的威慑方法。这是因为解放军长期以来
一直认为自己非常擅长控制升级和抑制升级动态。人工智能及相关新兴技术和自主性的引入可能会加快决策速度和升级速度。因此,也许有一种感觉是,这将使中国继续在南海和东海地区采取冒险的威慑行动变得更加危险。
因此,我认为美国未来应该与中国讨论的一个含义和事情是,如何思考人工智能如何改变升级动态,或者它如何影响升级动态。有没有办法,你知道,也许超越热线,因为我们已经看到热线并不总是有效,有时效果不佳。有没有,你知道,关于这个问题的规则和准则,我们可以,你知道,讨论?
我之前提到了拜登和习近平关于保持对使用核武器的决策的人为控制的协议。我认为你刚刚提出了一个很好的建议,即就
控制升级进行讨论。这是两个很好的领域。你认为美国和中国之间应该讨论军事用途的人工智能的其他领域有哪些?还有什么可以达成协议并进行测试的东西吗?
显然,对于保持对核武器决策的人为控制,这在纸面上看起来不错,但我怀疑我们不会有任何现场核查。所以我们可能真的不知道他们是否遵守它。希望我们永远不会测试它。但还有其他问题吗?
是的,不。只是简要地谈谈核方面的事情,你知道,有趣的是,我阅读的几乎所有论文都指出,
人工智能与核指挥控制和通信的结合是一个糟糕的组合。因此,你知道,我认为这有点令人鼓舞,在中国,你知道,国防部门认为,你知道,人工智能和核武器不应该混合使用。所以我希望,你知道,我同意你的观点,这将很难验证,但我希望他们自己
我所看到的证据表明,他们不想这样做。关于其他需要探索的领域,一个是刚才提到的升级动态问题。我认为讨论双方对人工智能风险的看法将非常有趣或有用,对吧?我们了解他们对人工智能风险的想法,但是
你知道,随着这项技术的进步,随着他们,你知道,随着双方真正推出更多人工智能军事系统,他们是否会看到新的风险出现?我们在哪里看到风险,对吧?我们能否共同努力管理这些风险?我认为我们短期内或中期内不会达到签署具有约束力的军控协议的地步,但我认为在建立规范方面存在空间,并且,你知道,
了解如何减轻风险可能是富有成效的讨论基础。另一个是关于测试和评估的规范
人工智能军事系统,对吧?正如我之前提到的,这是一个双方都还在学习的全新领域。因此,分享最佳实践,对吧,关于如何测试和评估这些系统可能会有用。然后是一些更敏感的领域,我不太希望中国愿意参与,我也不确定美国是否愿意参与。但是,你知道,
最近有很多关于中国黑客活动和渗透关键基础设施的讨论,对吧?人工智能在这种情况下在网络防御或网络攻击中可能扮演的角色可能是一个有趣的话题,以及人工智能如何影响太空行动是另一个领域。这些在中国方面都非常非常敏感。我并没有真正看到……
很大的空间,但我认为询问这些是否可以在第一轨层面进行讨论将是有益的,因为我知道它们确实在1.5轨和第二轨层面进行讨论。——很好的建议。有哪些可以单方面采取的措施?我同意你的观点,签署协议或任何带有军控意味的东西,中国人基本上对此过敏。
他们不想被像对待以前的苏联一样对待。也许我们最终会走到这一步,但我对短期内并不乐观。双方可以单方面采取哪些措施来降低风险?
是的,这是一个非常有趣的问题。我的意思是,我又想到了这个核问题,对吧,美国实际上站出来说,我们不会将人工智能纳入核决策。那是几年前的事了。我
从中国消息来源听到的是,基本上对此有两种反应。一种是说,哦,哇,太好了。美国已经这样做了,并且同意这样做,我们也应该考虑这样做。另一种是完全缺乏信任,认为我们会这么说。
呃,但是,你知道,实际上并没有这样做。呃,然后如果中国承诺这样做,它就会处于劣势。所以,你知道,我对单方面行动没有很好的建议。我认为未来,对吧,我希望美国继续与中国同行就这些问题进行接触,看看,你知道,在这种,你知道,非常紧张的安全环境中,什么才是可能的,呃,
我们现在正处于这种情况,并且未来也将如此。但我认为美国关注人工智能系统的负责任使用和可信度是一个很好的榜样。希望这至少能说服北京的一些人,我们不一定会不顾人工智能安全地推动发展,以获得完全的军事优势。我认为如果我们继续强调这一点,未来可能会有对话和行动的空间。再说一次,我同意你的观点,除了具有约束力的军控协议之外。
我们一直在与乔治城安全与新兴技术中心(CSET)的萨姆·布雷斯尼克交谈,他撰写了一份关于中国对人工智能军事用途的观点的精彩报告。因此,我们强烈建议所有听众访问乔治城CSET的网站并阅读这份报告。萨姆,非常感谢你加入“中国环球播客”。非常感谢你,邦妮。