【财新网】10月13日，包括人工智能先驱辛顿（Geoffrey Hinton）、本吉奥（Yoshua Bengio）在内的约400名科学家发表公开信，呼吁成立国际机构，协调具备网络攻击能力的先进AI系统的安全防护标准和事故报告机制。随着AI能力不断增强，如何在推进技术发展的同时防范风险，成为科学界与政策制定者共同面对的问题。

知名科学家、教育家龚克日前在接受财新专访时表示，AI不仅是纯粹的技术工具，更兼具技术与社会的双重属性。谈及技术安全与科技伦理，他认为不能苛求绝对安全而止步不前，关键在于推进敏捷治理，努力将伦理准则内嵌于工程设计之中，并通过全生命周期的动态监测来应对大模型的各类安全挑战。

龚克现任中国新一代人工智能发展战略研究院执行院长、国家科技伦理委员会人工智能伦理分委员会委员，历任清华大学副校长、天津大学校长和南开大学校长，曾任联合国秘书长科学咨询委员会成员、世界工程组织联合会主席。他长期从事无线通信与电子信息技术研究，曾主持中国数字电视无线传输标准和微型技术试验卫星等研发工作，获国家技术发明二等奖等。

针对日益加剧的地缘政治博弈，龚克表示AI风险天然跨越国界，科学家与产业界应努力打破隔阂，在合规共享数据与工具的基础上共建协同生态，形成全球通用的安全与互操作规则。“不发展才是最大的不安全”，龚克认为，唯有在持续发展与迭代中主动变革生产关系，才能真正释放新质生产力的红利。

访谈中，龚克也格外关注AI对教育领域带来的深远冲击。结合当前的就业痛点，他表示传统课堂的灌输式教学已难以适应时代需求，高校亟需打破既有的教学考核模式，从单纯传授书本知识使学生从“学会”，转向帮助学生“会学”，即培养学生自主学习、提问追问、审视答案、实验观测和自主构建系统化知识体系的“会学”能力。以下为财新与龚克访谈实录。

财新：AI导致的失业是存在的吗？在AI已经颠覆传统授课模式、学生可以随时向大模型寻求答案的今天，传统大学课堂的价值在哪里？高等教育又该如何应对这种重构？

龚克：现在在就业市场上，如果去看智联招聘这类平台，你会发现有大量与AI相关的岗位都是空缺的。尤其是具备人工智能与机器学习应用经验的工程师，现在非常难招；还有高水平的算法审计师、高级标注师等等岗位，开出很高的薪水，但难以招到人。所以，不是有没有岗位的问题，而是我们的学生能不能适应岗位的问题。

其实，好的学校教育最核心的目的，是让学生在学习若干门具体知识的过程中，最终掌握“会学”的能力。绝不能止步于“学会了什么”，而要转变为“会学”。用这种“会学”的能力去学习AI、驾驭AI，这是我们现在的在校学生，以及已经走上岗位的工程师，最迫切需要去做的事情。

从学习者的角度来看，必须主动去学、主动去实践。要经常问自己：我曾用这个技术解决过什么实际问题？在解决问题的过程中遇到了什么困难？用了什么方法？最终又是怎么把它攻克的？这种经验才是最管用的。

为此，我们的教育体制也必须做出改变。在当前的情况下，AI对传统教育的冲击是非常深远的，但老实说，我们现在的教育界对这种冲击的响应还远远不够。很多人依然只是把AI当成一个普通工具，继续套用过去的模式来教学。可实际上，现在的学生早就不是过去那种学法了——在今天的课堂上，你仔细观察一下，有多少人真正专注于黑板？但他们最后依然能通过考试。

这就逼得我们反思：传统授课模式的价值到底在哪里？如果还只是去机械地统计老师在讲台上站了多少课时，已经没有太大意义了。在新的学习模式下，学生会主动向AI提问、主动从AI获取解答，这是一件好事。过去我们在课堂上千方百计想鼓励学生主动发问，往往逼都逼不出来，现在他们面对AI主动去问，并且在这个过程中逐渐摸索出怎么提问才更有效——这其实就是提示词工程（prompt engineering）。

他们开始懂得如何分步骤、给出足够精准的提示，以引导AI生成理想的答案。在这个过程中学生学会了深度提问，主动性被激发了出来。

但这种模式也有一个明显的弊端：随时随地碎片化地提问，获得的知识往往不是体系化的。大学教育在过去几十年甚至上百年的探索中，形成了一年级到四年级由浅入深、前后衔接、横向贯通的课程架构，这是一个经过多年打磨的完整知识体系，由老师通过课程系统地传授给学生。

那么问题就来了：在当下的主动碎片化学习中，学生该如何自主构建起坚实的知识体系？未来他们又该如何依靠这种“不仅会学、而且能搭建体系”的能力去支撑自己的职业生涯？这对今天的高校教师来说，比起过去按部就班传授一套现成的知识系统，是很艰巨的挑战。

财新：既然AI可以帮学生完成查资料、写报告等基础脑力劳动，这是否意味着我们在新时代的考核标准可以相应放宽？面对AI带来的真假难辨与认知陷阱，当代高校到底该培养什么样的学生？

龚克：这套应对机制目前还没有完全建立起来，依然处在探索阶段。但现在首先要让同学们，包括全社会都明确一点：你在使用AI的时候，它是必然会出错的，这种必然性是出于AI用统计概率选择答案这个技术本身，是不可能完全避免的。比如，用它查资料确实非常快，但在面对关键被引用的文献时，一定要回溯查验原文。

我们经常会发现它“无中生有”，凭空捏造出一篇所谓的鲁迅文章；或者即使真有这篇文章，它的引用也未必符合原意，或者不是严格的原话。这些都属于典型的事实性错误。学生必须具备鉴别事实真伪的能力，而这种能力归根结底取决于一个人的知识和素养。因此，人工智能时代的到来绝没有降低对学生的要求，反而是大幅提高了。

再者，AI生成的内容还可能违背基本的科学原理。比如它可能不符合力学定律：走路时手里拎着的东西掉落后会往哪儿落？这里要看下落时有没有水平的初速度，如果有，它应该是抛物线下落。很多AI生成的图像可能是直线下落，这就会显得不自然。这就需要使用者理解这些基本的科学原理并具有必要的科学素养。换句话说，使用AI对学生的科学素养提出了更高的要求。

此外还有伦理层面的审视。它生成的内容是否存在对特定群体的偏见与歧视？是否存在对财富、对权力的谄媚与迎合？这些都需要使用者具备敏锐的伦理鉴别力。

所以，无论从事实判断、逻辑判断，到伦理和价值判断、再到科学和美学的判断，AI时代对新一代学生的综合素质的要求都是在提高的。我们倡导推行“素质教育”已经很多年了，素质教育绝不仅仅是唱唱歌、跑跑跳跳、搞搞文体活动，它必须涵盖一个人从身心健康到价值观、世界观、科学素养、人文底蕴、审美能力的全面素质。早在2010年制定国家中长期教育规划纲要时，我们就明确提出：素质教育是中国教育改革发展的战略主题。进入智能时代，这个主题应该更加突出。

财新：对于那些专业底子相对薄弱、还不太会提问的学生来说，AI会不会反而拉大他们与优秀学生的差距？大模型能否反过来帮助这部分学生建立起更清晰的思维框架？

龚克：没错，确实是这样。大模型现在可以说是“读书破亿卷”，背后是用几乎全人类文明积累的海量数据训练出来的。但问题在于，你怎么用适当的提示词（prompt）把它背后的这些东西给引出来？

这背后的生成原理是什么？它生成的内容并不是凭空来的，而是根据你的提示词，去匹配联合分布概率最高的那个结果。因此，它生成的输出与你喂给它的是什么输入以大概率相连的。计算机领域常说“垃圾进，垃圾出”（Garbage in, garbage out）。如果你的提示不清楚，它给你的必然也是一堆废话。好的提问和追问，就需要具备非常扎实的科学与人文素养与必要的专业底蕴，懂得如何提出真正有价值的专业问题，给出严密的边界条件，才能从大模型里引导出真正高质量的答案。

当然，我们也希望目前底子暂时没那么强的学生，能在这个交互学习的过程中变得更优秀。因为AI有一个非常大的优势：只要你真正带着实践问题去向它提问，在不断尝试中你就会逐渐学会提问——“我这么问、这么设定背景，回答的质量明显更高；而如果我逻辑混乱、甚至输进去错误的背景信息，就会直接把它带偏，引上歪路。”这种人机交互本身，就是一个极佳的思维链锤炼过程。

财新：AI在重塑各行各业的岗位。国家在政策层面已经明确提出要推动“人工智能+”和强化技能培训，但要在现实中避免大批劳动者掉队，政府、社会与劳动者个人之间该如何形成合力？

龚克：这不是AI能不能触达的问题，而是我们的社会公共政策能不能触达的问题。这本质上是一个社会政策议题。“十五五”规划中非常明确地提到了开展社会培训，目的就是要主动应对这种生产力的剧烈变化。因为原有的很多生产技能在AI时代必然要被重塑。在国务院印发的深入实施“人工智能+”行动计划文件中，也特别提出要优先发展那些更有利于促进和创造就业的AI应用场景。所以你看，政策文件在顶层设计上都已经非常清晰了，现在最关键的是落地，把政策真正落到实践中去。

要抓好落实，必须依靠两个方面的主动性。一方面，我们的政府各级部门、社会团体要主动作为，积极搭建起覆盖面更广的社会培训与托底机制；另一方面，作为身处其中的劳动者和学习者，自己也要敏锐地洞察这种时代巨变，主动求变、主动学习。财新：我们讨论AI的安全风险管理，大致思路是什么样的？

龚克：显然我们在谈到AI风险管理的时候，是不能眉毛胡子一把抓的，我们要看到哪些是最重要、危险最大的，比如说核，化工、生化这些问题，可能引起核爆炸，或者引起化工厂爆炸，肯定是风险最高等级。按风险等级进行风险管控，这其实是全世界的共识，这并不是欧洲的AI法案独有的。中国过去进行安全控制也是要分级别的，涉及到生命安全，是最重要的。

现在有人把AI安全风险分成L1到L5，是参考自动驾驶汽车的一个分级，把它的自主性一级一级抬升。当然也反映了按不同的风险来进行管理这一点。按风险分级分类管理，这是一个大的思路。

财新：AI引发的风险极大压缩应急响应的时间。我们的风险治理体系要有什么样的变化？

龚克：这个问题很难给出一个完整的回答。人工智能作为一种先进的生产力进来以后，会冲击所有原有的生产关系。治理体系是构建在一定生产关系上的，我们的应急响应体系也是一种生产关系。上报、判断和下达的流程并不是应急管理本质，应急管理的关键是发现和响应。但是现有的应急机制，在AI驱动的灾害发展下，可能也还需要改进。

因为AI驱动型的灾害，可能会迅速传播。单点的单个事故，相对好办，主要怕产生连锁反应，特别是多智能体工作的时候，一个一个传递可能会造成大的问题。

所以目前有两种情况，一种要提升智能体，包括AI模型自身的安全性。这并不是没有办法的。深入到行业应用里头，我们应用高质量的行业专门知识，用行业的规则嵌入到这里面，而不是简单的用个大语言模型。那么从大到小并不是个简单缩小的过程，是提高信噪比的过程，提升真正有用的信息，降低其他无用信息。

在高信噪比的情况下，模型是相对比较可靠一些的。同时，现在我们加很多安全护栏（guardrails），配置AI的工作环境，叫做“驾驭工程”（harness engineering），也就是说发动机不是那么安全可靠，但是我有很灵的刹车去制动。这些与模型安全相关的机制都在发展。

另一方面，在AI可能引起灾害时也有迅速的响应，特别是阻断能力。就像是着火，我们不可能要求人们不用火，但是一旦发生火情我能把火源地跟旁边马上隔离开来。那么所谓的刹车机制，就是在它感知到危险的时候，停止运行，或者改变运行的轨道，这点对具身智能尤其重要。应急管理体制在人工智能发展和应用的各个方面，都需要尽快建立起来。这是毫无疑问的。

习近平主席在WAIC2026大会的主旨报告中提出，要高度重视人工智能引发的各类内生和衍生风险，推动构建法律法规、技术监测、风险预警、应急响应体系。我理解，这应是一个整体，是智能化条件下的完整的安全风险管控体系。而支撑这样一个体系，亟需建立AI安全工程。物理世界中，我们现有的高层建筑、地下设施、隧道桥梁、化工厂等等的安全都是要有相应的安全工程来保障的。

现在AI来了，而且AI渗透到方方面面了，给原有的安全工程带来了新的挑战，需要发展AI安全工程，这一点应该引起足够的重视，否则安全治理就会停留在纸面上。财新：我们如何去识别并规范AI的安全问题？

龚克：要区分内生的安全问题和衍生的安全问题。内生的问题，比如大模型自身的安全问题是源头上的问题，就是所有使用这模型的都会面临的问题，即基础模型的安全可靠性问题。这个问题的源头，最根本的原因在于我们现在人工智能它给出的生成内容，是基于概率的。我们知道基于概率是不可以等于1的，它可以无限的逼近于1，但是不可能等于1，所以它一定会出错。

问题在于它是出多大的错，在什么时候出错，错误产生什么样的影响。所以我们不可能确保它完全不出错，所以要有一个常态的监视系统，监视系统在监视到问题的时候，要发出警报，进而激发一定的响应。

所以我认为，应对这些问题，需要发展AI安全工程学。当下的一个紧迫任务，就是要把我们长期形成、行之有效的安全工程，跟智能化应用去结合，去发展我们的AI安全工程，来保证智能化的安全。

在计算机领域，比如软件，在一开始是不讲安全的，软件的文化在开始的时候是试错的文化，发β版让用户先试再改错，即debug。互联网也是，尽力而为，允许大家都上网，然后再不断改进。后来软件真正到了工业应用的时候，就出现软件工程，就要符合一定的工程的安全标准。所以大家要学软件工程的时候，怎么做测试软件，怎么区分风险等级，这一套，也是形成了安全工程学里一个非常重要的分支。

当下大家使用的AI系统或许经过了开发者自己做的安全测试，但还没有严格意义上安全工程保障。现在的“人工智能+”行动，把AI嵌入各行各业，这就需要相应的安全工程来保障安全。特别是物理智能体是能够行动的，它就不光是说错话的问题了，它可能真做错事，而且在关键环节上做错事，那有可能是非常危险的。因此，发展AI安全工程是极为紧迫的。财新：技术中立论在AI时代还适用吗？

龚克：技术中立并不是一个虚的概念。技术中立指的是技术本身，比如核技术，它并不天然地要去干坏事，也不一定非要去干好事，它的价值完全取决于人怎么去应用它。技术本身是中立的，但使用技术从来都不是中立的，技术的使用永远带有价值取向的。

但AI现在的情况确实有所不同。所以我们国家从一开始就指出，人工智能具有技术属性与社会属性高度融合的特征，具有社会属性就必然带有价值属性——它生成的内容、写出的文章，本身就带有情感和价值偏向。我们必须正视它的社会属性，而且这种社会属性和它的技术属性紧密交织在一起，很难彻底剥离。

所谓“人工智能”，关键在于“智能”是由“人工”决定的。算法是人设计的，数据也是人提供的，硬件系统更是人设计制作的；即便是它所谓自主采集的数据，本质上也是人间接给予的——传感器由人制造，摄像头的色彩和精度由人设定，人始终在间接定义这些数据。还有训练模型的策略，同样是人来决定的。人工智能发展了70年走到今天，包括当下日新月异的技术迭代，背后全都是工程师的创新与努力，它归根结底依然是人类的一部创新史。所以，如果人自身不向善，根本不可能让AI向善。

我们一定要高度重视人的作用。在今年WAIC大会上，约翰·霍普克罗夫特（John Hopcroft）讲了一个非常核心的观点：技术是在不断更新换代的，那我们要怎么做才能跟上技术的发展？归根结底还是要培养具有持续创新能力的人。在我参加的讨论中，蒂莫西·潘帕德里欧（Timothy Papandreou）也讲到，终究要保持大脑的活跃，也就是你必须不断地去学习。

他有一句话说得特别好：“未来的硬通货不是金钱，而是持续学习的能力（Currency is not money, it is learning）。” 财新：从核能、生命医学到今天的通用人工智能，科技伦理总是与最底层的安全风险挂钩。现在AI的发展在突飞猛进，大家对AI伦理是否还重视？AI伦理的地位是否还重要？

龚克：我们的基本共识都是伦理先行。国际上的表述通常叫“以伦理为基础（ethics-based）”，大体是一个意思。必须先锚定伦理原则，而所有伦理原则中最核心的一条，就是“以人为本”，而不是以工具为本。

体现在教育领域，我们推行AI教育，落脚点不在于AI工具本身，而在于学生的成长；在AI赋能生产与服务的过程中，不是让AI去炫技，而是让人的生活变得更便捷、更安全。这就是我们最底层的伦理原点。

在以人为本之上，我们需要确立一系列前置的伦理原则，相应的法律法规与行业标准才能在此基石上逐步搭建。比如联合国教科文组织发布的《人工智能伦理建议书》，就提到了四个最核心的价值基石：第一是以人为本，尊重人权与人的基本自由；第二是保障生态繁荣，协调人与地球的生态关系；第三是确保社会的多样性与包容性；第四是维护全球的互联互通与和平，而不是割裂世界。基于这四大价值基石，它又细化延伸出了十项原则，其中排在首位的就是“适度且无伤害”。

什么叫适度（proportionality）？意思是AI不是用得越多越好，而是符合目的即可；获取数据同样不是无休止地搜集得越多越好。就像今天咱俩坐下来访谈，你知道我是来自人工智能发展战略研究院就足够了，很多多余的信息你不需要掌握，我家有几个孩子、祖上是做什么的，这些个人隐私完全不必采集。何谓适度？

就是以“无伤害”为底线。这些具体的规则，全都是从底层的伦理基石中生发出来的。我们不能用伦理去包办、替代所有的规章，但所有技术应用的安全评判，都必须立足于伦理价值之上。

从历史维度来看，科技伦理被摆到如此重要的战略高度，并不是一蹴而就，而是逐步发展的。过去人类在发展科技时，伦理问题往往滞后出现；但随着科学技术转化为现实生产力、深刻重塑人类生产生活的方方面面，伦理问题便被不可避免地推到了台前。因为这些问题直接关乎人类的生命与生存，所以科技伦理最早在医学、生命科学领域形成共识，随后逐步延伸到新药研发、核技术等事关生命安全的重大领域。

而如今的人工智能，凭借其强大的技术能力正在全面改变社会的生产与生活，这也正是为什么在AI领域，伦理问题受到前所未有的财新：你之前提到“不发展是最大的不安全”，面对眼下的局面，我们究竟该如何设计一套既包容试错、又能坚守底线的治理机制？怎样才能在确保不突破安全红线的前提下，为技术创新留出足够的空间？

龚克：其实我们谈到“治理（governance）”的时候，它绝不仅仅意味着规制和约束；我们制定的各项鼓励创新的政策，本身也是整个治理框架中不可或缺的组成部分。

当前最本质的命题，在于如何激励“负责任的创新”，推动AI向着总书记强调的“有益、安全、公平”的方向健康发展。不重视安全是不对的，把安全绝对化也是要不得的。这就像汽车要上路行驶，不能只装发动机而没有刹车，也不能没有方向盘。然而，汽车的刹车和转向机构在诞生之初是不完善的：最早的转向装置就像自行车车把一样，在高速行驶时哪怕打一点点微小的角度，车子瞬间就会失控冲出路面，演变成今天这种成熟的方向盘是几十年摸索的结果；最初的刹车甚至是用脚踩橡胶块去摩擦车轮，演进到今天高灵敏度的制动系统，同样跨越了数十年。

至于现代汽车标配的安全气囊与三点式安全带，几乎是到了上世纪70年代之后才逐步普及并成为行业强制标准的。

因此，安全是一个持续动态迭代的过程，我们不可能苛求技术必须达到“绝对安全”之后才能允许其落地应用。历史告诉我们，技术是在风险基本可控的边界内不断向前迭代发展，边应用边暴露问题边改进技术解决问题——这是一个技术发展和安全改善的统一的过程，这也正是我们近年来反复强调“敏捷治理”的核心逻辑所在。这种治理模式对我们当下的制度建设而言，确实是一个极具考验的新课题。

但我们必须确立一个最底层、最根本的认知：人工智能代表的是先进生产力。作为唯物史观的信奉者，我们深知生产力决定生产关系，进而改变社会经济基础并重塑上层建筑；先进生产力的迅猛发展是不可逆转的历史必然，任何人都不可能去阻挡它。这正是我为什么反复强调“不发展才是最大的不安全”。因为停滞不前的本质，就是放弃发展先进生产力，国家就会陷入落后，而落后就必然要挨打。

历史留给我们的教训已经足够惨痛了。面对人工智能这一轮磅礴而来的生产力浪潮，我们绝不能畏首畏尾、裹足不前，否则就会再次痛失历史良机。中国今天之所以能取得如此瞩目的成就，一个重要原因是我们当年牢牢抓住了信息革命的时代红利；如果这一次我们在人工智能上掉队，其后果甚至会比近代史上我们错失工业革命还要惨。

当然，绝不是说为了追求发展就可以对安全弃之不顾，而是强调安全机制必须在快速发展的实践中动态构建、持续迭代。面对奔涌而来、不可阻挡的新技术，我们唯一的出路就是主动调整并变革原有的生产关系。当年邓小平同志将社会主义的本质深刻定义为“解放生产力，发展生产力，消灭剥削，消除两极分化，最终达到共同富裕”，这条真理在今天依然颠扑不破。

面对新一轮生产力浪潮，什么才叫“解放生产力”？只有主动破除那些束缚生产力发展的体制机制障碍、主动重塑适应新质生产力的生产关系，才能真正释放它的全部潜能，否则只会把生产力捆死，让社会陷于停滞和衰败。

财新：中国的国家科技伦理委员会第一个下设的就是人工智能分委会。从顶层设计走向落地实践，目前科技伦理在科研和产业一线的渗透卡在什么地方？

龚克：中国的国家科技伦理委员会于2022年正式成立，其下设的分委员会目前主要涵盖人工智能、医学和生命科学这三个领域。非常值得关注的一点是，人工智能分委员会是最早设立的，这足以体现出国家对AI伦理的高度重视。

伦理建设的核心，在于将最基本的价值共识与伦理原则普及给全体科技工作者，以及未来的科技人才，这项工作至关重要。目前我们很多时候是在哲学或通识层面单独开设一门伦理课，讲授科技与人的关系。归根结底，所有伦理议题的核心都是人；而且这个人不仅指当代人，还关乎子孙后代与可持续发展。真正的难点并不在于单开一门课，而在于如何把这些伦理准则真正融入到各门具体的专业知识体系当中去。

以工程学为例，无论是机械工程、土木工程还是化学工程，都必须把伦理考量与本专业的硬核知识紧密咬合，将其深深嵌入专业知识体系之中。这也就是我们常说的“伦理嵌入设计（Ethics by design）”，而不是在系统做完之后再硬贴上一层外挂机制。“安全始于设计”这一理念在实践中推行起来相当不易，伦理规范应当内嵌于科学技术的知识底座之中，在此基础之上，才是依靠外部的规章制度去实施他律与行政监管。

这本质上属于工程伦理教育的范畴。坦率地讲，我们的科技伦理教育在深度与广度上目前仍相对薄弱，不过相关体系正在逐步强化。我印象中大概在十多年前，工程伦理课就已经是工程硕士研究生的必修课了，现在的关键是如何让它真正成为专业培养方案中的内生基因。

财新：业内普遍认同很多伦理总原则，但在实际落地中，很多规范依然停留在概念层面。如何把抽象的道德伦理转化为可量化、可验证的评测工具和工程指标？我们面临哪些硬核的技术考验？

龚克：这是一个总的目标。推动伦理规范真正落地，确保我们国家的人工智能发展符合伦理，实现我们常说的“安全、有益、公平”的发展路径，这背后处处体现着伦理准则。坦率地讲，要让AI在某个具体业务上提高效率、产生效益，目前并不算太难；但要做到既有效益，又完全不损害公共群体利益、绝不被用来作恶，这就要难得多。

因为这是一项庞大的系统工程，绝非在原有系统里简单叠加某个要素就能解决，而是必须把教育、科研、工程落地与法律规制有机串联起来，在多个维度上协同发力。

当前，最迫切的抓手有两个。第一，普遍提升全社会的数字素养与智能素养。这种素养首先表现为一种常识认知，也就是明确意识到AI是会犯错的，它可能会损害你自身的合法权益，也可能会伤害他人的利益和社会利益，可能会引发安全事故。在此之上，更高级的素养则体现为对潜在风险的敏锐预判力：在风险苗头显现时，能够自主干预、及时纠偏，或者通过预警机制拉响警报。这需要作为一种普遍的国民基础素养来培育。

第二，研发并构建一整套完备的安全评估与治理工具箱。一个系统究竟安不安全、可不可靠，必须是可测量、可验证的(verifiable)，这就需要依靠专业的软硬件工具去量化评估。而治理工具的开发，正是我们反复强调必须开展国际合作的核心原因所在。只有通过国际层面的共商共研，标准和工具才能获得全球互认，系统之间才具备跨国界的互操作性（Interoperability）。

在过去的工业化进程中，无论是机电产品还是食品药品的跨国流通，人类社会已经积累了大量行之有效的多边互认经验，今天我们必须把这些经验升级迁移到人工智能治理中来。可以说，国际合作是一道必答题（must），绝非可有可无的选项。

同样，跨行业的深度协同也是一道必答题。人工智能是底层通用技术，具有很强的穿透力，它绝不是单纯的信息通信产业。今天在农业生产、交通运输、医疗健康、文化教育等各个行业，AI都在深度重塑业务流程，因此跨领域的协同治理至关重要。财新：国际上已经有哪些治理的方向性共识和实践？

龚克：目前，国际标准化组织（ISO）已经陆续推出了上百项人工智能相关的标准。它首先明确界定的就是AI服务商必须具备准入资质。也就是说，只有具备合格资质的企业，才能向社会提供AI服务。比如像百度、腾讯、阿里等等AI服务提供商，就必须满足一系列严密的资质审查条件，其中不仅包含伦理审查的具体规则，也包括严格的执行程序与责任机制要求；从机构再到产品层面，标准规定了必须经过哪些安全测试与评估环节。

但坦率地讲，有这些前置的资质要求和准入标准还远远不够。因为人工智能持续渗透并嵌入到千行百业的细分场景中，相关的标准与测评体系必须能够动态演进、实时跟进才行。

财新：在当下这种紧张的国际环境中，AI治理似乎是气候合作之外，最能让大家坐到一起的国际合作议题。

龚克：每个国家，在AI治理的关注点和方法上其实高度相似。仔细对照各国关切的议题和尝试采取的路径，会发现大家使用的概念和逻辑是非常一致的。我们此前系统研究过不同国家提出的伦理原则，最早经合组织（OECD）提出相关框架后，各方的政策其实是互相启发、互相影响的；我们国家的政策制定也会参考联合国以及欧盟等的做法，国际组织和其他国家也关注中国的实践。

但现实的困境是地缘政治的冲突与博弈把大家生硬地隔开了，导致全球层面的协同推进非常困难。比如我们发起成立人工智能国际合作组织，美国不来参加；而美国一旦缺席，其他很多国家的机构和学者大概也心存顾虑、甚至不敢来参与，生怕得罪美方。反过来，美国搞的组织，则排斥中方。

这背后的问题到底是什么？坦率地讲，绝不是中美两国科学家之间存在多么不可调和的学术分歧，纯粹是地缘政治在这中间设立的屏障。因此，当务之急是凝聚各方的政治意愿，千方百计打破这种地缘政治隔阂，重回基于全人类共同利益的对话与合作，让AI真正造福全球。

AI本质上根植于信息系统，而信息系统天然是跨越国界的。如果互联网上出现了AI引发的连锁安全风险或灾害，地理的国界是根本挡不住的。关于风险识别、预警通报和事故处置，是三个核心要素：首先要及时感知和掌握问题，其次要有切实可行的控制机制（control），最后要具备有效排险解决的能力。这三项关键能力，没有任何一项能够局限在单一国家的围墙之内单独完成。

大家面临的风险是全人类共同的，因为通用技术的底层逻辑相通。其实面对新技术，风险本身并不可怕。回看历史，电网刚被发明并引入社会时也是极其危险的，当年因漏电致死、电线短路引发火灾的事故不计其数。但人类并没有因此放弃用电，而是从科学机理上逐步吃透它，共同建立起行业安全标准。比如万伏特高压电线必须架空而不能触地，入户前必须逐级降压，交流电与直流电之间如何规范转换，等等。

当这一整套标准规范化之后，安全考量就能严密地嵌入到整个电力系统中，风险就被成功控制了。汽车刚诞生时跑那么快同样很不安全，频繁翻车、自燃甚至撞死行人的事故屡见不鲜。但后来人类通过提升车辆自身的主被动安全性能、完善道路基础设施，并逐步确立起通行全球的交通法规体系，最终让汽车交通成为整体可控且安全的现代网络。

即使各地的规则细节不尽相同，也是完全可以实现“互操作”的。就像香港开车是右舵左行，内地是左舵右行，但并不妨碍两地互联互通。只要在口岸立交桥上设计科学的引道变换匝道，车辆就能平顺地切换行驶方向。

从科学家和产业界的角度来看，企业固然需要保留一部分安身立命、筑牢护城河的核心数据（in-house data），保持自身独立的数据处理与研发底座；但更重要的是，要在合法合规共享数据（legally sharing data）和工具的基础上，携手打造一个开放包容的协同生态。

未来属于生态系统。生态是所有参与方共生共存的基础；如果生态被破坏了，里面的任何一个单一物种都无法独活。因此，关于安全规范、关于互操作性、关于构建健康生态，科技界和产业界内部早已形成了深厚共识。今天真正的症结，就是地缘政治将大家人为地割裂了。回想当年我们打开国门搞改革开放、美国同样张开双臂欢迎科技交流的时候，中美之间的科技合作与学术往来是多么顺畅而卓有成效。

目前来看，金融是应用人工智能的先锋单位，美国用特别多，国际金融系统是共通的，怎么来共同保障金融系统的安全？中美两个最主要的AI国家，应该共同来给AI画红线。金融风险如果真的发生了，对全球的经济发展是灾难性的，几次金融危机大家都经历过，这些东西都是共同的利益，还是期待能够有更多合作和共识，使我们两国的治理，从现在的平行线向同心圆发展，在确保全球的治理有广泛代表性的同时，又有大国带头的执行力。

AI的安全发展事关各国利益，中美两国也概莫能外，所以我们希望能够在联合国的框架下，维持中美最大可能的战略合作，来共同推动人工智能造福人类。■