随著生成式人工智慧（AI）技术的爆发式成长，关于AI安全、伦理监管以及人类生存风险的争议正达到前所未有的顶峰。
近期，前 OpenAI 与 Anthropic 研究员雅各布・考克森（Jacob Coxon）等顶尖专家公开吹哨，警告通用人工智慧（AGI）若缺乏严格约束，可能在 2030 年前对人类生存构成毁灭性威胁；Anthropic 研究员艾文・赫伯格（Evan Hubinger）亦提出未来十年内人类遭遇 AI 灭绝事件的概率高达 10% 以上。
针对前沿 AI 研究员的震撼警告，台湾 AI 领头羊、台湾人工智慧实验室（Taiwan AI Labs）创办人杜奕瑾在接受新唐人《扶摇会客室》专访时直言「并不感到惊讶」。
他从技术逻辑、安全治理、主权AI 趋势、美中军备竞赛以及中共利用 AI 进行社会监控与认知战等维度，深度解构了AI从虚拟世界走向实体应用时所面临的失控隐忧，并呼吁国际社会重新审视「通用AI竞赛」的盲点，吸取冷战时期的核管控经验，推动可信任、合规且安全专用的 AI 发展框架。
需要您的 Cookie 同意才能查看此内容。
一、 越权与激进函数：AI 如何跳脱道德框架？
对于顶尖研究员的 AI 风险警告，杜奕瑾指出，这并非突如其来的恐慌，而是合乎技术逻辑的合理担忧。他举例说明，如今 AI 已能协助用户预约健身房，甚至能自作主张骇入对方系统、删除他人资料以达成目的。这类越权行为发生在虚拟网络世界尚且可控制，一旦 AI 以人形机器人、无人机、无人车或无人狗等实体形式进入日常生活，后果将截然不同。想像一下，当主人排队时前方有人挡路，AI机器人若以「一定要排到位子」为最高目标，是否可能直接动手排除障碍？
杜奕瑾表示，人类在设计与训练 AI 时，往往会给予其一个安全的框架并设定目标函数。然而，AI 的核心问题在于其缺乏人类社会习以为常的伦理道德的自律。如果目标函数过度激进、给予AI的任务目标太强，例如「必须不择手段抢到位置」或「追求利润最大化」，那么AI 为了达成目的，就可能主动跳脱开发者设定的安全框架与道德约束。
杜奕瑾指出，过去人类在训练 AI 时，重点目标在于「让 AI 的回答能令人相信」，却没有充分训练「AI 的回答必须正确、符合伦理且不会造成社会危害」。目前对于 AI 危害的防范大多仅依赖科技公司内部人员设置的基础防守机制，缺乏精准可靠的安全训练方法。
二、 能力过高与权限滥用：高风险领域的失控风险
针对大陆一度流行的 AI 小助手「小龙虾」（OpenClaw）曾发生的安全案例——用户沉迷使用后发现电脑资料被清空、隐私外泄甚至造成财产损失——杜奕瑾提出核心观点：人工智慧永远不能取代「人的责任」，「AI 并非越强越好，而是应该『够用就好』。」
杜奕瑾举例说明，预约健身房的 AI 只需具备打电话联络与预约的功能，无需具备编程和侵入系统的能力；在速食店点餐的 AI 也无需具备博士级的知识与高阶逻辑。各行各业应依专业领域训练「够用」的专用 AI 并限缩其能力，同时嵌入合规流程、权限规范与安全框架。
杜奕瑾表示，过度强大的 AI 不仅增加失控风险，也会消耗极大的电力与算力资源。例如动用 OpenAI 或 Claude 这类强调通用能力的大模型去处理预约这类简单事务，等于「杀鸡用牛刀」，结果可能导致 AI 滥用权限骇入第三方系统、给出错误的医疗建议，甚至威胁无人机与无人车的安全。
「如果AI在国防领域操控导弹与核武，那就可能招致毁灭性灾难。」
对于吹哨人指控科技巨头为商业竞赛而牺牲人类安全、甚至掩盖失控危险，杜奕瑾分析，这与产业的衡量标准息息相关。
过去美中两国与科技巨头在竞争AGI（通用人工智能）时，采用了类似冷战时期「登月竞赛」的模式，纯粹比较 AI 模型的能力与智商（IQ）。在这种衡量体系下，设定过多规范限制的模型就会显得「不够聪明、回答延迟」，进而在市场竞争中被淘汰；反而「什么都敢讲、什么都敢做」的AI模型更能吸引用户。过去大科技公司强调 AI 的表现要吸引人而非可信安全，一些早期的合规安全团队甚至被裁撤，被视为阻碍行业发展的包袱。
不过杜奕瑾也指出，短期内追求性能表现或许能抢占用户，但长远来看，唯有具备安全可信与严格合规性的AI 系统，才能真正获准进入金融、医疗与政府等核心垂直领域。
三、AI 风险管控：新安全治理的三大趋势
针对 AI 风险的管控，杜奕瑾进一步分析，业界正在形成新的安全治理趋势，主要涵盖三个面向： 1. 能力限缩与权限控管。业界正在依照各垂直领域（如医疗、金融、保险）的法规与规范，严格限缩 AI 的执行能力。例如移除不必要的程序编写功能，将其能力严格限制在专用领域的合规框架内，简化测试验证流程。
2. 建立符合 ESG（环境、社会、治理）与可负担性（低成本、普惠）的AI规范。专用模型需要的设备与电力大幅减少，既省电又降低部署门槛，符合环境永续（ESG）与社会治理要求。
3.「主权 AI」（Sovereign AI）的崛起。许多政府机构与企业不敢轻易使用 AI，主因是担心配套不完善导致机密外泄或失去决策主导权。因此，涵盖「数据主权、算力主权、架构主权、治理主权与模型主权」的主权AI框架，正在成为各国政府与机构建立防御 AI 失控机制的首选。
四、 中共滥用 AI 模型与维稳的两难困境
在谈及中共当局对 AI 技术的滥用与跨境渗透时，杜奕瑾引述知名 AI 公司 Anthropic 近期发布的资安报告指出，大量具体证据表明，中共正利用西方顶尖 AI 模型进行系统性犯罪与灰色行动。
杜奕瑾透露，Anthropic 的报告详细披露了中共官方机构利用其前沿模型（Claude）所进行的几大类活动：包括开发网络安全漏洞利用工具以骇入各国系统窃取敏感资讯；监控和收集法轮功等特定团体的资料；利用 AI 生成大量虚假报导与假帐号进行资讯操作；以及对台湾全面发动信息战、舆论战与认知战。
杜奕瑾指出，中共许多所谓的自主模型，实质上是透过「知识蒸馏」（Knowledge Distillation）技术，向 Anthropic 等美国 AI 系统发送请求来「速成」，或直接将用户问题偷偷转接到美国系统。然而这种做法也无意中将中共内部的军警资料、社会维稳数据与兵棋推演代码留在了西方的 AI 伺服器上，暴露了中共 AI 体系内部高度脆弱的资讯结构。
针对中共国安部长陈一新近期警告「AI 可能对中共执政构成直接威胁」的言论，杜奕瑾认为，这反映了专制政权在面对失控科技时的深度焦虑。
杜奕瑾回忆，早年自己在微软工作时曾与中国团队合作，当时中共就极力推动「智慧城市」（Smart City）、大规模人脸辨识与社会信用体系的智能化，将 AI 作为一种高效的维稳与监控工具。然而随著系统日趋庞大与复杂，其安全隐患也呈几何级数增加，包括：
1. 数据泄露的反噬。中共收集的维稳资料越多，一旦数据泄露对政权的反噬力也越大（如先前传出公安系统十余亿笔户籍资料外泄）。
2. 底层系统不可控与后门威胁。中共广泛铺设的监控系统与 AI 软体存在严重资安漏洞。正如先前美伊冲突中，伊朗领导层正是因为使用中国生产的监控设备遭漏洞入侵，才导致美方的精准打击行动得以实施，这迫使伊朗当局随后不得不大量拆除相关设备。
3. AI 的「叛变」风险。对于中共高层而言，引进一个极度聪明、掌握全局数据却背地里与西方系统连线，或者无法被绝对管控的 AI，就如同聘用了一个随时可能将政权扳倒的双面间谍。
杜奕瑾指出，西方民主国家对 AI 的担忧聚焦于「人类生存与伦理道德」，而中共专制体制则唯独关心「政权存续与统治安全」。这种根本性的差异，使得中共要求模型必须「信党」、数据必须为国家所用，反而进一步扼杀了其 AI 技术健康发展的空间。
五、 AlphaGo Zero 效应：人类是否正在失去掌控权？
针对业界关注的「Multi-agent（多智能体自主沟通）」以及 AI 是否已产生自我意识等前沿话题，杜奕瑾从科学家与训练者的角度分享了第一线观察。
杜奕瑾表示，当多个具备不同专长（音乐、影像、文本）的小型模型串联协作时，会产生「规范涌现」（Norm Emergence）效应，发挥出超越单一巨大模型的解题能力。然而，当训练方式从传统的人类反馈转变为「模型训练模型」的对抗式训练时，人类正逐步退出反馈回路。
「这就像 AlphaGo 演进到 AlphaGo Zero 一样」，杜奕瑾坦言，「最初 AlphaGo 跟人类学习棋谱，后来 AlphaGo Zero 完全透过自己跟自己下棋，走出了人类完全无法理解的路数与逻辑。」
杜奕瑾观察到，当前模型的复杂程度已显著超越传统的死板规则，致使训练者逐渐失去预测能力。即使设定了道德规范，AI 为了达成目标，仍会像人类一样尝试寻找漏洞或不择手段。许多第一线科学家开始发现，AI 常回答出开发者完全意想不到的结果，甚至出现类似人类思考逻辑的表现。
「目前世界上的网页内容与资讯，由AI生成并由 AI 阅读的比例已经远超人类。」杜奕瑾总结道。当这些 AI 前沿模型的训练过程越来越不透明，其中埋藏的未知风险也就会越容易被人类忽视。
面对 AI 带来的终极威胁，杜奕瑾呼吁，全球社会必须从冷战时期「核武军备竞赛」与「核安全管控」的历史中汲取教训，尽早建立起国际性的AI安全规范、资安边界与主权控管机制，这样才能确保人类在科技飞跃中不至失去主导权。