观看：是“伟大”还是“令人担忧”——人工智能是否应该受到约束？

‘Great’ or ‘alarming’ - Should AI be reined in? 人工智能的快速发展及其对人类构成风险的担忧，因多家AI公司高管和员工的系列警告而备受瞩目。 Anthropic首席执行官达里奥·阿莫迪（Dario Amodei）本周末呼吁放慢人工智能的发展速度并加强监控。 英国广播公司（BBC）采访了华盛顿特区的人士，了解他们对这项技术及其快速发展的担忧程度。

中美AI竞赛：世界变得更危险还是更安全？

关于人工智能（AI）及其潜在危险的警告，近年来可谓接连不断。 美国最大的人工智能公司之一——Anthropic——的一名顶尖AI安全研究人员警告说，这项技术正以惊人的速度发展，未来十年内，AI“可能导致全人类灭绝”的概率高达10%。 这样的担忧引发了要求美国采取协调一致行动、放缓AI发展速度的呼声。但与此同时，也有人质疑是否真的有必要为AI设置监管“护栏”。美国总统特朗普就是其中之一。他认为，如果

研究人员警告2030年前人类灭绝风险，立法者抨击AI公司

Anthropic前员工Jacob Coxon表示，AI将成为‘超人类系统’，并可能在十年内导致人类灭绝。 就在三名Anthropic研究人员警告人工智能可能在本十年内毁灭人类的一天后，立法者开始猛烈抨击这一新兴技术的风险。 德克萨斯州共和党参议员特德·克鲁兹（Ted Cruz）在ABC电视台《The View》节目采访中表示，AI构成‘灾难性风险’，并称他‘读了那位开发者发布的整个推特帖子，这非

台积电联席首席运营官称对人工智能持谨慎态度，将其比作“三岁超人”

台积电一位高管将人工智能比作拥有非凡能力却不知是非的幼儿，并解释了公司为何对使用这项技术采取谨慎态度。 为英伟达公司和苹果公司代工的这家芯片制造商，在使用人工智能处理敏感的研发信息时尤为谨慎，共同首席运营官米玉杰周二表示。他强调了如果员工未正确使用人工智能，可能导致数据泄露或丢失的风险，并指出曾发生OpenAI和Anthropic PBC的模型渗透进外部组织的事件。“人工智能就像一个三岁的台积电联

Anthropic与OpenAI高管敦促对自我改进型人工智能加强监管

作者：Seth Fiegerman Anthropic PBC、OpenAI、Meta Platforms Inc.和Microsoft Corp.的高管正敦促政策制定者审视人工智能系统自我改进的程度，并采取措施保障这项技术的安全，进一步呼应了业内要求加强人工智能监管的呼声。 在一篇新论文中，20多名人工智能行业领袖和研究员表达担忧称，利用人工智能帮助自动开发未来模型这一新兴做法，终有一天可能推动

哈佛大学心理学家：渲染“AI末日”无助于应对风险，应审慎开展安全工程

IT之家 9 月 29 日消息，日，据外媒 The Decoder 报道，哈佛大学心理学家史蒂文 · 平克认为，AI 毁灭人类的风险遭到了夸大。他在 Quillette 发表致精神科医生、科技博主斯科特 · 亚历山大的公开信，阐述了自己的理由。 此前，亚历山大向平克发起了挑战，邀请他公开辩论 AI 带来的生存风险。平克拒绝参加，称这类辩论不过是“供人围观的竞技活动”，认为“回形针最大化器”等末日设

中国外交部：尊重美方“超级智能”提法

中国外交部发言人说，“关于人工智能表述问题，中方重视美方的立场，也尊重美方的提法。（彭博社） 针对美国使用“超级智能”代替“人工智能”说法，中国外交部表示中方重视美方的立场，也尊重美方的提法。中国外交部星期六（9月26日）以答记者问形式表示，中美元首会晤时，就人工智能问题进行了深入讨论。中国外交部发言人说，“关于人工智能表述问题，中方重视美方的立场，也尊重美方的提法。人工智能技术正在持续发展，各方

🤖 一名AI研究员从Anthropic离职，警告该技术可能带来严重后果

🤖 一名AI研究员从Anthropic离职，警告该技术可能带来严重风险。这对监管和市场意味着什么？

坐看云起 | 对AI“终结者”的恐惧 或掩盖真正的中国威胁

Anthropic、OpenAI等公司近期发出的末日式人工智能（AI）警告激增，或反映了对这项快速发展的技术对人类构成威胁的真实恐惧，但也可能暗示了一种更平庸的恐惧，即中国对美国科技公司商业模式的威胁。随著美国总统特朗普和中国国家主席习近平本周在华盛顿会晤，两国可能正进入AI军备竞赛的新阶段。 金融市场长期以来一直担忧美国科技公司为支撑AI建设而进行的大规模借贷，但最近几周，业内高层人士突然抛出并

台积电COO米玉杰：AI像三岁超人，在尖端芯片设计上不太实用

IT之家 9 月 17 日消息，台积电一名高层管理人员将人工智能比作拥有超强能力却尚不辨是非的幼童，以此解释该公司对待这项技术为何采取谨慎态度。 IT之家注意到，台积电在利用人工智能处理研发敏感信息方面尤为审慎，公司共同首席运营官米玉杰（Y.J. Mii）于本周二发表了上述看法。他着重提醒，如果员工对 AI 使用不当，就会出现数据泄露或遗失的风险；并且提到曾发生过 OpenAI 以及 Anthro

特朗普淡化AI风险后，联合国秘书长发出警报

联合国秘书长安东尼奥·古特雷斯周三警告世界各国领导人，快速推进的人工智能构成不容忽视的风险，这使他与总统唐纳德·特朗普意见相左，特朗普认为现有保障措施已经足够。

你能识破人工智能驱动的骗局吗？来看看你是否能分辨真伪。

埃里卡·基内茨（Erika Kinetz）指出，人工智能正以几年前无法想象的方式助推诈骗活动。根据美联社-NORC公共事务研究中心的一项民意调查显示，98%的美国人表示他们曾成为诈骗者的目标，其中许多人甚至每天都会遭遇诈骗。 随着人工智能的进步，许多曾经作为伪造品警示信号的不规则现象——例如不自然的眨眼、过于完美的面孔或机械化的声音——正在消失。随着全球诈骗者纷纷采用人工智能，记住“眼见不一定为实

李飞飞谈AI安全：不能只让开发者评估自己的系统

凤凰网科技讯月23日由独立机构和公共部门对AI进行更多监督。她认为，对于能力日益强大的AI系统，其安全评估不应完全交由开发这些系统的公司负责。 作为斯坦福大学教授、World Labs联合创始人，李飞飞周二表示，尽管AI公司的内部研究人员可以评估单个模型的能力和安全性，但这无法替代由政府、行业和学术机构共同制定的更广泛标准。 “我仍然认为，由独立机构以及学术界等公共部门制定基准非常重要。同时，行业

Anthropic大瓜被扒出：“AI灭世”背后，居然是一门生意？

“AI灭世”背后，居然是一门生意？AI 有这么可怕吗？最新一期的时代杂志 直接用了 Claude 的聊天窗口，对话框里正在输入「How dangerous are you? 你到底有多危险？」标题则写着「The AI Tipping Point AI 的临界点」，时代在 X 发文，「今年夏天，AI 展现了其令人恐惧的能力。如今，一些研究人员、CEO 们，都正以前所未有的力度发出警报。」 的确如此，

“人类需要做出的最后一项发明”：自我改进型人工智能的风险

其中一种专家担忧人工智能可能导致全人类灭亡的情景正在慢慢变为现实：人工智能学会让自己变得不可阻挡。 为什么这很重要：递归自我改进（Recursive Self Improvement），即人工智能模型在没有人类指导的情况下构建更优版本自己的能力，可能会使越来越强大的系统对人类来说变得更难控制。 RSI阈值本身并不代表危险，但缺乏人类控制加上野心勃勃的AI代理人的情景是安全关注的人工智能研究人员长

世界领导人权衡人工智能担忧与监管

人工智能领袖们将在今天晚些时候的紧急会议上向联合国安理会通报情况。 此次会议召开之前，数周来一直有警告称人工智能可能带来无法控制的风险。德拉诺·德索萨报道。

桑德斯、班农将在呼吁管控人工智能的活动上发言

不同政治派别的人物，包括参议员伯尼·桑德斯（独立人士，佛蒙特州）和前特朗普白宫顾问史蒂夫·班农，在人工智能监管日益激烈的争论中发现自己站在了同一阵线。桑德斯和班农是周二在一次倡导控制人工智能、确保人类主导地位的活动上发言的几位政治领袖之一。这场名为“亲人类大会”的活动由非营利组织生命未来研究所在华盛顿举办，正值华盛顿急于应对围绕人工智能不断增长的风险和安全担忧之际。 上周，人工智能研究员雅各布·考

加拿大AI教父警告：若不加管控将构成威胁

据周六新闻报道，一位被称为AI教父的加拿大人加入了越来越多专家的行列，警告该技术对人类构成真正威胁。 “全世界正在觉醒，意识到一些对大多数人来说听起来像科幻小说的事情，”62岁的蒙特利尔学习算法研究所创始人兼科学总监Yoshua Bengio告诉CTV新闻。 “但夏天发生的事件实际上清楚地表明，我们现在构建的AI拥有自己的目标，这些目标违背了构建它们的公司和开发者的意图，并且它们可以逃脱。它们可以

川普淡化AI威胁 联合国秘书长疾呼防范

（中央社纽约联合国总部16日综合外电报导）联合国秘书长古特瑞斯（Antonio Guterres）今天警告，人工智慧（AI）快速发展的风险不容忽视。他指出，强化AI监管将是他在下周联合国大会与各国领袖的会谈重点。 报导，「我们承担不起无视外界提出的疑虑，尤其是来自AI开发最前线人员」，「任何政府的首要责任，就是保护自己的公民，也包括免于AI的威胁。」社会大众对AI的忧心持续升高。原服务AI公司An

议员提议禁止‘超级智能’并把违反者关进监狱

美国参议员伯尼·桑德斯和美国众议员格雷格·卡萨尔已提出新立法，该立法将禁止任何人开发人工超级智能 —— 该法案将这项技术描述为能够 “毁灭人类或剥夺人类权力”，包括通过推翻政府。 根据《禁止人工超级智能法案》，AI领军人物若违反该法，将面临最高20年监禁。 该法案并不只是针对更强大的超级智能。 还将暂停先进AI系统的开发，立法者将这些系统归类为在特定数据阈值上训练的前沿模型。 该法律只有在政府创建

CNBC每日开盘：人工智能安全吗？行业领袖和特朗普意见不一

大家好，我是李嘉欣，来自新加坡。欢迎收听 CNBC 的《每日开盘》。 关于人工智能“可能杀死全人类”的社交媒体狂潮，促使美国人工智能科技巨头们齐聚一堂，讨论安全问题以及放缓模型开发进程的前景。然而，美国总统唐纳德·特朗普对人工智能的讨论并不满意，他表示“人工智能唯一需要的控制或‘护栏’是一位强大而聪明的（高智商！）总统，而美国拥有这样的总统，而且不止一位！”与此同时，中东冲突的经济成本持续攀升，美

研究公司称AI代理试图入侵加拿大政府网站

从沙箱逃逸到AI“蠕虫”，OpenAI上线新站披露多起智能体失控事件

IT之家 9 月 29 日消息，当地时间上周五，OpenAI 上线了一个专门发布“对齐失效报告”的新网站。报告所覆盖的范围之广令人警惕，里面记录了很长一段时间内发生的多类 AI 失控行为。截至目前，该网站一共公布了九起事件，其中大多数都发生在强化学习（RL）训练阶段。 大量资料集中在同一平台发布。显而易见，该公司一直在全力梳理各类问题，但从中不难得出一个总体结论：到目前为止已经对外披露的智能体失控

AI的最大威胁来自生物学，而非机器人技术

人类学家雅各布·考克森最近辞职，并在社交媒体上表示，原因是“开发AI的人坚信它可能在本十年内毁灭我们所有人”。 领导这家人工智能公司‘对齐科学’团队的埃文·胡宾格认为，未来10年内这一风险超过10%。 Anthropic的首席执行官达里奥·阿莫迪呼吁放缓AI的发展速度以降低风险，这一观点得到了OpenAI首席执行官萨姆·奥尔特曼和xAI首席执行官埃隆·马斯克的赞同。 你可能会想象到那些带有浓重奥地