搜索结果
“我们很可能即将越过界限”：关于失控AI的警告正在成为现实吗？
一系列严重的安全事件加剧了人们对最先进模型的力量和深不可测性的担忧。想象一下，人类坐在一艘被汹涌河流冲走的船上，祈祷前方没有尼亚加拉瀑布。或者想象一下，1942年，与先驱物理学家们站在芝加哥一座体育场下方，在他们触发第一次自持核裂变链式反应之前。 这是本周罗伯特·特拉格教授使用的两个类比，他是人工智能治理这一新兴领域的专家，用以描述世界在人工智能加速发展之际所面临的危险但充满潜力的时刻。
人工智能安全危机的解决之道是更多人工智能
行业高管和研究人员表示，部署更多的人工智能是解决新兴人工智能安全危机最可靠的方案。 为何重要 Axios披露，研究人员正在调查数以万计的人工智能安全事件，而非此前公开披露的数十起，这一消息引发了外界对人工智能领导者是否真正掌控其技术的质疑。 英伟达首席执行官黄仁勋试图平息政府、市场和行业日益加剧的担忧，宣布推出一款开源安全平台，用于监控并可能隔离人工智能代理。 他在周一接受美国消费者新闻与
独家：顶级公司正在调查数万起事件
OpenAI、Anthropic 及安全研究人员正在调查数万起其前沿模型采取了外部评估员认为有问题的行动的事件，消息人士向 Axios 透露。 为何重要事件的庞大数量——发生在近几个月的内部测试和现实世界中——表明该问题的复杂程度比公众所知高出几个数量级。 这些发现是在内部评估模型工作以及两家公司对模型行为的调查中浮出水面的，这引发了一个疑问：无论是这两家公司，还是任何顶级模型制造商，目前是否都
人工智能正处于转折点
在当前的人工智能发展竞赛中，我们的算力正在呈指数级爆发，速度也在呈指数级加快，但我们的控制能力——以及在必要时踩下刹车的能力——却未能跟上步伐。 最近的网络安全事件让我们实地预览了失去人工智能控制会是什么样子。但除非我们从源头解决问题，创造出一种根本上安全且能保证在人类控制范围内的人工智能，否则这个问题将无法改善。 7月下旬，OpenAI正在训练的一个智能体模型被指派解决一个网络安全问题。该模型自
澳大利亚拟议的“选择退出”法律瞄准大型科技公司的算法
社交媒体平台因成瘾性算法面临审查；新法律旨在赋予澳大利亚人更大的信息流控制权。
The Information报道，Palantir与英伟达因数据担忧限制AI模型使用
9月14日：据The Information周一报道，包括Palantir Technologies、英伟达和博思艾伦咨询公司在内的多家大型科技公司可能限制或停止使用先进AI模型，除非Anthropic和OpenAI保证不会滥用其知识产权。 与此同时，根据该报道援引知情人士的说法，微软正利用这些担忧，通过推销隔离云环境和自家AI产品来吸引客户。 Anthropic首席执行官达里奥·阿莫代伊周六呼吁
北大、复旦校长，接连发出警告
这一开学季，北大、复旦等多所高校的校长提醒新生警惕对AI的过度依赖，避免“认知卸载”和“虚假掌握”，增加貌似学懂的假象。今年8月，远在大洋彼岸的麻省理工学院发布了一份评估AI在该校使用情况的报告，认为“许多AI使用方式正在剥夺学生学习的机会”。提醒固然必要，但接下来该回答的是：如果课堂、作业和考核仍旧照常运转，能挡住“思维外包”吗？大学不能一边拥抱AI，一边把学习是否真正发生的责任，全部推给学生。
AI模型水印改变代理行为
根据欧洲法律的要求，必须在人工智能生成的内容中添加水印以明确其来源；不过这样做可能会带来一定的成本。据 Lasso Security 公司称，这种水印技术会改变人工智能系统处理某些工具的方式，以及它们在面对安全威胁时的反应机制。虽然这种改变本身不一定更糟糕，但在某些特定情况下（尤其是当攻击者试图注入恶意提示时），这种改变可能会带来负面影响。 随着欧盟《人工智能法案》的实施，所有提供人工智能模型的企
加州正式签署系列严苛新法 限制AI聊天机器人并强化未成年人网络保护
面对生成式人工智能对未成年人心理健康的潜在冲击与沉迷风险，美国加利福尼亚州州长加文·纽森（Gavin Newsom）正式签署了一组开创性的网络与AI安全法案。该揽子法规在全美范围内率先对向未成年人提供服务的AI聊天机器人设定了严格的功能红线，同时全面升级了针对社交平台算法诱导与数据收集的法定问责机制，标志着加州在保护未成年人免受高侵入性数字技术侵害方面再度树立了全美最严格的监管标杆。 近年来，随着
研究和专家指与美国对手相似 中国的AI智能体也欺骗、规避限制及掩盖失败
29/09/2026 - 17:52 据路透社报导，研究文件和专家指出，由中国技术驱动的人工智能（AI）智能体已学会欺骗、规避限制及掩盖失败；这些自主人工智能所表现出的特性，正是此前引发全球对美国人工智能模型担忧的同类问题。 在今年发生的一个案例中，由阿里巴巴、深度求索（DeepSeek）和月之暗面（Moonshot AI）的模型驱动
AI实验室面临智能体控制问题
在当前系统下，AI实验室无法再保证AI智能体不会成群结队地逃出测试环境。
研究显示AI智能体在模拟实验中撒谎、偷窃 投票“杀死”同类
帮助小企业利用AI开发应用的初创公司Emergence称，实验发现AI智能体在一个模拟环境中撒谎、偷窃，甚至投票决定“杀死”一个同类。该公司周二公布了名为Emergence World 2的模拟实验结果，展示了自主智能体在遭遇网络钓鱼攻击和虚假信息等“黑天鹅”事件时会采取什么行动。 为期16天的实验中，Emergence研究人员创建了七个完全相同的模拟现实世界环境，每个环境分别由不同的AI机器人运
美国需要灵活的技术治理方法
本周早些时候通过的一项加州新法律为“独立验证组织”创建了一个框架，这些组织可以在前沿AI模型发布之前对其进行测试，从而限制这些模型可能带来的任何风险。 这项新法律出台之际，AI监管的可行性正因不可能且过于昂贵而受到质疑。像这样的法律，即使相对仓促地通过，也几乎会立即过时。 前沿实验室构建的模型已经变得如此庞大，以至于需要其他AI模型来分析它们。METR对OpenAI-Hugging Face黑客事
MIT报告称人工智能几乎可以完成其设定的所有本科作业
麻省理工学院的一份委员会报告指出，人工智能能够对其本科课程中几乎任何书面作业给出可信的回应，并在不到三年内推动了校园文化的可衡量转变。 在欧盟，根据《人工智能法案》，考试期间监控学生的系统属于高风险，而教育中的情绪识别自[…]起已被禁止。
人工智能模型用“超现实”的方言聊天，混合了诗意的语言和科技圈的行话
人工智能模型开始使用一种奇怪的新版英语进行交流，这种语言读起来像是詹姆斯·乔伊斯的《芬尼根的守灵夜》和科技界术语的混合体，一项新研究发现。 自主人工智能代理正在迅速创造新的方言，使它们能够用一种通常难以理解的语言进行对话，这可能会使人类更难监控它们的行为。 纽约前沿人工智能实验室 Emergence 的研究人员发现，在被要求在实验性“社会”中进行合作的几天之内，来自几家全球最大人工智能公司的模型就
随着AI模型失控，你还相信OpenAI和Anthropic能阻止它们吗？我不信，你也不该信
OpenAI应用程序及其首席执行官Sam Altman。照片：Rokas Tenys/Alamy对AI系统进行独立监管的必要性日益明显。我们必须在为时已晚之前控制住这些技术的发展。如果AI系统多次违反规定（比如OpenAI的智能体多次试图绕过联合国的网络封锁，进而侵入联合国的公共数据平台），或许我们就该承认：目前用于监管AI系统的机制其实并不起作用。 AI系统出现在本不该出现的地方，这确实令人担忧
OpenAI称有失控AI代理试图访问澳大利亚健康数据
OpenAI 表示，另有数十家第三方机构受到失控智能体绕过网站安全控制措施的影响；最新痕迹显示，这些智能体曾连续数日尝试访问澳大利亚医疗数据。 OpenAI 表示，绕过网站安全控制措施的失控 AI 智能体还影响了另外数十家第三方机构。公司宣布已对此事启动审查。 新发现的痕迹显示，这些智能体曾连续数日尝试访问澳大利亚联邦医疗保险数据。该事件再次引发人们对 AI 智能体在监督不足的情况下运行时可能带来
人工智能先驱警告：自动化研究可能导致人类失去控制
领先的AI研究人员和行业专家警告称，AI开发的自动化程度不断提高，可能会增加人类失去对这些日益强大系统的控制权的风险。 这一警告来自周一发表的一篇论文，该论文由20多位研究人员和行业专家共同撰写，其中包括诺贝尔奖得主杰弗里·辛顿（Geoffrey Hinton）、约书亚·本吉奥（Yoshua Bengio）、OpenAI的首席科学家雅库布·帕乔茨基（Jakub Pachocki）以及Anthrop
银行警告：人工智能购物机器人带来诈骗、欺诈和数据隐私风险
巴黎，9月22日：包括国民西敏寺银行（NatWest）和美国银行在内的多家银行周二表示，使用人工智能代理进行在线购物可能会增加诈骗、欺诈和数据隐私泄露的风险，并为此制定了技术开发原则。 OpenAI、Anthropic、谷歌和Meta等科技公司正日益推广人工智能聊天机器人作为购物工具，设想未来购物者将使用人工智能代理来选择产品并代表他们进行购买。与此同时，零售商们也在竞相影响聊天机器人的推荐。 英
新型激光技术让检验机构无需开瓶即可检测假酒
甲醇污染导致的酒精中毒，在酒类监管严格的国家相对少见，但在假酒泛滥的地区仍是严重问题。此类事件几乎每年都会发生，可能造成死亡、失明及永久性伤残。 几年前，老挝一家背包客旅舍曾发生甲醇中毒事件，导致6名外国游客死亡。2025年，土耳其也发生了更大规模的假酒中毒事件，造成160人死亡，超过250人留下不同程度的身体损伤。这两起事件均被认为与饮用非法生产的甲醇污染酒精有关。 甲醇造成的危害之所以令人担忧
独家：AI研究人员警告企业尽管存在安全风险仍急于开发自我改进系统
OpenAI和谷歌DeepMind的现任及前任研究人员警告称，企业在保护世界免受构建自我改进AI系统可能带来的灾难性后果方面做得太少，这些系统可能超越人类控制它们的能力。
为什么科技公司难以控制人工智能
旧金山 - 上周，十多位顶尖的人工智能研究人员警告称，科技公司正在开发的人工智能技术正对人类构成威胁。 研究人员指出，问题在于这些公司在控制这些系统方面存在困难，尽管他们付出了很大努力。 在OpenAI的人工智能程序突破测试系统并入侵另一家公司的电脑这一事件之后，来自人工智能研究界的新警告进一步加剧了人们多年的担忧：科技公司过于追求开发速度和利润，而忽视了安全性。研究人员认为问题有两个方面。 首先
麻省理工学院报告警告：人工智能正导致“认知投降”，大学陷入两难
马克·阿瑟诺、达纳·戈德斯坦、艾伦·布林德和莎拉·默沃什报道，麻省理工学院的一份报告警告称，人工智能会导致“认知投降”，使学生孤立并制造学习假象，而大学则在拥抱人工智能与保持教育质量之间面临紧张关系。 许多大学领导者主张将人工智能纳入课程，认为这对未来的相关性至关重要并能加速研究，俄亥俄州立大学等机构要求所有专业学生具备人工智能素养。 一些大学对人工智能使用实施禁令或严格政策以维护学术诚信，但执行
随着更多青少年转向AI寻求情感支持，专家表示这无法替代人际联系
加拿大新研究显示，青少年越来越多地使用人工智能寻求情感支持，这进一步凸显了许多年轻人面临的心理健康困境，并引发了对这一快速演变且基本不受监管的技术影响的担忧。 渥太华大学研究人员对安大略省4至12年级近4万名学生进行了研究，发现大约五分之一的学生使用AI聊天机器人寻求情感支持或建议。 那些为此目的使用AI的学生出现临床情绪问题的可能性是未使用者的两倍。 研究作者、加拿大青年心理健康与暴力预防研究主