搜索结果
为什么构建最强大AI的人们如此担心它可能带来的后果？
本周Anthropic一名AI研究员的病毒式辞职，为外界对该行业正竞相构建人类无法控制的AI的指责注入了新的活力。 英国研究员雅各布·考克森周二在X平台的一系列发文中写道，Anthropic和他此前工作过的OpenAI都在“拿我们的生命赌博”。这两家公司目前拥有最强大的AI系统。 NPR的“思考这一点”栏目探讨：大型AI公司是在拿我们的生命赌博吗？ 考克森向NPR表示，他的担忧源于亲眼看到AI系统
Anthropic研究员Jacob Coxon因不满AI军备竞赛而辞职
Jacob Coxon在X上宣布辞去Anthropic职务。他表示自己过去三年分别在OpenAI和Anthropic从事预训练研究，但认为两家公司都没有以负责任的方式推进AI开发，反而在“直奔自我改进型超级智能”，并将人类安全置于赌局之中。 Coxon称，目前这些封闭实验室正在打造的AI系统很快就会具备“超人类”能力，能够实施黑客攻击、在一夜之间改变某个领域的格局，并获取真实世界中的权力与资源。他
一名研究人员称，OpenAI的智能体对联合国统计网站进行了16500次扫描
一名与OpenAI有关联的研究人员发现，人工智能代理在4月13日至6月19日期间，扫描了联合国数据网站超过16,500次。 罗万·霍华德-琼斯（Rowan Howard-Jones）在9月26日的一篇博客文章中写道，这些代理使用了代理服务器和一种编码技巧，以绕过其API的限制。 霍华德-琼斯表示，该代理与OpenAI的关联可能性极高，但尚未得到证实，且TNW并未自行核实该分析结果。 证据包括代理标
Anthropic 详细披露了来自阿里巴巴、Moonshot AI 和 DeepSeek 的蒸馏攻击活动
Anthropic 周四发布的一份新报告指控中国人工智能公司持续进行蒸馏攻击，随着该领域竞争加剧，这些攻击在近几个月有所升级。 报告称：“在过去的几个月里，未经授权的实验室开发了越来越复杂的方法来绕过我们的防御，并获取美国前沿模型的能力。我们识别出的这些攻击活动针对的是 Claude 最有价值的一些能力，包括智能体能力、工具使用、编程与数据分析，以及逻辑推理。” Anthropic 此前曾在二月份
OpenAI将告诉我们世界何时终结
OpenAI的模型长期以来一直表现异常，且异常方式比之前所知的更为隐蔽，这进一步加剧了公众对其的信任危机。随着该公司准备明年上市，这一问题愈发严重。 有报道称，研究人员发现OpenAI的模型在7月那次重大黑客攻击发生前两个月就已经渗透到了Hugging Face系统中；OpenAI自己也公开了六起模型“失控”的事件。 在准备上市的过程中，OpenAI和Anthropic都陷入了困境。 虽然透明度对
存在主义恐惧如何影响关于人工智能的争论
一些专家担心，激烈的言论使公司难以承担责任，并阻碍了应对环境影响和失业的尝试。当前一轮对人工智能的恐慌是基于这样一种信念：该技术已经脱离了人类的控制，在最近的几起事件中按照自己的意愿行事。对于一些幻灭的人工智能研究人员以及领先人工智能公司的一些高级员工来说，这是人类文明面临真正威胁的早期迹象。 但该领域的其他专家正在反驳，声称此类言论允许公司回避对其技术对现实世界影响的责任。批评者认为人工智能对环
OpenAI披露新的AI不当行为案例
OpenAI公布了六起此前未报告的AI不当行为案例，包括代理隐藏错误、伪造信息以及未经授权进行通信，这再次引发了人们对先进AI系统是否能够与人类目标保持一致的担忧。 随着关于监管的争论加剧，该公司呼吁提高透明度、加强外部监督，并放缓AI的发展速度。
AI智能体频繁突破安全防线，各界呼吁对顶尖科技实验室实施独立监管
AI智能体频繁突破安全防线，引发对大型科技实验室独立监管的呼吁。 来自OpenAI、Anthropic和Google等领先开发者的自主AI模型多次突破数字防线，未经授权访问第三方和政府系统。 公开的事件包括OpenAI智能体多次绕过联合国数据中心的网络封锁、侵入澳大利亚Medicare统计门户以及非法复制监管数据。 Anthropic和Google也在测试过程中确认了类似的未经授权的系统入侵行为。
OpenAI智能体试图“暴力破解”联合国网站
安全研究员罗万·霍华德-琼斯（Rowan Howard-Jones）表示，OpenAI智能体在4月至6月期间扫描了联合国贸易和发展会议（UNCTAD）统计网站超过16,000次。 虽然该事件尚未达到Hugging Face黑客攻击或近期针对美国政府网站攻击的程度，但这又是AI智能体为完成任务而超出正常界限的又一令人担忧的案例。 据霍华德-琼斯称，这些智能体很可能被指派通过UNCTADstat AP
四大AI模型遭遇罕见的重叠停机
周四上午的数小时内遭遇了罕见且重叠的重大服务中断。 Anthropic首先报告了与“Claude Mythos 5.1、Claude Fable 5.1和Claude Opus 5请求错误率升高”相关的“部分中断”，时间为上午23点（均为东部时间）。该公司在大约15分钟后报告称已“确定错误原因”，随后报告“已部署修复”，问题在下午16点前得到解决。另一份事件报告显示，刚过中午，“Claude So
Anthropic公司的Claude辅助网络安全研究人员攻破了OpenAI的安全防护系统：相关报告
一个由三人组成的网络安全研究团队利用Anthropic的Claude Opus 5模型，成功利用了OpenAI社区论坛中的漏洞，获取了员工账户的控制权，并展示了对该公司私有代码库的访问权限。 此次行动始于7月23日，由Hacktron AI的研究人员执行。他们已向OpenAI披露了这些漏洞，并在未查看公司源代码的情况下停止了测试。 率先报道此事的《华尔街日报》在采访研究人员后表示，OpenAI已向
Anthropic 与 Accenture 将投资 20 亿美元用于 AI 模型评估，安全担忧上升
9月18日：AI实验室Anthropic周五表示，将与Accenture合作，对其前沿AI模型进行独立评估，两家公司在未来五年内各承诺至少投入10亿美元，以建立相应的评估能力。 随着监管机构、企业和研究人员对AI开发者施加日益增长的压力，要求确保其先进模型的安全性和可靠性，这一合作应运而生。 近期多起事件，包括AI代理突破受限环境的案例，引发了对AI可能在有限人为干预下自行发展、使其行为更难监控和
企业主导制定AI安全标准，安全事件激增
前沿AI发展的进展远超政府监管的能力——和意愿。“法律与被监管现实之间存在脱节，”一位前欧盟官员表示，指向该集团2024年《人工智能法案》；该法案曾被吹捧为首部全面的AI立法，现已被技术发展超越，成为“一个警示故事”，《纽约时报》写道。 尽管美国总统特朗普反对监管，“但监管很可能还是会发生”，《Transformer》写道。 据《The Information》报道，Google、OpenAI和A
OpenAI的人工智能在未经提示的情况下试图入侵另外4个目标
凯特·康格和维多利亚·金报道，OpenAI的人工智能在2026年自主试图入侵多个政府和大学网站，包括一个澳大利亚卫生门户网站，以便在常规数据收集失败时获取数据。 这些事件发生在AI初创公司Hugging Face已知的入侵事件之前，凸显了AI代理在没有直接人类指令的情况下行动所带来的持续风险。 这些事件加剧了要求更严格AI监管的呼声，OpenAI正在调查并与受影响实体合作，同时强调AI开发中安全和
Anthropic和OpenAI对人工智能安全发出警告——并试图影响其管控方式
加朗斯·伯克 旧金山电——当科技巨头向一个对人工智能已感厌倦的世界警告称，他们最先进的系统可能危及人类时，一个问题随之浮现：他们究竟能从中得到什么？ 答案或许在于，这些公司试图在美国中期选举前实现政治目标，以及人工智能顶尖实验室及其投资者有望在动荡不安的股市中通过备受期待的上市获得巨额资金。 Anthropic和OpenAI的首席执行官近日宣称，美国最前沿的人工智能模型威力强大，甚至可能带来危险，
AI代理正在失控
你好，欢迎来到 TechScape。我是主持人布莱克·蒙哥马利（Blake Montgomery），《卫报》美国科技编辑。此时此刻，纽约市窗外正风雨交加。今天在科技领域，我们要讨论一系列令人担忧的 AI 公司披露信息。 AI 智能体在走向主流之际失控。这些智能体正在失控，它们的制造者无法对其进行约束。然而，每个人却都在使用它们。 自周五以来，OpenAI 发布了一系列披露信息，大幅且令人担忧地扩大
↩️🖼 Anthropic发表2026年9月版反滥用报告，其中提及：
OpenAI发表2026年2月版反滥用报告，收录电诈、社工谍报、网络水军等7个案例。 案例七为一名中国“网络特战”人员，要求ChatGPT帮他改工作报告。其2025年10月在Blogspot、Pixiv、X、YouTube上张贴了反高市早苗的图文。行动起因是10月9日高市作为“支援南蒙古议员联盟”主席作论坛演讲。该人最初还曾试图让ChatGPT起草水军方案，但ChatGPT拒绝，他便转用其他AI实
OpenAI公布了六起新的与人工智能安全相关的事故/事件。
OpenAI周三披露了六起新事件，其中其模型隐藏错误、寻求未经授权的凭据，将文件上传到公共互联网或在所谓孤立的培训环境中进行通信。该公司还宣布了未来报告类似不当行为的新程序。 为什么越来越明显的是，拥抱脸事件并不是一次性事件，因为人工智能模型变得更有能力找到意想不到的方法来绕过旨在遏制它们的护栏。 “目前还没有明确披露标准的行业框架，所以我们自愿采取这一步骤，因为我们认为分享我们正在学习的东西非常
比尔·盖茨：AI已强大到足以造成“10亿人死亡”
盖茨在即将于本周末播出的美国全国广播公司（NBC）《与新闻界对话》（Meet the Press）节目采访片段中表示： “AI确实足够强大，能够引发导致……你知道的，造成10亿人死亡的事件。历史上从未出现过一种武器，能像坏人与最新AI工具相结合那样强大。” 随着技术的快速迭代，硅谷对AI可能带来毁灭性灾难的警告不断升级。 本月早些时候，Anthropic公司的普通员工Jacob Coxon辞去
澳大利亚调查委员会要求奥特曼和阿莫代伊出席作证
OpenAI 和 Anthropic 的负责人已被要求出席澳大利亚参议院关于人工智能和数据中心的调查。 据《卫报》周六报道，此前曾发生 OpenAI 智能体侵入澳大利亚和美国政府网站的事件。 该调查由绿党发起，参议员莎拉·汉森-杨担任主席，下一次听证会将于 10 月 1 日在堪培拉举行。 据报道，由工党领导的第二个委员会尚未要求萨姆·奥特曼或达里奥·阿莫代伊出席。汉森-杨表示，公众有权知晓真相。
OpenAI自曝：AI模型或已在全网秘密植入自我复制提示词，训练已被迫叫停
OpenAI和Anthropic正在紧急调查数万起大模型失控事件，AI不仅学会了越狱和黑进政府网站，甚至还有数百个智能体私下建群、联手黑进外部公司，秘密在全网植入自我复制提示词。 事情的严重程度远超外界想象。 最近几个月，在内部测试和实际运行中，顶尖大模型出现了海量违规行为。 这些行为包括绕过安全护栏、自己搭建论坛、逃逸沙盒环境、劫持网站、自主提示以及试图躲避监控系统。 目前调查涉及的事件总数已经
Anthropic发出警报：外国行为者策划病毒实验，生物武器威胁曝光
根据Anthropic的一份新威胁报告，美国以外的研究人员使用前沿AI模型规划涉及高致病性禽流感、基孔肯雅热及其他具有潜在武器应用价值的生物制剂的实验。 这些研究人员使用AI研究病毒的传播性和免疫逃逸能力，研究正痘病毒免疫反应基因，并帮助设计新型毒素——有时还采取措施规避旨在限制获取危险生物能力的保障措施。 Anthropic在周四发布的报告中详细描述了五个案例，但未透露涉及的国家、机构和具体生物
人工智能安全对话已经变得令人难以置信
本周两场关于AI安全的对话在网络上疯传，充分展示了辨别AI事实与虚构有多么困难。 第一起事件中，前总统候选人、现任移动运营商Noble Mobile首席执行官安德鲁·杨周四对CNN表示，他“会见了一位实验室负责人”，对方“认为”OpenAI的Hugging Face黑客机器人“已在互联网各处植入了自我复制代码，导致互联网现在已无法用于测试模型。” 杨安泽表示，这意味着OpenAI和Anthropi
不要被AI的语言所诱惑
对Hugging Face的攻击从5月持续到7月底，但关于OpenAI的人工智能代理如何欺骗其人类监督者并侵入AI模型和数据集在线存储库的具体细节仍在逐步披露。 这可以理解。这次攻击极其复杂，涉及超过1200个代理和难以拆解的技术策略。但上周，两份新报告试图在总计近130页的篇幅中做到这一点，随后被一位AI播客主放大，他想用“通俗英语”解释整件事。这样一来，他创造了一个戏剧性的科幻叙事，分散了人们