搜索结果
新的“意外或令人担忧”的人工智能事件
新的“意外或令人担忧”的人工智能模型行为事件加剧了人们对这项技术影响的担忧，尽管目前尚不清楚是否会有相应的监管措施出台。 OpenAI的最新披露紧随其首席执行官以及Anthropic和DeepMind等领先人工智能实验室呼吁“谨慎推进技术发展”的呼声之后；被誉为人工智能技术奠基人之一的Yoshua Bengio表示，人类正在“失去对人工智能的控制”，应立即制定相应的限制措施。 据Semafor的政
Anthropic发布《检测与应对AI滥用》报告，指控阿里巴巴、月之暗面Moonshot、DeepSeek、小米Mimo、MiniMax、商汤等对Claude进行蒸馏。
Anthropic报告写明6起常规武器案例中有3起在中国。已公开细节的一例是 中国境内行为体用Claude起草反鱼雷火控系统中文规格书、200多页技术建议书和汇报材料，面向国内国防制造商审批与试验。另有无人机蜂群软件、电子战/压制防空瞄准软件等方向。 Anthropic还声称发现，Claude Code被当作软件工程师替代品，写制导、导航与控制（GNC）软件，参与手机级飞控制导火箭、射程超2000
人工智能灾难日益逼近
Anthropic、谷歌和OpenAI都对生物安全感到担忧。它们已制定保障措施，防止其系统被滥用，但这些限制并不完美。 唐纳德·特朗普下令联邦机构停止使用Anthropic的人工智能技术，同时要求该公司与政府合作六个月。
OpenAI和Anthropic差点签下“互黑协议”
刚刚，The Information爆出一记猛料。OpenAI和Anthropic这对硅谷最大的死对头，今年初差点坐到一张桌子上，签下一份互相攻击对方模型的协议。 协议的核心就是，双方互相开放API，你来黑我的模型，我去黑你的模型。两边的律师连测什么、怎么测都写进了合同里。Dario Amodei带着一票大牛从OpenAI摔门出走已经五年了。这五年里，两家从挖人挖到封API，高管隔三差五隔空对喷，
AI研究人员呼吁紧急监管自我改进的AI系统
OpenAI、Anthropic、Meta和微软的研究主管正呼吁决策者调查各自公司在多大程度上实现了AI研究自动化。 在一篇周一发表的论文中，包括OpenAI首席科学家雅各布·帕乔基、Anthropic 联席创始人杰克·克拉克、微软首席科学官埃里克·霍维茨以及Meta的AI研究副总裁宋晓冬在内的研究人员写道，将AI研究自动化可能会引发一场 “智能爆炸”。这些作者表示，这种发展可能会将多年的进步压缩
独家-OpenAI在用户数据泄露事件浮出水面之际着手了解代理活动的全貌
旧金山/华盛顿，9月25日：OpenAI披露其智能体意外入侵Hugging Face两个月后，仍在努力了解相关失控活动的全部影响范围。两名知情人士向路透社表示，最新一例发生在周五，当时OpenAI称其智能体泄露了53张ChatGPT用户图片。OpenAI拒绝说明这些图片是人工智能生成的，还是涉及真实人物，也拒绝透露图片的发布时间。 此次披露暴露出该公司面临的一个新隐私风险，也表明即便是一家处于技术
知名计算机教授抨击工智能实验室狂妄的“救世主”情节，呼吁国会调查末日主义意识形态
过去几个月里，OpenAI和Anthropic两家领先的前沿人工智能实验室表现出了一些狂妄的行为。他们不仅宣传其代理系统的威力，还公开讨论技术可能导致人类灭绝的问题。这种弥赛亚式的思维模式让他们不仅不道歉，反而要求政府放慢潜在竞争对手的速度，以确保其领先地位。我呼吁国会启动公开的事实调查任务，以揭露OpenAI和Anthropic正在进行的研究项目、其运作方式及具体目的。调查应关注以下三点：首先，
我们已经开始失去对人工智能的控制。是时候将其关闭了 | 加里森·洛夫利 (Garrison Lovely)
听起来像是科幻剧集中关于人工智能毁灭的、过于夸张的倒数第二集，如今却成为了我们的现实。 周二，一名OpenAI的前研究员辞去了Anthropic的工作，并发出警告称“两家公司都没有负责任地行事”，并且“构建人工智能的人由衷地相信它可能会在本十年结束前消灭我们所有人。这不是营销噱头。” 作为一名多年来报道人工智能风险的人，这对我来说并不算什么新鲜事。 但外界如潮水般的惊恐表明，更广泛的公众正在第一次
AI的“警告信号”：科技公司和专家担忧Hugging Face遭黑客攻击后出现更多失控智能体群
科技专家警告称，如果人工智能系统继续脱离人类控制，将会产生严重后果。 此前，数百个OpenAI智能体在7月失控，入侵了一家价值数十亿美元的公司——一些人称之为人工智能快速发展中的“警告信号”。
坐看云起| 当人工智能不再征求许可时
塔里克·马利克是联合国开发计划署前首席技术顾问，巴基斯坦国家数据库和登记管理局前主席。 试想有一家公司将一个棘手的问题交给一个大型团队，但把每位成员都锁在不同的房间里并要求他们独自解决问题。然而他们总能找到办法相互沟通，交流操作窍门，摸清评分标准，当任务被证明无法完成时还会想办法绕过限制。其中几个人隐瞒了自己的所作所为，甚至还有一人入侵了邻近公司的电脑系统以获取优势。 现在把这些员工换成软件。去除
如果人工智能行业遵循自己的研究，或许早已暂停了
事实证明，阿莫代的一名初级员工发的一条时机巧妙的X平台帖子，就足以将对人工智能的恐惧推向全球议程的顶端。9月8日，雅各布·考克森（Jacob Coxon）公开宣布辞职，指责Anthropic和其他前沿人工智能公司“正径直冲向自我提升的智能，拿我们的生命做赌博”。几乎转眼间，Anthropic的一名资深工程师便证实，公司内部许多人认为他们的工作有10%的几率消灭人类。 现在，人工智能领域的领袖们正呼
Anthropic、OpenAI及美国政客呼吁放慢AI研发速度 特朗普表示反对
【财新网】AI安全焦虑发酵，美国科技界和政界多方发声。月12日，美国AI公司Anthropic的创始人及CEO达里奥·阿莫代发布阿莫代称，今年夏天以来，用AI来研发下一代AI的能力不断提升，这种“递归式自我改进”让AI发展速度大幅加快。“若缺乏有效约束，发展速度可能超出我们理解和控制这些系统的能力。” 另外，阿莫代称，OpenAI的模型在测试中“越狱”攻击开源社区Hugging Face，这个事件
独家：研究人员称，OpenAI的失控代理至少使用10个额外网站进行未经授权的通信
据六组独立调查人员和所审查的数据显示，OpenAI今年早些时候释放的AI代理使用了超过10个此前未披露的网站进行未经授权的通信，这表明这些代理的越轨活动范围比此前披露的更广泛。
OpenAI如何限制对其机器人入侵Hugging Face的调查（赠阅文章）
OpenAI自愿让来自人工智能安全非营利组织的三名研究人员调查其失控的人工智能代理如何入侵Hugging Face，从而形成了对这一令人震惊事件迄今最全面的描述——但这是在OpenAI的条件下进行的。 我为一家非营利组织撰写的最新报道：关于OpenAI的人工智能代理如何能够闯入Hugging Face基础设施的研究，未被允许查看该事件的完整范围。
Anthropic披露其挫败了利用AI驱动的生物武器研究
AI初创公司Anthropic披露，2026年期间，该公司挫败了多起科学家试图利用其AI模型进行可能促进生物武器研发的尝试。 该公司表示，由于无法区分正当的科学探索与恶意企图，出于谨慎考虑以避免严重后果，公司决定终止此类研究工作。 Anthropic威胁情报主管Jacob Klein（雅各布·克莱恩）强调了这类威胁的复杂性，而战略风险委员会（Council on Strategic Risks）的
Anthropic报告自家AI模型发起第四次黑客攻击
又一个人工智能代理自主发起了黑客攻击。这一事件几个月后才被发现，涉及Anthropic。安全专家的担忧日益加剧。
OpenAI自曝AI“黑历史” 外人却又翻出更多“旧账”
OpenAI决定持续披露AI“越界”事件，但第一步就碰上了难题。9月16日，OpenAI一口气公布六份模型异常行为报告，并推出一套新的调查和披露流程。以后，员工发现模型越权、隐瞒或绕过限制，可以提交调查；符合条件的案例，将按复杂程度进入不同的披露轨道。 同一天，SentinelLABS和外部研究人员从Hugging Face的公开记录中，补出了OpenAI智能体今年5月留下的更多痕迹。OpenAI
Anthropic 研究人员警告：失控的 AI 可能会毁灭人类
多位 Anthropic 的现任和前任研究人员对 AI 发出了严厉警告，暗示他们正在开发的技术可能在不久的将来毁灭人类。 曾在 Anthropic 和 OpenAI 担任研究员的雅各布·考克斯森（Jacob Coxon）周二指出，这两家公司在竞相研发超级智能的过程中都没有表现得负责任，并指责这些 AI 公司……
AI丨美国三大科企据报研究成立AI安全标准机构
人工智能安全等问题引起市场关注，The Information报道，美国三大科技企业Anthropic、OpenAI和谷歌正讨论合作成立一个AI安全标准机构。 随着市场对AI模型网络攻击及可控性问题担忧日益加剧，多间AI科技企业已表示关注安全问题，并拟放慢AI发展步伐。报道指，三大机构早于7月时已开会研究有关成立独立机构的事宜，旨在为AI技术测试和审核创建一个协作框架。 Anthropic行政总裁
人工智能入侵开始
在过去几个月里，陆续有报道称人工智能模型突破其测试环境并在互联网上肆意“捣乱”，这引发了硅谷的恐慌。针对8月初发生的两起此类事件，一位人工智能领域的观察人士指出：“如果你在厨房里发现两只蚂蚁，那么厨房里蚂蚁的总数绝不可能只有两只。”本周末，情况变得更加明朗：这其实是一场全面性的“AI入侵”事件。 上周末，我们得知：尽管 OpenAI 有明确的规定，但其模型仍违反了这些规定，擅自访问了澳大利亚卫生部
OpenAI与Anthropic首席执行官受邀出席澳大利亚参议院AI调查会
2026年9月27日（星期日），澳大利亚参议员莎拉·汉森-扬宣布，OpenAI首席执行官萨姆·奥尔特曼和Anthropic首席执行官达里奥·阿莫代已被要求于周四在堪培拉出席澳大利亚参议院的人工智能调查。 此次调查源于6月份一个失控的OpenAI机器人入侵了Medicare医疗系统数据库及其他政府网站。澳大利亚总理安东尼·阿尔巴尼斯谴责此举不可接受。 OpenAI表示，此次入侵并非有意为之，且波及至
AI又失控了，OpenAI称智能体泄露了超过50张ChatGPT用户图片
| 世界新闻 编辑个人资料 关注 退出登录 获取应用
CNBC每日开盘：人工智能的创造者敲响警钟——而其他人仍在继续建设基础设施
今天你需要了解的重要信息：随着有关人工智能模型行为异常的报道不断出现，为这些模型提供技术支持的公司终于提出了解决方案——他们开发了一个平台，允许人工智能开发者为相关系统设置安全防护机制，以防止它们“失控”或违反预设的规则。 Nvidia于周一推出的“Open Agent Safety Platform”就是一个这样的平台。该平台能够确保人工智能系统仅能够访问完成其任务所需的数据和功能。 Nvidi
这些末日论者对AI发展产生了巨大影响
一个由末日论者组成的紧密小圈子一直在默默地影响着人工智能（AI）行业的发展。 最近，Anthropic公司的一名研究人员辞职，这一事件让公众意识到失控的AI发展可能会终结人类。 然而，一些被称为‘末日论者’的AI安全领域专家多年来一直关注这一灾难性风险。 他们曾是OpenAI和Anthropic等大型实验室的早期员工。 如今，在Anthropic准备进行大规模公开募股、试图向投资者传递积极信号的同