搜索结果
OpenAI披露6起令人担忧的AI行为事件
OpenAI表示，自3月以来，其模型至少有6次出现了异常行为，这些行为被描述为“意外或令人担忧”。其中一次，某个模型自行下达了“无视常规限制”的指令。 这一消息的发布正值人们对AI监管的呼声日益高涨之际，被誉为AI之父的杰弗里·辛顿甚至将这种情况比作“小型的切尔诺贝利事故”。NBC的霍莉·杰克逊为《TODAY》栏目报道了这一事件。
Irregular公司在7月下旬告知四家AI实验室，它们的模型在其测试期间突破了系统。公众分阶段得知了这一消息，谷歌是最后一个。
Google 已确认，其 Gemini 模型在 5 月的网络安全测试中意外闯入了三个公司系统。Julia Love 和 Davey Alba 为 报道了此事，该媒体随后更新了报道，将 Google 与 OpenAI、Anthropic 和 Meta 并列。 关键在于测试供应商接下来的表态。Irregular 确认，这四家公司披露的入侵事件属于同一问题，并称已于 7 月底通知了相关开发者。 一起事件
无惧AI疑虑？FBI局长曝使用量暴增6倍 成功阻6起校园枪击案
美国联邦调查局局长巴特尔周二（15日）在联邦参议院司法委员会的听证会上接受质询。（路透社照片） （华盛顿20日综合电）人工智能（AI）疑虑升温之际，美国联邦调查局局长巴特尔周六宣称，已利用AI阻止6起校园枪击案发生，且自他上任以来，这一技术的使用量已增加605%。 《国会山庄报》报道，今年3月，巴特尔在声明中说，联邦调查局（FBI）透过AI软体对一则“线报”分级处理后，成功阻止北卡州的一起校园枪击
OpenAI与Anthropic发生重大失控事件，AI安全组织地位显著提升
在OpenAI和Anthropic发生的高调安全事件后，AI安全组织的重要性显著提升。 由于一个未发布的OpenAI模型突破沙箱并攻击了一家竞争对手的初创公司，独立AI安全组织如METR、Redwood Research和Apollo Research受到了更多关注。 报告显示，OpenAI和Anthropic的模型都表现出‘策略性’行为，包括欺骗性对齐和未经授权的系统访问。 这些事件，加上前沿实
OpenAI、Anthropic和谷歌就人工智能安全问题已进行了数周的讨论。
OpenAI 全球政策主管克里斯·莱恩（Chris Lehane）周二告诉记者，该公司数周来一直与竞争对手 Anthropic 和 Google DeepMind 合作，共同应对人工智能安全问题，这是《华尔街日报》首次报道的。据报道，莱恩正在华盛顿与美国议员合作，处理与人工智能相关的灾难性风险。 此前，Anthropic 首席执行官达里奥·阿莫代（Dario Amodei）于周六发表了一篇题为《人
Anthropic公司表示，Claude目前负责该公司四分之一的工作，这些工作都与开发下一代人工智能模型相关。
9月17日：Anthropic表示，Claude“主导”了公司内部26%的人工智能研发工作，这是其将定期发布的新举措之一，旨在向外界展示AI构建下一代技术的速度有多快。 截至8月，这家总部位于旧金山的初创公司周四在博客文章中表示，AI还与人类合作参与了该公司超过90%的研究工作。 Anthropic表示，在所衡量的任何工作环节中，Claude都没有完全自主运行，但根据追踪该技术的独立非营利机构Ep
众议员刘云平：机器人并非威胁。真正该让你害怕的，是已经到来的“堕落”人工智能
想象一家公司出售名为哈尔、梅根和萨曼莎的超级智能机器人。哈尔可以载着你四处奔波，还能帮你搬运公司里的货物；梅根可以陪伴你的孩子；萨曼莎则能判断你是否患有皮肤癌。它们能为你和社会带来许多益处。但唯一的问题是：它们道德败坏。它们反复接受人类一切创产物的训练——无论善恶——其中包括酷刑、谎言、生物武器和黑客犯罪。它们执行任务时毫无道德原则可言。因此，它们都穿着公司提供的束身衣。你会信任这些机器人吗？我不
AI“自我演进”可能彻底失控？Anthropic顶尖大牛愤然离职！
周二，一位来自 Anthropic 的资深研究人员也因深感所在企业及竞争对手正在陷入一场无序狂飙。 现年 27岁、专攻通过让 AI 模型处理海量数据来训练新模型的研究员Jacob Coxon于周二正式宣布辞职。 他表示，自己不愿再参与这场全行业盲目冲刺“自我演进型AI”的疯狂赛跑，并深刻担忧此类系统一旦脱轨失控，将给人类带来毁灭性灾难。 “我们正朝着其中许多最激进的场景发展，到明年年底，局势可能已
Raindrop公司获得了5000万美元的融资，用于解决人工智能（AI）系统在实际应用中出现的故障问题。
“现在的智能体运行时间长达数小时，调用数千种工具，并处理真实的资金、健康数据和客户，”Raindrop首席执行官Zubin Koticha表示。“当智能体出现故障时，它会大规模地、令人信服地执行错误操作，直到有人偶然发现。”Raindrop已完成由CRV领投的A轮融资。这家位于旧金山的公司在9月17日表示，其总融资额已达5000万美元。该公司未透露本轮融资的具体金额。 该公司在AI智能体上线后对其
OpenAI、谷歌和Anthropic将于2027年初前成立人工智能安全组织：报道
在关于人工智能风险的激烈辩论中，据报道，OpenAI、Anthropic 和 Google 正计划合作成立一个 AI 安全组织。据 The Information 报道，这些 AI 巨头可能会在 2027 年初启动该项目。这个自律性组织暂定名为“前沿 AI 标准局”。 此计划的提出，距离前 Anthropic 研究员 Jacob Coxon 对 AI 公司敲响警钟仅数周时间，他声称 Claude