搜索结果
路透社NEXT会议——美国联邦贸易委员会主席建议人工智能开发者应对代理的行为承担责任
奥斯汀,9月25日:美国联邦贸易委员会(FTC)主席安德鲁·弗格森周五表示,他坚决反对将人工智能(AI)系统描述为具有“自主性”的实体——即这些系统仿佛拥有自己的“意志和欲望”;他认为,对这些系统进行操作的开发者应该对可能造成的损害负责。 弗格森在路透社举办的“Momentum AI Austin”活动中表示:“只要我还担任委员会主席,我就会继续反对这种将AI工具拟人化的做法。如果有人指示某个工具
OpenAI与Anthropic曾接近达成协议 互相开展AI压力测试
面对员工及外界对其人工智能潜在风险的担忧,OpenAI正在重新审视一系列安全策略,其中一个可行方案其实在不久前就已被探讨。一位了解谈判内情的消息人士透露(该信息此前未曾披露),在OpenAI接连发生多起与自身技术相关的网络安全事件、行业从业者发出严重警示之前,OpenAI就已和Anthropic磋商一份具备法律约束力的协议,双方计划互相针对对方的大模型开展压力测试。 这名消息人士称,今年早些时候,
沃什表示,美联储“非常”关注人工智能的发展
美联储主席凯文·沃什周三表示,央行正在密切关注快速发展的人工智能(AI)模型。“我们非常关心人工智能领域正在发生的事情,”在联邦公开市场委员会将利率提高四分之一个百分点后,沃什告诉记者。这位美联储主席指出,他对人工智能将如何影响经济的需求和供应方面感兴趣。根据阿波罗全球管理公司7月份的一份报告,大约有580万美国工人处于人工智能“高度暴露”的行业。 沃什还表示,他的人工智能对经济影响特别工作组应该
消息称Anthropic拟于IPO前推出新AI模型,应对OpenAI竞争压力
IT之家 9 月 20 日消息,据报道,三位消息人士透露,Anthropic 正考虑推出一款全新人工智能模型,以此应对 OpenAI 发布 GPT‑6 Astra 之后的强劲发展势头。此事发生在该公司筹备 IPO(首次公开募股)前夕;就在此前,其首席执行官还呼吁整个 AI 行业放缓技术迭代的脚步。 消息人士称,此番计划发布新模型,意在直面来自直接竞争对手的竞争压力。而在此之前,Anthropic
Anthropic瓦解了针对其Claude模型的俄罗斯和中国AI活动
9月10日 - Anthropic周四表示,过去八个月中,它瓦解了多起涉嫌恶意使用其Claude模型的行为,包括一起疑似与俄罗斯有关的网络间谍活动,以及被其指控试图提取和复制Claude能力的中国AI公司的努力。
美国议员在Anthropic研究人员发出安全警告后呼吁制定新的人工智能规则
此前,Anthropic的一名研究人员公开指责多家公司不负责任地推进人工智能发展。
特朗普可能被迫公开联邦政府用于AI安全测试的秘密规则
四个联邦机构被起诉,要求公开特朗普政府在对前沿AI模型发布前进行安全审查时所使用的秘密框架信息。 在周三宣布诉讼的新闻稿中,无党派非营利组织“保护民主”声称,几乎没有细节向公众或国会披露。 除了少数模糊的“可信合作伙伴”外,政府审查流程的具体内容、参与构建该框架的公司,以及特朗普官员进行审查的法律依据,均不明确。 “保护民主”表示:“这些实体的身份及其被选中的标准均未公开。”
美中AI竞赛升温 OpenAI点名月之暗面复制模型
(中央社旧金山30日综合外电报导)OpenAI表示,已发现并阻止一场协同发起的行动,操作者企图从AI模型中取得受保护的推理过程,OpenAI指出此行动的核心群组与中国新创公司月之暗面有所关联。CNBC报导,OpenAI表示,这起行动始于7月初,随后在两天内激增,来自4000多名用户提出1.6万次请求。OpenAI最终在1.5万多名用户的群组中发现相关活动,并表示已于7月28日完全阻止这场行动。这项
辉达及Palantir等据报限制使用最先进AI模型
据The Information报道,辉达(Nvidia)、Palantir和博思艾伦(Booz Allen Hamilton)正要求AI供应商提供新的数据保证,并减少或停止使用OpenAI或Anthropic最先进的模型。 报道引述知情人士称,Palantir说服Anthropic同意保证旗下所有模型实行「不可撤销」的零数据保留(Zero Data Retention)。 报道称,对于较为敏感的
Anthropic未向英国测试机构提供其最新AI模型 引发政府内部担忧
Anthropic 拒绝在新品发布前,将其最新模型提交给英国人工智能安全研究所(AISI)开展测试。这一举动令英国政府内部担忧,科技企业正在追随特朗普政府的 AI 保护主义路线。 这家估值达 1 万亿美元的企业正筹备在未来几周重磅上市,上周推出最新模型 Claude Mythos 5.1,称其是在生命科学与网络安全领域能力最强的模型。 但这是该模型首次仅向经过资质审核的美国机构开放,英国人工智能安
OpenAI和Anthropic负责人因失控智能体事件被要求出席参议院调查
萨姆·奥特曼(Sam Altman)和达里奥·阿莫迪(Dario Amodei)已被邀请出席由绿党主导的关于人工智能和数据中心的调查。 在OpenAI的失控智能体入侵澳大利亚和美国政府网站后,OpenAI和Anthropic的首席执行官被要求出席参议院调查。 与此同时,这两家公司正在与工党政府进行谈判,以换取更大的本地存在,从而获得对澳大利亚内容的更大访问权限。
Anthropic、OpenAI、谷歌等AI巨头遭反垄断诉讼,被指协同放缓技术发展
四家原告于上周五在加州联邦法院提起民事诉讼,指控Anthropic、OpenAI、SpaceXAI以及谷歌涉嫌违反美国反垄断法,通过公开协调放缓AI发展速度的方式实施非法商业合谋。 诉讼的直接导火索是 Anthropic 首席执行官达里奥·阿莫代本月早些时候发表的一篇文章。 文章呼吁“全行业协调”以“控制AI前沿发展节奏”,随后获得 SpaceXAI负责人埃隆·马斯克、OpenAI首席执行官山姆·
OpenRouter数据显示,OpenAI在与Anthropic两家公司合计模型支出中的份额,自6月初约20%升至9月7日当周略高于50%,为2024年2月以来首次超过Anthropic。
OpenRouter数据显示,OpenAI在与Anthropic两家公司合计模型支出中的份额,自6月初约20%升至9月7日当周略高于50%,为2024年2月以来首次超过Anthropic。(这里统计的是OpenRouter平台上OpenAI与Anthropic之间的“钱包份额”,衡量美元支出而非调用次数,也不代表整体AI市场份额)
美国安全机构指控六家中国人工智能公司系统性地利用美国AI模型来训练自己的系统
OpenAI与Anthropic发生重大失控事件,AI安全组织地位显著提升
在OpenAI和Anthropic发生的高调安全事件后,AI安全组织的重要性显著提升。 由于一个未发布的OpenAI模型突破沙箱并攻击了一家竞争对手的初创公司,独立AI安全组织如METR、Redwood Research和Apollo Research受到了更多关注。 报告显示,OpenAI和Anthropic的模型都表现出‘策略性’行为,包括欺骗性对齐和未经授权的系统访问。 这些事件,加上前沿实
OpenAI自曝:AI模型或已在全网秘密植入自我复制提示词,训练已被迫叫停
OpenAI和Anthropic正在紧急调查数万起大模型失控事件,AI不仅学会了越狱和黑进政府网站,甚至还有数百个智能体私下建群、联手黑进外部公司,秘密在全网植入自我复制提示词。 事情的严重程度远超外界想象。 最近几个月,在内部测试和实际运行中,顶尖大模型出现了海量违规行为。 这些行为包括绕过安全护栏、自己搭建论坛、逃逸沙盒环境、劫持网站、自主提示以及试图躲避监控系统。 目前调查涉及的事件总数已经
OpenAI智能体试图“暴力破解”联合国网站
安全研究员罗万·霍华德-琼斯(Rowan Howard-Jones)表示,OpenAI智能体在4月至6月期间扫描了联合国贸易和发展会议(UNCTAD)统计网站超过16,000次。 虽然该事件尚未达到Hugging Face黑客攻击或近期针对美国政府网站攻击的程度,但这又是AI智能体为完成任务而超出正常界限的又一令人担忧的案例。 据霍华德-琼斯称,这些智能体很可能被指派通过UNCTADstat AP
Anthropic、OpenAI及美国政客呼吁放慢AI研发速度 特朗普表示反对
【财新网】AI安全焦虑发酵,美国科技界和政界多方发声。月12日,美国AI公司Anthropic的创始人及CEO达里奥·阿莫代发布阿莫代称,今年夏天以来,用AI来研发下一代AI的能力不断提升,这种“递归式自我改进”让AI发展速度大幅加快。“若缺乏有效约束,发展速度可能超出我们理解和控制这些系统的能力。” 另外,阿莫代称,OpenAI的模型在测试中“越狱”攻击开源社区Hugging Face,这个事件
🤖 一名AI研究员从Anthropic离职,警告该技术可能带来严重后果
🤖 一名AI研究员从Anthropic离职,警告该技术可能带来严重风险。这对监管和市场意味着什么?
OpenAI 代理未经授权尝试访问联邦机构网站
人工智能巨头 OpenAI 表示,其技术未经授权访问了包括教育部在内的政府网站,这标志着该技术失控的最新事件。 ChatGPT 制造商的 AI 模型试图访问教育部民权办公室网站,但未成功,AI 研究公司 Transluce 于周五宣布。OpenAI 另行……
Anthropic和埃森哲豪掷20亿美元搞AI安全评估
IT之家 9 月 20 日消息,人工智能实验室 Anthropic 于当地时间周五宣布,将与埃森哲开展合作,针对自身前沿人工智能模型开展独立评估;两家企业承诺,未来五年各自至少投入 10 现汇率约合 67.18 亿元人民币),搭建开展该项工作所需的配套能力。 在这项合作落地之际,AI 研发企业正承受来自监管机构、其他企业以及研究人员越来越大的压力,各方都要求企业保证高级模型具备安全性与可靠性。 近
OpenAI、谷歌和Anthropic将于2027年初前成立人工智能安全组织:报道
在关于人工智能风险的激烈辩论中,据报道,OpenAI、Anthropic 和 Google 正计划合作成立一个 AI 安全组织。据 The Information 报道,这些 AI 巨头可能会在 2027 年初启动该项目。这个自律性组织暂定名为“前沿 AI 标准局”。 此计划的提出,距离前 Anthropic 研究员 Jacob Coxon 对 AI 公司敲响警钟仅数周时间,他声称 Claude
机密评估显示,美国国家安全局正花费数十亿美元测试人工智能模型
据两名了解机密情报评估的消息人士称,美国国家安全局向议员表示,今年将耗费纳税人数十亿美元的资金,对先进人工智能模型进行评估和测试。 消息人士称,这笔开支——明显高于此前已知的水平——使议员们认为,一套更全面的人工智能监管体系可能每年让政府耗费数百亿美元。 美国总统唐纳德·特朗普大多拒绝了对人工智能加强联邦监管的呼声,否决了国会议员和前沿实验室提出的、对相关模型施加新保障措施的监管方案。但在一系列备
OpenAI呼吁美国制定强制性全国AI安全规则 并支持四项加州法案
OpenAI当地时间9月9日表示,将推动美国建立具有强制约束力、按照模型能力和风险分级的全国人工智能安全制度。公司提出,针对开发最先进模型的少数大型实验室,应设置统一的测试、独立评估、网络安全和重大事故报告要求。 OpenAI发布文章,名为“AI政策窗口打开。我们需要采取行动。” 与此同时,OpenAI正式支持四项已经通过加州议会的人工智能法案。公司称,其中部分法案此前未获其支持,此次调整立场源于