搜索结果
AI风险丨谷歌OpenAI和Anthropic传成立安全标准机构
谷歌、OpenAI和Anthropic传成立AI安全标准机构。(路透资料图片) 外电引述消息人士报道，谷歌(Google)、OpenAI和Anthropic正推进一项计划，筹建一个新人工智能(AI)安全标准机构，暂定名称为「前沿人工智能标准机构」(SAFA)，目标是在2026年底或2027年初启动，并在没有政府直接监督的情况下独立运作。 消息指出，该机构计划为前沿AI模型制定自愿性的安全和安全保障
Anthropic称AI生物实验室取得初步突破 但暂未赋予全自主操作权限
人工智能初创公司Anthropic宣布，其位于旧金山湾区新建的AI物理与生物实验室（Wet Lab）已取得“重大进展”，但在实验操作层面，人类研究员依然掌握着绝对控制权，并未直接让旗下的AI模型Claude进行无监管的自主运行。 据悉，该实验室主要致力于基础生物学研究与实物验证，旨在弥合纯计算机模拟与真实生物实验之间的鸿沟。虽然Anthropic的高管此前曾多次发出警告，强调强大AI模型可能带来极
OpenRouter数据显示，OpenAI在与Anthropic两家公司合计模型支出中的份额，自6月初约20%升至9月7日当周略高于50%，为2024年2月以来首次超过Anthropic。
OpenRouter数据显示，OpenAI在与Anthropic两家公司合计模型支出中的份额，自6月初约20%升至9月7日当周略高于50%，为2024年2月以来首次超过Anthropic。（这里统计的是OpenRouter平台上OpenAI与Anthropic之间的“钱包份额”，衡量美元支出而非调用次数，也不代表整体AI市场份额）
人工智能监管的博弈远未结束
本周初，人工智能领域的重量级人物似乎（至少是初步地）站在了支持人工智能监管的一边。 上周末，Anthropic首席执行官达里奥·阿莫代（Dario Amodei）提出了一项放缓人工智能发展的“三步走”计划，包括在实验室中引入第三方评估机构、协调国内行业，以及在政府协助下达成国际协议。 OpenAI首席执行官萨姆·奥特曼（Sam Altman）、谷歌DeepMind联合创始人德米斯·哈萨比斯（Dem
Amodei写道，协调进度需要反垄断豁免。Altman表示OpenAI不会等待豁免。这两条言论现已成为诉讼的一部分。
四名消费者于9月18日在加州北区联邦法院提起集体诉讼，被告包括Anthropic、OpenAI、SpaceXAI和谷歌。 《布伊斯诉Anthropic PBC案》指控这四家公司达成横向协议，以减缓彼此竞争产品的改进速度，此举违反了《谢尔曼法》第一条。 豁免程序是该案的核心。阿莫迪（Amodei）的文章称，政府调解将有所帮助，且某些安全对话需要狭义的豁免。而诉状中的回应是：不存在此类豁免，国会未颁布
Anthropic研究员Jacob Coxon因不满AI军备竞赛而辞职
Jacob Coxon在X上宣布辞去Anthropic职务。他表示自己过去三年分别在OpenAI和Anthropic从事预训练研究，但认为两家公司都没有以负责任的方式推进AI开发，反而在“直奔自我改进型超级智能”，并将人类安全置于赌局之中。 Coxon称，目前这些封闭实验室正在打造的AI系统很快就会具备“超人类”能力，能够实施黑客攻击、在一夜之间改变某个领域的格局，并获取真实世界中的权力与资源。他
合同披露：人工智能巨头与五角大楼携手合作
Anthropic与美国国防部之间的破裂过程很大程度上是在公众视野中展开的。 尽管这家人工智能巨头与五角大楼曾就21世纪战争伦理与企业权力问题上演过高调的公开交锋，但双方真正决裂的导火索却是一份长期保密的政府合同。 借助《信息自由法》诉讼，并在“安全科技法律倡导组织”的协助下，《拦截者》（The Intercept）获取了逾400页关于美军与Anthropic及其主要竞争对手签订合同的机密文件。
前研究员批评Anthropic：挑起竞赛 逼得OpenAI砍副业
据《商业内幕》报道，前Anthropic研究员雅各布·考克森(Jacob Coxon)周二在X平台上的一场问答活动中，详细阐述了他与这家AI巨头之间的分歧。考克森此前因其离职警告走红，他认为AI未来可能毁灭人类。 考克森表示，Anthropic领导层使用“结果主义哲学”来解释为何必须参与推动AI研究前沿，这是错误的。“如果这场竞赛不可避免，你就不应该参与其中。”考克森写道。 考克森特别点名批评了A
Anthropic推进上市筹备 年化营收料超1000亿美元
Anthropic首席执行官达里奥·阿莫代伊最近呼吁对人工智能开发速度施加更多护栏，这在华尔街和硅谷引发震动。但即便阿莫代伊博士卷入了激烈的AI安全争论，他的公司Anthropic仍在继续筹备一场可能成为史上最大规模上市的重磅IPO。 据四位知情人士透露，该公司预计今年年化营收将超过1000亿美元，高于截至7月的650亿美元年化营收。寻求参与IPO的投资者正用这些飙升的数字来证明Anthropic
Anthropic 计划在 IPO 前推出新 AI 模型
据三位知情人士透露，Anthropic正考虑推出一款新的人工智能模型，以应对OpenAI自发布GPT-6 Astra以来获得的势头。此举正值该公司预计进行IPO之前，且其CEO此前呼吁全行业放缓步伐。 知情人士称，这一潜在发布旨在应对来自直接竞争对手的竞争压力，其时机紧随Anthropic CEO达里奥·阿莫代伊呼吁全球AI社区放缓发布新能力的步伐以解决安全担忧之后。 “我们必须放缓提升AI模型能
OpenAI利用人类外包人员审核ChatGPT匿名对话以优化模型
泄露给404 Media的内部文件显示，OpenAI在“Project Lily”项目下雇用了数百名承包商，读取并评分真实的ChatGPT用户提示和回复，以改进模型性能。 这些审核人员通过Crossing Hurdles和Mercor等公司聘用，评估回复的语调、谄媚程度和准确性。 尽管OpenAI使用“隐私过滤器”对数据匿名化，敏感个人信息仍可能被暴露。 免费版、Plus和Pro用户默认启用模型训
放慢AI模型训练 人类就能幸免于难？｜专栏
不久前，我写了一篇关于AI企业如何给大语言模型「安装良心」的专栏文章，探讨一个研究者们苦恼已久的问题——「AI对齐」(AI Alignment, 指人工智能的安全与价值观对齐)。「安装良心」是借用我的受访者、从事AI安全评估的Ordinary Wisdom共同创始人之一Michael Mainelli形象的说法，本质上就是让AI模型遵循人类的预期和目标行事，不仅仅是完成指令，还要在过程中维持与人类
Anthropic自建生物实验室推进AI物理实验，此前曾警告AI灭绝风险
IT之家 9 月 19 日消息，Anthropic 已在美国旧金山湾区设立一座湿实验室，用于开展实际生物学实验，并探索利用其 AI 模型辅助完成从计算分析到物理实验的研究流程。 Anthropic 生命科学负责人埃里克 · 考德勒-艾布拉姆斯已向确认，该实验室目前已经投入运营。 湿实验室（wet lab）是指配备实体设施、可进行细胞培养、生化分析、分子实验等物理操作的实验室，与主要依靠计算机进行数