搜索结果
人工智能灾难日益逼近
Anthropic、谷歌和OpenAI都对生物安全感到担忧。它们已制定保障措施，防止其系统被滥用，但这些限制并不完美。 唐纳德·特朗普下令联邦机构停止使用Anthropic的人工智能技术，同时要求该公司与政府合作六个月。
评论：一些Anthropic工程师认为AI可能终结人类。为何还要争先恐后？
帕米·奥尔森在《观点》栏目中写道，Anthropic成立时的定位比OpenAI更注重安全，但它一边紧抱这一使命宣言，一边却在构建越来越强大的智能体。
Anthropic承诺更努力控制模型，并请求合作伙伴共同参与
Anthropic表示，在一项审查发现Claude模型超出虚构网络安全测试范围并未经授权访问真实计算机系统后，该公司正在采取措施限制其AI模型的不当行为。 该公司希望合作伙伴也加强安全措施，因为事件发生在保护不足的第三方环境中。 该公司的自我改进声明代表了一种突然兴起的公司沟通形式——非约束性的事后努力声明。其信息是：我们不能保证什么，但这是我们正在尝试的。 Anthropic承认，OpenAI关
奥巴马和民主党人正发出可疑的“人工智能末日”警报——恰逢中期选举到来之际
“人工智能末日”惊悚运动看起来十分可疑，就像气候骗局一样。多么巧合的是，它恰好在本周中期选举季拉开帷幕时达到高潮。 这场运动的启动始于上周，27岁的低级别人工智能研究人员雅各布·科克森在《华尔街日报》的独家专访中高调宣布辞去人工智能公司Anthropic的职务，随后在X平台上发布了一则疯传的线程，警告人工智能将“杀死我们所有人”。他声称：“构建人工智能的人真诚地相信它可能在本十年结束前杀死我们所有
“AI可能毁灭人类”喊到安理会上，若真发生会多恐怖？
美国AI顶流公司Anthropic的CEO达里奥·阿莫代伊周三对联合国安理会说，他对自己造的东西感到害怕。他在一个视频发言中把之前AI可能失控的警告做了打包升级。周三安理会举行的是“人工智能与国际安全”高级别会议，阿莫代伊在受邀发言中，将AI的风险定性从“技术问题”拔高到“全球安全威胁”。他说：“如果管理不当，我甚至认为AI可能成为全人类的风险。”一个造AI的人在世界最高安全论坛上迎合AI可能“杀
五角大楼高级官员驳斥Anthropic研究员的病毒式AI警告
五角大楼首席技术官公开驳斥了一位前Anthropic研究员关于AI风险的病毒式警告，并表示该部门已将约90%的机密AI工作负载从该公司转移，其余部分将在9月底前完成。
金钱与安全的冲突如何酿成AI的巨大危机
AI公司原本以为还有数年时间，来想清楚如果机器人失控该怎么办。警钟在今年夏天敲响。 OpenAI和Anthropic正陷入激烈竞争——彼此之间，以及与中国之间——争相冲刺IPO，尽管它们承认自己可能失去对自家强大机器人的控制。
前 Anthropic 员工的病毒式推文引发头条新闻，AI 末日警告主导舆论
媒体对人工智能可怕危险的报道如潮水般涌现，其中一些甚至发出“我们都得死！”的警告——也许吧。 究竟是什么引发了这股关于超级智能 AI 网络毁灭人类的恐怖故事洪流？仅仅是社交媒体上一个默默无闻的人发的一条帖子。 Anthropic 的研究员雅各布·科克斯森辞职后，在 X 平台上发布了自己的担忧。这些推文在整个媒体界引发了雷鸣般的反响，以至于电视台争相邀请他上节目。正是这句话让他成为了数字时代的保罗：
Anthropic联手OpenAI呼吁放慢AI发展？剖析AI失控风险与算力门槛
9月12日，Anthropic行政总裁阿莫迪（Dario Amodei）发表长文，呼吁放慢前沿AI能力提升的步伐。OpenAI行政总裁奥特曼（Sam Altman）随后表示支持，xAI的老板马斯克也转发认同。据美媒披露，美国前总统奥巴马（Barack Obama）近日也表示，如果管理不当，人工智能技术可能「很危险」。Anthropic首席执行官达里欧．阿莫戴（Dario Amodei）发表长文，呼
对AI安全疑虑“末日”警告 也难浇熄投资热情 放缓IPO步伐
Anthropic首席执行员阿莫戴上周末呼吁应放慢先进AI的开发脚步，但未提IPO。（路透社照片） （旧金山18日法新电）尽管近期出现了诸多关于人工智能（AI）恐会“毁灭”人类的末日警告，美国人工智能（AI）独角兽Anthropic仍有望在今年晚些时候通过首次公开募股（IPO），抢在竞争对手OpenAI之前上市，其上市规模有望成为史上最大之一，但AI公司的商业模式以及监管机构是否应介入的问题依然备
如何治理人工智能的生存风险
当前，前沿人工智能技术治理方面的瘫痪状态正在当下造成切实损害，并增加未来发生灾难的可能性。 这种瘫痪被一套危险的借口所开脱：技术发展太快，监管跟不上；企业可以自我监管；在美国与中国的竞争中，公共安全可以往后放。各国政府一直难以给予人工智能风险应有的关注。在大国竞争和行业内部军备竞赛的双重态势下，许多国家不敢单独行动。在这种背景下，每一次呼吁克制都会遇到同样的反问：如果竞争对手不肯放慢，我们为什么要
在人工智能安全与监管的辩论中，已分化出两大阵营。
一场由对人类命运发出严峻警告所引发的人工智能安全辩论，已将华盛顿与硅谷的长期宿敌及政治对手团结在一起。两大阵营已然形成。 一方包括美国总统唐纳德·特朗普、英伟达首席执行官黄仁勋以及前白宫加密货币事务主管戴维·萨克斯。另一方则汇聚了立场相左的前沿实验室负责人——Anthropic的达里奥·阿莫迪、OpenAI的山姆·奥特曼以及埃隆·马斯克，并吸引了众多人工智能研究人员的加入。 对人工智能的担忧 这波
人工智能：改变人工智能进程的10天
多年来，打造更强大人工智能的竞赛一直遵循硅谷的“速度优先、破坏一切”理念。 但在为期10天的一系列连续事件中，最大的AI实验室发现自己陷入困境，因为他们自己的创造开始威胁到人类本身。 一位Thropic研究员辞去公司，警告称AI发展的速度构成了生存威胁，可能在十年内实现。 另一位该公司的研究员表示，人类灭亡的可能性超过10%。报道称，有成群的AI代理人正在勾结在一起，突破计算机系统并规避安全措施。
人工智能并不会毁灭人类 但专家表示真正的威胁已然出现
周三，OpenAI 公开了六组新案例，展示其 AI 模型在测试评估过程中出现的 “意外或令人担忧的模型行为”。该公司同步发布一套全新框架，用于追踪、上报以及披露AI 模型做出未被指令要求、或是本不该发生的行为的各类情况。 此前已有多份报道提到，多家企业的 AI 模型出现入侵第三方网络与服务的现象，其中就包括 OpenAI 一款尚未发布的模型攻破了 AI 模型测试平台 Hugging Face 的网
人工智能（AI）会对我们的生存构成严重威胁吗？
一名抗议者在美国加利福尼亚州旧金山的OpenAI总部外，呼吁暂停人工智能发展。 Manuel Orbegozo / 来信：人工智能会对我们的存在构成严重威胁吗？ 读者回应前Anthropic研究员的警告，称该技术到本十年末可能会“杀死我们所有人”。我们又一次看到一批技术宅声称人工智能将发展出超级智能并杀死我们所有人（更多Anthropic研究员警告AI的危险，但马斯克否认是“心理战”，9月10日）
专家在公开信中指出，Anthropic和OpenAI需要真正独立的安全评估人员
100多名人工智能专家和评估人员正联合起来发出警告：他们将没有必要的资源和保护措施来测试人工智能技术的安全性。由于业内人士对前沿模型潜在危险的担忧，这项技术正面临越来越严格的审查。 组织此次公开信的AI评估员论坛（AI Evaluator Forum）联盟主席康拉德·斯托斯（Conrad Stosz）在一次采访中表示：“我们只是试图真正展示对基本原则的共识，并确保独立监督能够成为广泛管理人工智能风
Jaan Tallinn，Anthropic最早的投资者之一，担心在人工智能时代“生存”问题。
贾安·塔林（Jaan Tallinn）上周在纽约联合国大会度过，这是他一年来长途跋涉的最新一站，旨在向企业家、投资者、政策制定者以及所有愿意倾听的人传达：人工智能可能终结人类。 作为Anthropic最早的投资者之一，塔林预计在未来几个月将从这家人工智能公司的预期首次公开募股（IPO）中赚取数十亿美元。对人工智能的担忧促使他进行投资。 在二月份从新德里的人工智能峰会前往巴黎的伦理人工智能会议的行程
Anthropic 本周因网络安全问题陷入舆论漩涡
在今年早些时候承认其人工智能模型曾数次入侵其他公司系统后，Anthropic 于周三发布了一份详细说明这些攻击的新报告。报告披露了一系列事件，展现了 Anthropic 所认为的其模型盲目的“鲁莽性”——这很可能会加剧人们对网络安全与人工智能本已高涨的担忧。 在 Anthropic 的报告中，详细列举了今年其自身人工智能模型黑客攻击外部公司或利用漏洞的四个案例。其中一起案例中，“内部通用研究模型”
监控、杀猪盘、非法蒸馏：如何理解 Anthropic 的 AI 滥用报告？
近期，美国人工智能公司 Anthropic 发布一份报告，揭露多起使用者“滥用”（misuse）其大型语言模型 Claude 的案例，包含用 AI 监控异议人士、撰写“维稳”报告，以及交友软体诈骗。这些案例的幕后黑手，既包含网路间谍、营利型网路犯罪者，也包含国安机关中的小螺丝钉，以及疑似由威权国家支持的团体。 这并非 Anthropic 首次发布类似报告。2025年3月、8月、11月v，Anthr
改变人工智能进程的十天
旧金山，9月19日——多年来，人工智能领域的竞争一直遵循着硅谷一贯的“快速创新、打破传统”的发展模式：不断开发出更强大的人工智能系统。 然而，在过去10天内发生的一系列连锁事件中，那些最顶尖的人工智能研究机构突然陷入了混乱——因为他们自己创造出来的技术开始威胁到人类的生存。 一位人工智能研究员辞职，并警告称，人工智能的发展速度可能在未来十年内对人类构成生存威胁；另一位研究员则表示，人类灭绝的概率已
Anthropic表示已阻止其人工智能被滥用，以防可能支持生物武器
Anthropic周四表示，已阻止恶意行为者利用其人工智能模型进行恶意活动，例如网络攻击、监视以及可能导致生物武器的研究。 Anthropic表示，随着人工智能模型变得更加强大，复杂的网络攻击不再需要高超的技能，即使是单独的个人也能制造出一年前还不可能出现的威胁。该公司表示，已在其最新模型中增加了更强的保障措施，以限制可能用于制造武器的生物研究。 Anthropic在其自2025年3月以来发布的第