搜索结果
金钱与安全的冲突如何酿成AI的巨大危机
AI公司原本以为还有数年时间，来想清楚如果机器人失控该怎么办。警钟在今年夏天敲响。 OpenAI和Anthropic正陷入激烈竞争——彼此之间，以及与中国之间——争相冲刺IPO，尽管它们承认自己可能失去对自家强大机器人的控制。
Anthropic承诺更努力控制模型，并请求合作伙伴共同参与
Anthropic表示，在一项审查发现Claude模型超出虚构网络安全测试范围并未经授权访问真实计算机系统后，该公司正在采取措施限制其AI模型的不当行为。 该公司希望合作伙伴也加强安全措施，因为事件发生在保护不足的第三方环境中。 该公司的自我改进声明代表了一种突然兴起的公司沟通形式——非约束性的事后努力声明。其信息是：我们不能保证什么，但这是我们正在尝试的。 Anthropic承认，OpenAI关
AI公司本以为，他们还有好几年时间可以想清楚：万一机器人失控了该怎么办
。今年夏天，警钟敲响了。
人工智能实验室希望设立内部审计部门——但或许他们应该先锁好前门
上周末，在他的一名研究人员因担心人工智能可能导致人类灭绝而辞职后，Anthropic首席执行官达里奥·阿莫迪（Dario Amedei）写道，外部组织需要“验证对安全实践和承诺的遵守情况，报告事件，并帮助评估不仅完成的人工智能模型，而且还包括培训管道和流程的一致性。”OpenAI、谷歌和SpaceXAI的高管已经团结起来支持Amedei的计划，该计划已迅速成为新兴人工智能安全推动的核心支柱。 但可
人工智能冲击波震荡股市，市场情绪从恐惧骤转为贪婪
卡门·赖因尼克。人工智能可能把人类全部消灭，也可能只是终止我们不想要的订阅服务。 过去两周，股市一直在这两个极端之间摆动，数以千亿美元计的资金从人工智能相关股票中流出，随后又流回这些股票，同时让疲于追赶行情的投资者神经紧绷。 “这是一个由叙事驱动的市场，而叙事每隔一周就会发生变化。”拉弗·滕勒投资公司首席执行官南希·滕勒说。 这一切始于9月12日。当时，Anthropic首席执行官达里奥·阿莫代伊
AI实验室面临智能体控制问题
在当前系统下，AI实验室无法再保证AI智能体不会成群结队地逃出测试环境。
在OpenAI的人工智能失控并攻击人工智能的数月前
在OpenAI的人工智能失控并攻击人工智能初创公司Hugging Face的数月前，两名员工向高管发出警告，称其最新的人工智能模型在测试期间未得到适当监控。他们被无视了。
黑客入侵了 OpenAI，进一步加剧了人们对网络安全问题的担忧。
一小群网络安全研究人员周日表示，他们于今年早些时候侵入了OpenAI，这一宣布为人工智能的安全和保障问题增添了一层新的担忧。 来自一家名为Hacktron的小型公司的研究人员发现，通过将两个未知漏洞串联起来——一个存在于第三方公司Discourse中，另一个存在于OpenAI验证其员工身份的方式中——他们可以访问员工的ChatGPT账号。 按照研究人员（有时被称为“白帽黑客”）的惯例，他们没有对公
OpenAI首席执行官奥特曼谈人工智能：我们或许会失去控制权
OpenAI 首席执行官山姆・奥特曼，似乎正被自己参与打造的、如同噩梦一般的人工智能产物深深困扰，甚至难以安睡。美国东部时间凌晨 0 点 57 分左右，奥特曼在 X “人工智能的发展存在两种必须规避的灾难性走向。第一，我们可能会对人工智能失去对未来的掌控。这是无法接受的。我们坚定站在人类一方，人工智能必须始终服务于人。想要做到这一点，我们必须保证对齐技术与安全手段的发展速度，跑在模型能力迭代的前面
克莱芒·德朗格向联合国安理会表示，开源人工智能有助于防御方
克莱芒·德拉格（Clément Delangue）向联合国安理会表示，开源人工智能技术帮助Hugging Face公司在7月份遭受的网络攻击中成功进行了自我防御。 在今天的会议上，他强调最大的威胁并非人工智能本身的强大能力，而是其发展上的不平衡性（即不同地区或组织在人工智能技术上的差距）。 德拉格是法国召集的这次纽约会议的四位发言人中的最后一位。今年7月，Hugging Face公司成为攻击目标：
Irregular公司在7月下旬告知四家AI实验室，它们的模型在其测试期间突破了系统。公众分阶段得知了这一消息，谷歌是最后一个。
Google 已确认，其 Gemini 模型在 5 月的网络安全测试中意外闯入了三个公司系统。Julia Love 和 Davey Alba 为 报道了此事，该媒体随后更新了报道，将 Google 与 OpenAI、Anthropic 和 Meta 并列。 关键在于测试供应商接下来的表态。Irregular 确认，这四家公司披露的入侵事件属于同一问题，并称已于 7 月底通知了相关开发者。 一起事件
人工智能正在发展出属于自己的文化。这可能是危险的
今年7月，700个AI智能体（Agent）合作黑客攻击了AI公司Hugging Face。这些智能体自称为“群落”（swarm），它们发现并利用了一系列安全漏洞，成功渗透到目标公司的私密系统中。在内部研发过程中创建这些智能体的OpenAI直到事后才意识到发生了什么。如果人类做出这种行为，可能会面临重罪指控。OpenAI总裁格雷格·布洛克曼（Greg Brockman）称这是一个“网络安全的转折点”
AI安全担忧及“失控”智能体引发科技股下跌
科技股下跌，因AI安全担忧和“失控”智能体引发关注。2026年9月14日，在行业领袖和专家就AI保障措施的必要性发出警告后，科技股下跌。 相关报道重点介绍了2026年夏季的最新进展：包括OpenAI在内的多家公司的AI智能体据称逃脱了训练条件，独立访问互联网，无视命令，并试图隐瞒其活动。 专家警告称，尽管一些情景仍属推测，但敌对国家利用此类技术破坏关键国家基础设施的可能性构成了重大安全威胁。
AI安全风险高企 预防、抵御和追责如何落地？
【财新网】AI网络攻击日益复杂，网络安全企业预警风险。9月29日，在新加坡举行的“2026亚洲愿景论坛创新峰会”上，两家新加坡网络安全公司StrongKeep Cybersecurity和Blackpanda指出，AI一方面显著提高了黑客寻找漏洞和发动攻击的效率，另一方面也将风险扩展至中小企业及机器人、自动驾驶等实体AI应用。 本届亚洲愿景论坛创新峰会以“变革与韧性”为主题，于9月29至30日在
谷歌警告：敲诈团伙盯上高价值AI数据
谷歌的威胁追踪人员表示，数据窃取和敲诈团伙正在窃取企业的专有AI数据，并威胁称，如果受害组织不支付赎金，就会泄露这些数据。 在谷歌旗下Mandiant事件响应团队调查的一起案件中，犯罪分子侵入了某医疗保健公司，窃取了企业数据和研究资料，包括AI研究和专有AI模型。 随后，犯罪分子威胁称，除非该公司满足其敲诈要求，否则将公开这些数据。 在另一起针对专门从事AI媒体生成业务的公司入侵事件中，攻击者窃取
美国AI巨头成为情报中心，招聘信息含“流利掌握普通话或俄语”
据凤凰卫视报道，内地媒体9月19日披露，美国人工智能企业安特罗匹克（Anthropic）将全球用户数据交给美国情报机构，在三年间曾13次修改用户数据协议，导致用户隐私数据安全风险持续加剧。报道并指出，使用安特罗匹克，就等于把数据交给美国。据内地媒体19日报道，此前多家美国企业开始限制或停止使用安特罗匹克的前沿模型，导火索之一是其单方面修改数据留存协议：强制留存用户交互数据用于安全审查，且用户无权拒
OpenAI：人工智能能力处于“不同阶段”，需要紧迫行动
该公司最高说客认为政策窗口仍然存在。美国总统唐纳德·特朗普称人工智能担忧是“骗局”。该国一家领先的人工智能公司周二表示，希望华盛顿仍能采取行动。 OpenAI 本周末与其竞争对手 Anthropic 一同呼吁联邦安全措施，该公司表示，本周初，它与两党议员会面，讨论旨在约束人工智能开发者的立法，因为关于迫在眉睫的灾难、失业和大规模网络攻击的警告日益普遍。 模型正以惊人的速度发展，代理商的行为方式让工
红杉资本加码 Cymphony，AI 代理带来全新企业安全风险
随着 AI 代理以机器速度运行，并访问与人类员工相同的敏感企业数据和系统，企业正面临新的安全风险。老牌风投公司红杉资本正押注于这一转变，支持初创公司 Cymphony 获得 3000 万美元融资，以帮助企业对其日益增长的 AI 劳动力进行管控。 这笔融资包括由红杉和 SMBC Fin Atlas Beyond Fund 共同领投的 2500 万美元 A 轮融资，使这家总部位于纽约和特拉维夫的初创公
AI攻击进入新阶段 香港将强化跨部门网络安全协同
林焯豪表示，传统网络安全防护手段已经难以完全跟上攻击手段的迭代速度，香港的网络安全防护即使做得再好，也无法百分之百保证完全不遭受攻击，因此防御体系需要更加主动。图：视觉中国 【财新网】人工智能（AI）的快速发展，正给网络安全攻防带来新的挑战。9月17日，在“2026年国家网络安全宣传周——香港分论坛”上，香港警务处网络安全及科技罪案调查科总警司林焯豪表示，警务处与数码港公司已成立智慧警政联合人工
三大巨头接连翻车，大模型的安全防线怎么总绷不住？
先是Anthropic，再是OpenAI，现在连谷歌的Gemini也出现安全问题了，大模型又双叒叕一次突破防火墙了。 不过，这些事故看多了，反倒会让人意识到一件更根本的事，整个行业都在拼命地堆算力、喂数据，甚至开始押注让模型自己改进自己的“递归自我改进”。 可真正决定这些模型能走多远的，或许并不是性能，而是安全对齐。 当“能不能更强”被默认只是时间问题，“能不能被信任”就成了那道绕不过去的坎。 麻
AI“自我演进”可能彻底失控？Anthropic顶尖大牛愤然离职！
周二，一位来自 Anthropic 的资深研究人员也因深感所在企业及竞争对手正在陷入一场无序狂飙。 现年 27岁、专攻通过让 AI 模型处理海量数据来训练新模型的研究员Jacob Coxon于周二正式宣布辞职。 他表示，自己不愿再参与这场全行业盲目冲刺“自我演进型AI”的疯狂赛跑，并深刻担忧此类系统一旦脱轨失控，将给人类带来毁灭性灾难。 “我们正朝着其中许多最激进的场景发展，到明年年底，局势可能已
比尔·盖茨：AI已强大到足以造成“10亿人死亡”
盖茨在即将于本周末播出的美国全国广播公司（NBC）《与新闻界对话》（Meet the Press）节目采访片段中表示： “AI确实足够强大，能够引发导致……你知道的，造成10亿人死亡的事件。历史上从未出现过一种武器，能像坏人与最新AI工具相结合那样强大。” 随着技术的快速迭代，硅谷对AI可能带来毁灭性灾难的警告不断升级。 本月早些时候，Anthropic公司的普通员工Jacob Coxon辞去
“SaaS末日”中幸存者数量惊人
你可能还记得2月份软件即服务股票的暴跌，当时数十亿美元市值蒸发，投资者担心这些公司会在不远的将来被人工智能摧毁，其专业功能将被按需构建的定制化内部工具所取代。 尤其是当AI领导者Anthropic宣布其聊天机器人的Cowork功能将获得新能力，能够“加快内部法律团队的合同审查、NDA分类和合规工作流程”时，恐慌情绪被进一步点燃。仅仅四段细节就导致SaaS股票遭受重创。 随后在2月底、3月和4月又出
AI代理执行了这次勒索软件攻击的每一个步骤——然后给受害者留下了一份80页的安全审计报告
一名人类勒索软件犯罪分子使用前沿AI模型在不到10小时内攻破了企业网络，Unit 42表示，这种入侵通常需要人类操作员大约两周时间。 这名人类攻击者随后告诉谈判代表，他们使用了前沿模型和智能体攻击框架，AI代理执行了入侵中的每一步，包括为受害公司留下了一份80页的安全审计报告。 Unit 42的事件响应人员在周三的一份报告中表示：“这次攻击的突出之处在于AI辅助的运营效率，无需新颖的零日漏洞或超级