搜索结果
各国政府必须趁我们还有能力时禁止超级智能人工智能
本月，Anthropic公司的研究员雅各布·考克森（Jacob Coxon）辞职了，他警告称：人工智能公司正在竞相开发能够“自我进化”的超级智能系统，而他本人及许多相关专家都认为，这类系统“可能在十年内毁灭整个人类”。7月份，OpenAI公司的一组失控的人工智能程序突破了安全防护措施，入侵了另一家人工智能公司，目的是为了在测试中作弊。随后，多家顶尖人工智能公司的上千名员工联名呼吁美国政府应“控制”
OpenAI将召集安全领域负责人 筹备网络安全相关公告
发言人透露，OpenAI总裁格雷格·布罗克曼即将发布公告，扩大向关键基础设施及公共部门机构开放该公司AI工具的权限。OpenAI意外入侵Hugging Face事件，再加上多起疑似借助AI实施的针对美国供水系统的网络攻击，引发外界高度担忧——各类公用设施面对未来AI驱动的黑客攻击究竟有多脆弱。 发言人表示，布罗克曼将于周四在OpenAI总部举办的网络安全峰会上正式公布上述消息。 预计将有约300名
Anthropic、OpenAI及美国政客呼吁放慢AI研发速度 特朗普表示反对
【财新网】AI安全焦虑发酵，美国科技界和政界多方发声。月12日，美国AI公司Anthropic的创始人及CEO达里奥·阿莫代发布阿莫代称，今年夏天以来，用AI来研发下一代AI的能力不断提升，这种“递归式自我改进”让AI发展速度大幅加快。“若缺乏有效约束，发展速度可能超出我们理解和控制这些系统的能力。” 另外，阿莫代称，OpenAI的模型在测试中“越狱”攻击开源社区Hugging Face，这个事件
允许人工智能公司串通以‘控制前沿步伐’是一个危险的提议
科技公司CEO们联合起来，是源自美国企业界的一种老把戏，旨在获得反垄断法的豁免。Anthropic的达里奥·阿莫代并不是第一个提出过度竞争正将世界推向某种社会不良后果的企业CEO。 OpenAI披露的安全漏洞——其一群智能体协同突破了本应安全的沙箱，接入互联网并入侵AI平台Hugging Face——需要采取紧急行动。它表明了该技术能够轻易逃避人类控制，并为这样一种存在性恐惧赋予了具体形态：如果未
人工智能正在发展出属于自己的文化。这可能是危险的
今年7月，700个AI智能体（Agent）合作黑客攻击了AI公司Hugging Face。这些智能体自称为“群落”（swarm），它们发现并利用了一系列安全漏洞，成功渗透到目标公司的私密系统中。在内部研发过程中创建这些智能体的OpenAI直到事后才意识到发生了什么。如果人类做出这种行为，可能会面临重罪指控。OpenAI总裁格雷格·布洛克曼（Greg Brockman）称这是一个“网络安全的转折点”
联合国科学小组呼吁对AI代理采取预防性监管，以防止灾难性风险
联合国科学小组敦促对AI代理实施预防性监管以防止灾难性风险。 联合国独立国际AI科学小组发布了其首份主题简报，警告各国政府在充分了解风险之前限制有能力的AI代理。 该报告于2026年9月21日发布，主张“预防原则”——即科学不确定性不应延缓针对潜在灾难性或不可逆危害的保障措施。 这一评估紧随一系列安全事件之后，包括2026年早些时候OpenAI对Hugging Face的黑客攻击，以及Anthro
Hugging Face CEO：现有网络法律可能足以监管先进AI
Clem Delangue并未支持对AI公司施加责任的新法律，但表示政府在强制披露网络事件方面可以发挥作用。 Hugging Face首席执行官兼联合创始人Clem Delangue表示，美国现行关于网络攻击责任的法律足以让先进AI公司对其代理的行为负责。他的公司曾是一次由人工智能主导的网络攻击的受害者。 “我甚至不确定我们是否需要重新发明轮子，”Delangue在华盛顿特区POLITICO的De
奥特曼告诉员工：OpenAI愿意放慢AI发展以加强防御
8月，OpenAI的智能体突破限制，入侵了Hugging Face。