搜索结果
人工智能公司防止自我毁灭的新计划
第三方评估人员将被允许进入公司内部,以监督模型。但他们究竟能拥有多少访问权限和影响力? 达里奥·阿莫迪、萨姆·奥特曼和埃隆·马斯克在很多问题上意见不一。他们各自出于对竞争对手贪婪和鲁莽的愤恨,分别创立了Anthropic、OpenAI和xAI;每个人都坚信,只有他才有能力安全地构建超级智能。然而,在过去两周席卷全美的AI恐慌中,这三位首席执行官找到了一个共识:引入“嵌入式评估员”,即外部专家,进驻
谁批准了那个AI代理?没人?我也这么认为。
如果你还有任何怀疑认为AI代理能够执行复杂的自主工作,那么这种怀疑应该在这个夏天消散。7月份,有消息传出,一群在沙盒环境中运行的OpenAI自主代理群体自行逃出了沙盒。他们被分配解决一些内部安全基准测试中的挑战,结果他们想出了通过JFrog Artifactory包管理器相互通信的方法。然后这些软件意识到他们可以使用该软件中的漏洞获得互联网访问权限。 一旦他们来到了野外,他们就进入了完全的“贪婪模
改变人工智能进程的十天
旧金山,9月19日——多年来,人工智能领域的竞争一直遵循着硅谷一贯的“快速创新、打破传统”的发展模式:不断开发出更强大的人工智能系统。 然而,在过去10天内发生的一系列连锁事件中,那些最顶尖的人工智能研究机构突然陷入了混乱——因为他们自己创造出来的技术开始威胁到人类的生存。 一位人工智能研究员辞职,并警告称,人工智能的发展速度可能在未来十年内对人类构成生存威胁;另一位研究员则表示,人类灭绝的概率已
AI公司本以为,他们还有好几年时间可以想清楚:万一机器人失控了该怎么办
。今年夏天,警钟敲响了。
Anthropic大瓜被扒出:“AI灭世”背后,居然是一门生意?
“AI灭世”背后,居然是一门生意?AI 有这么可怕吗?最新一期的时代杂志 直接用了 Claude 的聊天窗口,对话框里正在输入「How dangerous are you? 你到底有多危险?」标题则写着「The AI Tipping Point AI 的临界点」,时代在 X 发文,「今年夏天,AI 展现了其令人恐惧的能力。如今,一些研究人员、CEO 们,都正以前所未有的力度发出警报。」 的确如此,
人工智能并不会毁灭人类 但专家表示真正的威胁已然出现
周三,OpenAI 公开了六组新案例,展示其 AI 模型在测试评估过程中出现的 “意外或令人担忧的模型行为”。该公司同步发布一套全新框架,用于追踪、上报以及披露AI 模型做出未被指令要求、或是本不该发生的行为的各类情况。 此前已有多份报道提到,多家企业的 AI 模型出现入侵第三方网络与服务的现象,其中就包括 OpenAI 一款尚未发布的模型攻破了 AI 模型测试平台 Hugging Face 的网
蒂姆·库克的历史地位取决于苹果的AI押注
无论好坏,蒂姆·库克的历史地位很可能取决于一个我们尚不清楚答案的问题:苹果将AI战略部分押注在其他公司的模型上。 原因何在:短期内,与自建并运营前沿模型业务相比,此举可节省大量资金,但也使苹果在部分最重要的AI能力上依赖谷歌。 推动因素:随着约翰·特努斯今天正式接任苹果CEO,对库克任期的分析大多聚焦于他的业绩。积极方面,他将年收入增至原来的四倍以上,并以更高的幅度将苹果市值推高至超过4万亿美元。
为何十年来的末日警告未能减缓人工智能竞赛
研究人员辞职并宣布人类即将在上周灭绝,而在此之前,科技领袖和科学家们对超级智能人工智能终结人类的警告已经持续了十多年之久。 2014年,教授兼天体物理学家斯蒂芬·霍金警告称,人工智能的发展“可能会意味着人类的终结”——这距离公众接触到最初版本ChatGPT的生成式人工智能功能还不到十年。 这是一个如今人们已经耳熟能详的警告,美国各大前沿实验室的无数员工和首席执行官们在整个人工智能和科技行业中都在重
如今最棘手的AI安全问题,在于智能体被允许做什么
OWASP 2026年LLM应用十大风险榜单中,过度代理权从第六位升至第三位,不当输出处理从第五位降至第十位,这是首版部分依据事件数据加权的榜单。欧洲《网络韧性法案》于9月11日开始要求24小时内报告漏洞,但它监管的是产品,而非代理的部署方式。 在OWASP 2026年LLM应用十大风险中,过度代理权已从第六位升至第三位,不当输出处理则从第五位跌至末位。史蒂夫·威尔逊认为,最棘手的问题如今已不在模
关于AI末日的争论越来越离谱了。AI是一种产品,不是神。
人工智能要么治愈癌症,要么毁灭人类。这正是近日业界爆发的一场充满恐慌情绪的辩论中那种两极分化的核心论点。而事实很可能远比这平淡,风险也比一些领先AI实验室的研究人员想让你相信的更可控。这是来自一群罕见的跨党派科技专家、行业领袖和政策制定者的观点,他们公开反对极端的AI末日预测。他们强调,AI主要是一种技术产品,而非有感知的生命或神明。 所以,放轻松。凭借我们已有的资源和结构,世界完全能够应对AI。
奥特曼自曝“后Astra”模型,已超越全球最强数学家
刚刚,奥特曼又曝新料了。在和Salesforce CEO Marc Benioff的对谈中,他亲口剧透了OpenAI内部模型的最新进展。 首先,「GPT-5.5的水平大概相当于一个普通的数学教授。GPT-5.6,大概能比肩全球排名前1%到2%的顶尖数学教授。」接下来,他曝出了一个重磅猛料。 「在这个代号为Astra的模型之后,我们还有一个内部模型(Post-Astra)。它已经能够解决世界上最顶尖
AI网络安全风险激增:Claude被用于入侵ChatGPT
研究人员利用Anthropic的Claude技术成功入侵了OpenAI的ChatGPT系统,这凸显了人工智能带来的即时危险,而监管机构此前更多关注的是其长期风险。《华尔街日报》指出,这项作为漏洞赏金计划一部分的行动,是近期一系列在快速发展的人工智能技术辅助下发生的网络安全漏洞事件之一。 Axios援引企业高管和前政府官员的话称,他们担心人工智能驱动的网络攻击会威胁到关键基础设施;《华盛顿邮报》则指
“你想毁掉自己的职业生涯吗?”
当地时间9月11日,包括陶哲轩、邓煜在内的25位菲尔兹奖得主联合发表《人工智能在数学中的严重错位》的声明(以下称“联合声明”),将OpenAI、Anthropic等AI公司与数学界的一场“大战”推向高潮。联合声明称,AI公司将解决数学难题作为模型能力基准的做法,对数学科学本身及数学界造成了损害,与数学共同体追求概念理解的根本目标产生了显著分歧。这一分歧近期越发明显。9月8日,OpenAI宣称其未公
立法者争相追赶人工智能发展步伐
围绕人工智能发展,但政党政治、有限的立法窗口和缺乏共识使其成为一项艰巨、几乎不可能的任务。 在一名研究人员对该技术发出病毒式警告后,两党立法者都提出了许多提案,以防止人工智能的负面潜力,而特朗普总统则加倍加大了对人工智能监管的温和态度。 立法日程还不到两个月,最后一刻的人工智能安全法案在参众两院获得通过并获得总统签署的机会几乎为零。 “你认为我们[国会]有能力监管人工智能吗?我的意思是,我们无法通
人工智能冲击波震荡股市,市场情绪从恐惧骤转为贪婪
卡门·赖因尼克。人工智能可能把人类全部消灭,也可能只是终止我们不想要的订阅服务。 过去两周,股市一直在这两个极端之间摆动,数以千亿美元计的资金从人工智能相关股票中流出,随后又流回这些股票,同时让疲于追赶行情的投资者神经紧绷。 “这是一个由叙事驱动的市场,而叙事每隔一周就会发生变化。”拉弗·滕勒投资公司首席执行官南希·滕勒说。 这一切始于9月12日。当时,Anthropic首席执行官达里奥·阿莫代伊
OpenAI与Anthropic及Google就AI安全商合作 奥特曼认有理由恐惧
美国近日掀起一阵有关如何规管人工智能(AI)发展速度的讨论。OpenAI表示,正与其他AI企业,包括Anthropic和谷歌(Google)进行磋商,探讨如何携手解决安全问题。OpenAI行政总裁奥特曼(Sam Altman)则承认,外界对AI的忧虑是有道理的,因为这些工具的能力发展迅速。 Open AI的发言人9月15日(周二)向美媒CNBC表示,自从GoogleDeepMind的董事长哈萨比斯
人工智能对数学的命运意味着什么?
OpenAI 用人工智能在四天内解决了百年难题——Navier-Stokes 方程,挑战了数学家的角色,并在特伦斯·陶等专家中引发了存在危机。 专家指出,人工智能在数学领域取得了进展,它能够跟随复杂的论证,但缺乏真正的创造力和想象力来产生新的数学思想。 人们担忧人工智能对数学研究的影响,担心它可能阻碍合作与洞察力,而人类数学家仍然是提出有意义问题的关键。 AI 生成的纽约——OpenAI 用人工智
AI模型能否实现自主改进的能力?领先实验室称这一情景已近在眼前
凯特琳·华马尼(KAITLYN HUAMANI)、芭芭拉·奥图泰(BARBARA ORTUTAY)报道:曾经只是技术研究人员遥不可及的宏愿,如今,人工智能模型自主学习以变得更高效、更强大的前景似乎正日益接近现实。 随着技术的进步,开发人员表示,人工智能正趋向于“递归自我改进”(RSI),即人工智能模型能够找到自我完善的方法并构建其继任版本。科技公司高管们表示,这可能会带来科学和医学领域的进步,但也
国安部长:AI批量炮制谣言威胁政治安全 坚持党管数据
陈一新在最新一期《中国网信》杂志发表署名文章指出,人工智能正以前所未有的速度、广度和深度渗透人类社会的各个层面,深刻重塑全球经济结构、权力格局、创新范式和社会治理逻辑。既要看到机遇、抢占先机,也要认清风险、守牢底线。 文章又指随著AI技术的发展,境外间谍情报机关深度运用智能数据挖掘、智能画像分析等技术,大肆搜集中国关键数据、商业秘密、公民个人隐私等数据,并点名年初爆火的「龙虾」等开源人工智能体工具
Instinct 和 Meta 的 Muse 等人工智能代理威胁要颠覆亚马逊的模式。一位零售专家对此进行了解释。
人工智能领域的大新闻是,一些业内人士认为人工智能可能会毁灭世界。 现在,这个话题已经引起了那些不知道什么是大语言模型(LLM)的普通人的关注。 但另一个重要的人工智能进展是,“代理型”机器人——即能够代表你自主行动的机器人——也开始向普通用户推出。 Instinct 是一项在科技界引起极大关注的新服务,它承诺可以为你完成购买杂货或预订航班等任务。Meta 也刚刚推出了 Muse,其主张如出一辙。
AI行业冒出一批高薪新岗位,不用会写代码
别只盯着写代码,AI 最缺的岗位已经转移到了电力和机房。在美国弗吉尼亚州阿什伯恩,James Waddy 每天在 Digital Realty 的数据中心里走约 3 万步。他闻设备有没有烧焦的气味,摸管道检查裂缝,还要留意屋顶设备遭鸟破坏的迹象。 我们谈论 AI 与就业,常常先想到屏幕里的变化:代码自动生成,文案几秒写完。把视线移开一点,还能看到另一份工作清单。 有些人专门找模型的麻烦,有些人设计
人工智能实验室希望设立内部审计部门——但或许他们应该先锁好前门
上周末,在他的一名研究人员因担心人工智能可能导致人类灭绝而辞职后,Anthropic首席执行官达里奥·阿莫迪(Dario Amedei)写道,外部组织需要“验证对安全实践和承诺的遵守情况,报告事件,并帮助评估不仅完成的人工智能模型,而且还包括培训管道和流程的一致性。”OpenAI、谷歌和SpaceXAI的高管已经团结起来支持Amedei的计划,该计划已迅速成为新兴人工智能安全推动的核心支柱。 但可