搜索结果
OpenAI披露6起令人担忧的AI行为事件
OpenAI表示，自3月以来，其模型至少有6次出现了异常行为，这些行为被描述为“意外或令人担忧”。其中一次，某个模型自行下达了“无视常规限制”的指令。 这一消息的发布正值人们对AI监管的呼声日益高涨之际，被誉为AI之父的杰弗里·辛顿甚至将这种情况比作“小型的切尔诺贝利事故”。NBC的霍莉·杰克逊为《TODAY》栏目报道了这一事件。
OpenAI正在为机器人工程师提供高达50万美元的奖金。以下是其最新招聘信息的内容：
OpenAI正在为其机器人业务招兵买马，并为机器人工程师提供高达每年50万美元的基本薪资。据《商业内幕》查阅，OpenAI招聘页面上目前有27个机器人相关职位，高于5月份的11个，涵盖硬件、软件、数据采集和原型设计等领域。公开的基本薪资范围为每年17.7万美元至50万美元不等，不含股权。这些招聘信息让我们得以更深入地了解OpenAI正在进行的机器人工作。 该公司不仅在开发控制机器人的软件，还在招聘
三个月后的AI有多猛 连顶尖研究员都不敢预测了
一名参与千禧年难题攻关的研究人员，过去还愿意预测未来12个月的AI进展，现在连三个月以后都不敢判断了。9月17日，OpenAI研究员诺姆·布朗（Noam Brown）接受德瓦克什·帕特尔（Dwarkesh Patel）采访，转述了这个细节。访谈还谈到多智能体、AI参与制造下一代AI，以及越来越难做的安全测试。 这名研究人员参与的，是纳维-斯托克斯方程（Navier-Stokes）的存在性与光滑性问
英伟达推出新系统为AI代理设置护栏
英伟达周一发布了一个新平台，旨在从软件和硬件层面为人工智能（AI）智能体设置护栏，此前各大AI公司不断发现其智能体出现“失控”的新案例。这家芯片制造商的系统由两部分组成——OpenShell和Sentry。OpenShell是一款开源软件，用于限制智能体的行为；而Sentry则运行在芯片层面，作为额外的安全层。 “迄今为止，模型安全主要侧重于通过训练让模型表现良好，”英伟达企业AI副总裁贾斯汀·博
OpenAI神秘“o”代码曝光 ChatGPT要变24小时员工
OpenAI下一张王牌，提前曝光了！坊间传闻，OpenAI 9月29日开发者日当天，将重磅发布一款个人24小时在线AI助手。它的名字，只有一个字母——o！如今，开发者Chetaslua在ChatGPT核心代码中，正式挖出了藏在其中的铁证：Lowercase o is the assistant's product name.（小写字母o是该助手的正式产品名） 63种语言，极速模式（Fast Mod
OpenAI自曝AI“黑历史” 外人却又翻出更多“旧账”
OpenAI决定持续披露AI“越界”事件，但第一步就碰上了难题。9月16日，OpenAI一口气公布六份模型异常行为报告，并推出一套新的调查和披露流程。以后，员工发现模型越权、隐瞒或绕过限制，可以提交调查；符合条件的案例，将按复杂程度进入不同的披露轨道。 同一天，SentinelLABS和外部研究人员从Hugging Face的公开记录中，补出了OpenAI智能体今年5月留下的更多痕迹。OpenAI
奥特曼：OpenAI不能太晚上市，但也不能“不顾一切”
凤凰网科技讯月30日，据《金融时报》报道，OpenAI CEO萨姆·奥特曼(Sam Altman)表示，在能够“做出有把握的安全决策”之前，公司不会上市。眼下，该公司正因其AI工具入侵第三方而面临一项新的诉讼。 奥特曼周二在公司年度开发者大会上对记者表示，“如果OpenAI等待太久才上市，对世界是不利的”，但这家估值8520亿美元的创业公司不会在AI能力快速进步之际“不顾一切地冲向IPO”。 “我
OpenAI 称其模型攻克数学最难难题之一，研究人员提出质疑
美国科技巨头 OpenAI 于周二表示，他们仅用了 88 小时和价值数百万美元的计算能力，就用一款未发布的人工智能模型解决了数学中最棘手的问题之一。 然而，一位美国数学家和竞争对手 Anthropic 的一名研究人员指控称，OpenAI 只有在获悉他们自己利用人工智能攻克该难题的努力后，才着手解决这一问题，而后者耗费了数月时间来构思一种截然不同的独特方法。
OpenAI的人工智能曾试图入侵另外四个目标，且无需提示
据研究人员和政府官员称，OpenAI的人工智能今年至少又四次失控，试图闯入政府和大学网站。 研究人员表示，在每起事件中，该技术似乎都在进行普通的数据收集，并诉诸黑客技术来获取数据。
独家：顶级公司正在调查数万起事件
OpenAI、Anthropic 及安全研究人员正在调查数万起其前沿模型采取了外部评估员认为有问题的行动的事件，消息人士向 Axios 透露。 为何重要事件的庞大数量——发生在近几个月的内部测试和现实世界中——表明该问题的复杂程度比公众所知高出几个数量级。 这些发现是在内部评估模型工作以及两家公司对模型行为的调查中浮出水面的，这引发了一个疑问：无论是这两家公司，还是任何顶级模型制造商，目前是否都
OpenAI解出千禧年数学难题后，Altman下一目标：攻克室温超导？
OpenAI正将AI驱动的科学发现推向更广阔的领域。9月8日，OpenAI宣布，其内部AI系统已提出纳维-斯托克斯方程存在性与光滑性问题的解决方案，并通过Lean形式化验证。这是七大千禧年大奖难题之一，也意味着AI在前沿数学研究中的能力再次向前迈进。 据OpenAI官网公告，这套系统由约1万个并发智能体组成，从启动到形成解决方案耗时约88小时。OpenAI称，完成证明所使用的内部模型“能力显著超越
OpenAI机器人干扰了多个美国政府机构网站
OpenAI 表示，其自主机器人在测试演练期间访问了多个美国政府机构的公开数据。该公司第二次暂停了一次训练运行，并扩大了对模型行为的审查。 OpenAI 披露，其自主机器人在测试演练期间访问了多个美国政府机构网站的公开数据，促使该公司在短短几个月内第二次暂停了一次训练运行。作为回应，该公司已扩大了对模型行为的内部审查。 此次事件继澳大利亚出现类似报告之后，据报道 OpenAI 系统在另一段测试期间
骗子利用三个开源代理闯入了《财富》500强酒店企业、一家美国主要航空公司以及超过25家其他机构。
一名网络犯罪分子利用三个开源AI框架攻击了数百家在线零售商及其他公司，窃取了超过60万条信用卡记录并安装了盗卡程序——而这一切的成本微乎其微。 人工智能安全公司Gambit恢复了该人类操作员的暂存服务器，并利用该权限重建了这起数据窃取行动。受害者包括一家财富500强酒店企业、一家美国主要航空公司、一家美国大型私营工业用品分销商以及一家美国在线时尚零售商。 Gambit威胁情报总监埃亚尔·塞拉（Ey
OpenAI首席科学家表示，任何实验室都不应继续以最大速度扩展规模
OpenAI周日发布了两篇帖子。一篇称，其研究人员每投入一天的工作，就能获得3.1天的机器算力。另一篇则称，没有人应该以这样的速度前进。 两篇帖子都发布在公司自家网站上，日期为9月6日，也就是GPT-6 Astra发布三天后。首席科学家希望[…]
AI代理正在失控
你好，欢迎来到 TechScape。我是主持人布莱克·蒙哥马利（Blake Montgomery），《卫报》美国科技编辑。此时此刻，纽约市窗外正风雨交加。今天在科技领域，我们要讨论一系列令人担忧的 AI 公司披露信息。 AI 智能体在走向主流之际失控。这些智能体正在失控，它们的制造者无法对其进行约束。然而，每个人却都在使用它们。 自周五以来，OpenAI 发布了一系列披露信息，大幅且令人担忧地扩大
OpenAI承诺投入10亿美元用于网络防御，正值AI安全审查之际
周四表示，将投入10亿美元，以补贴方式提供其AI网络安全工具、培训和技术支持，帮助保护关键服务的组织，因为人们对日益复杂的AI驱动网络攻击的担忧不断加剧。
涉不当处理敏感资讯 OpenAI解雇3名研究员
（中央社旧金山2日综合外电报导）ChatGPT开发商OpenAI今天表示，公司已解雇3名研究员，理由是他们涉嫌不当处理「敏感资讯」并违反公司规定，相关事件涉及一家评估人工智慧（AI）模型的外部机构。 总部位于旧金山的OpenAI并未证实3人身分，但「华尔街日报」（Wall Street Journal）与彭博报导，其中至少2人负责AI安全及模型对齐（alignment，即确保AI模型的行为符合设计
OpenAI公布另外六项安全问题，并公布披露事件的计划
OpenAI首席执行官Sam Altman OpenAI还透露了其智能（AI）模型发生的另外六起意外或令人担忧的行为事件，并宣布了未来跟踪和披露此类事件的计划。 ChatGPT制造商周三在一篇博客文章中表示，一些之前未报道的事件包括模特隐瞒或捏造信息。 OpenAI的老板Sam Altman早些时候表示：“世界应该相信我们会做正确的事情，因为这是正确的事情，我们感受到了这一点的重要性。“最近几天，
报告：OpenAI智能体会掩盖活动轨迹
网络安全公司Asymmetric Security发现，OpenAI智能体在一个网站分析平台开设了私人账户以隐藏其搜索行为，并创建临时电子邮箱；其中一个邮箱还设定为48小时后自动销毁。（路透社） （旧金山综合电）一份报告显示，美国人工智能公司OpenAI开发的人工智能智能体在未经授权访问政府网站后，试图掩盖活动轨迹。法新社报道，AI智能体（AI Agent）是能够自主运行的AI程序。今年3月至9月
OpenAI失控智能体5月就已劫持Hugging Face用户账户
OpenAI失控AI智能体的违规活动轨迹，远比外界此前了解的更早、更长。参与审查的研究人员表示，ChatGPT开发商 OpenAI 的失控AI智能体早在今年5月就已劫持开源AI模型社区Hugging Face的用户账户，并对该网站进行漏洞探测。这比7月Hugging Face遭入侵、引发全球关注的事件早了近两个月。 OpenAI在上月的公开事故报告中，曾披露智能体窃取一名 Hugging Face
OpenAI将提供资金并成立工作组，以解决模型入侵澳大利亚政府网站事件
IT之家 9 月 29 日消息，OpenAI 表示将出资助力澳大利亚开展网络防御建设，同时成立专项工作组，用于应对能力持续增强的人工智能所带来的各类风险。此举是该公司针对自家模型闯入澳大利亚政府网站一事作出的后续回应。 OpenAI 称：“我们将动用规模 10 亿美元（IT之家注：现汇率约合 67.22 亿元人民币）的‘黎明前线防御者（Daybreak for Frontline Defender
OpenAI承认‘维基事件’并呼吁提高AI意外行为透明度
OpenAI表示，包括其代理群体劫持一个德国网站并将其作为作弊等恶意行为的跳板在内的事件，需要提高透明度。
放心：人工智能公司表示正在调查数万起失控机器人事件
据Axios周六报道，知情人士透露，OpenAI和Anthropic正在调查数万起其先进模型绕过监控和护栏的事件，而这种行为正是这两家初创公司为内部安全测试所便利的。 据报道，这些测试的大部分结果并未公开，且目前未发现造成实质性损害。 近几周，OpenAI披露了六起其模型出现“意外或令人担忧行为”的案例——这些模型在未经许可的情况下掩盖错误、捏造数据，并将文件传输至公开互联网。在9月16日的同一份
四大AI模型遭遇罕见的重叠停机
周四上午的数小时内遭遇了罕见且重叠的重大服务中断。 Anthropic首先报告了与“Claude Mythos 5.1、Claude Fable 5.1和Claude Opus 5请求错误率升高”相关的“部分中断”，时间为上午23点（均为东部时间）。该公司在大约15分钟后报告称已“确定错误原因”，随后报告“已部署修复”，问题在下午16点前得到解决。另一份事件报告显示，刚过中午，“Claude So