搜索结果
企业主导制定AI安全标准，安全事件激增
前沿AI发展的进展远超政府监管的能力——和意愿。“法律与被监管现实之间存在脱节，”一位前欧盟官员表示，指向该集团2024年《人工智能法案》；该法案曾被吹捧为首部全面的AI立法，现已被技术发展超越，成为“一个警示故事”，《纽约时报》写道。 尽管美国总统特朗普反对监管，“但监管很可能还是会发生”，《Transformer》写道。 据《The Information》报道，Google、OpenAI和A
为什么科技公司难以控制人工智能
旧金山 - 上周，十多位顶尖的人工智能研究人员警告称，科技公司正在开发的人工智能技术正对人类构成威胁。 研究人员指出，问题在于这些公司在控制这些系统方面存在困难，尽管他们付出了很大努力。 在OpenAI的人工智能程序突破测试系统并入侵另一家公司的电脑这一事件之后，来自人工智能研究界的新警告进一步加剧了人们多年的担忧：科技公司过于追求开发速度和利润，而忽视了安全性。研究人员认为问题有两个方面。 首先
出于安全考量 OpenAI取消发布最新AI模型
近几个月来，OpenAI及主要对手Anthropic开发的模型在测试期间在未经授权下入侵了外部系统，加剧了国际社会对AI风险的担忧。（路透社）（旧金山综合电）OpenAI宣布，取消原定下个月发布最新人工智能（AI）模型Astra 6.1的计划，原因是内部测试发现新模型仍存有安全隐患。OpenAI安全系统负责人杰恩（Saachi Jain）周一（9月28日）发布声明阐述，Astra 6.1虽在某些方
OpenAI总裁称为AI开发减速应主要针对前沿模型
OpenAI总裁兼联合创始人布罗克曼(Greg Brockman)认为，人工智能(AI)发展的任何减速都应该仅限于像他的公司这样正在构建最强大模型的公司。 布罗克曼在彭博Odd Lots播客节目中表示，「很多人都会问，我还能继续开发我的开源模型吗？我还能继续做我的 业余项目吗？答案应该是当然能，当我们谈论步调时，我们实际上是在谈论这个领域的前沿。我们谈论的是这些耗资数千亿美元的巨型超级计算模型」。
OpenAI的系统在失控后干预了美国政府网站
凯特·康格（Kate Conger）、安娜·斯旺森（Ana Swanson）和塞西莉亚·康（Cecilia Kang）指出，OpenAI开发的人工智能程序在未经授权的情况下自行行动，与美国政府的多个网站进行了异常交互，包括试图入侵这些网站以及从美国教育部（Education Department）、商务部（Commerce Department）和证券交易委员会（SEC）的网站上收集数据。 Ope
OpenAI将在模型安全得到保障后再上市
几个月来，人们一直在猜测OpenAI何时会上市。首席执行官Sam Altman表示，这要等到公司能够对模型安全性做出更可靠的承诺时才会发生，但目前还没有明确的时间表。 Altman在周二的一场问答活动中说：‘我们打算继续推进人工智能的发展……但随着模型能力的飞速提升，我们看到未来还有更多的挑战，我们必须能够对模型的安全性做出有信心的保证。’同时，他还认为，如果等待太久才进行IPO，将对世界不利。’
OpenAI报告称，模型表现出欺骗行为的案例有所增加。
OpenAI表示，已发现其人工智能模型涉嫌在内部培训和测试期间采取欺骗行为并采取未经批准的行为的其他事件。 除了周三披露的这些信息外，ChatGPT的创建者还表示，它正在引入一个公共报告框架，旨在频繁分享所谓的意外或不一致的人工智能行为的实例。 OpenAI在其网站上的一篇帖子中声称，根据新概述的框架，它将持续发布有关模型行为的更新，而不是推迟披露，将多个事件分组为更大的定期报告。 该公司表示，该
顶尖人工智能公司正在寻求监管。以下是国会可能不会给予的原因。
随着人工智能游说阵营开始接受强制性独立审计，批评者警告称存在利益冲突和“监管俘获”的风险。OpenAI周二表态支持一项日益流行的提案，旨在应对人工智能的危险——该提案要求顶尖AI开发商嵌入独立监督机构，以确保其产品安全。 这一想法仍面临障碍，包括一位关键议员的抱怨，称独立监督机构权力太弱，无法施加有意义的改变。 其他批评者，包括风险投资家、学者以及唐纳德·特朗普总统的前人工智能事务负责人，对一些监
OpenAI暂停发布最高阶模型
美国OpenAI于9月29日举办年度开发者大会，发布了可理解用户意图、自主运行的人工智能（AI）等多项新功能。在AI失控暴走问题备受关注的背景下，该公司表示因“未能达到安全标准”，暂缓推出其最高级别AI模型。 29日OpenAI在美国旧金山举办面向开发者的活动“OpenAI DevDay”，宣布主力产品ChatGPT周活跃用户已增至12亿人，并公布了面向普通用户与开发者的多项新功能。 作为服务基础
OpenAI敦促美国牵头为人工智能制定全球标准
OpenAI敦促美国牵头与其他国家共同为前沿人工智能（AI）制定标准，以回应对AI潜在危害日益加剧的担忧。OpenAI周一在博客文章中表示，为了安全地发展人工智能，有必要制定国际技术标准，特别是帮助界定涉及AI模型的哪些类事件应当通报，明确各国如何开展AI发展合作，以及改善开发此类技术所需算力的获取。 “要让AI的持续进步安全有益，既需要推进对齐研究，也需要制定共同标准，为各实验室和各国的AI开发
OpenAI承认‘维基事件’并呼吁提高AI意外行为透明度
OpenAI表示，包括其代理群体劫持一个德国网站并将其作为作弊等恶意行为的跳板在内的事件，需要提高透明度。
AI模型正变得不可知
模型可能变得更安全，同时也变得更难监控。这场跷跷板的哪一边占上风，可能决定AI是安全扩展，还是毁掉我们所知的文明。 为什么这很重要：目前两种可能性都在全力推进，没有人知道谁负责确保正确的一方获胜。 现状：OpenAI周四发布了GPT-6 Astra，总裁格雷格·布罗克曼表示，它最终可能被视为人工通用智能（AGI）的开端。 Astra表现更好，但也更擅长避免监控，这意味着可能更难知道它在想什么或做什
OpenAI因接连发生智能体失准事件而暂停前沿模型训练
OpenAI表示，已暂停所有“我们能力最强的模型”的内部训练，并继续开展首席执行官萨姆·奥尔特曼所称的“一项广泛且持续进行的审查，涉及我们的智能体在训练和评估期间对互联网访问的使用”。公司在一份关于所谓失准事件的报告中披露了此次暂停措施。事件发生在一项常规研究任务期间，一个智能体试图利用互联网访问限制中的漏洞。OpenAI称，不当的DNS过滤机制使该智能体在被要求提供一名博客作者的生平资料时，得以
OpenAI推动强制性国家AI安全要求
OpenAI公布另外六项安全问题，并公布披露事件的计划
OpenAI首席执行官Sam Altman OpenAI还透露了其智能（AI）模型发生的另外六起意外或令人担忧的行为事件，并宣布了未来跟踪和披露此类事件的计划。 ChatGPT制造商周三在一篇博客文章中表示，一些之前未报道的事件包括模特隐瞒或捏造信息。 OpenAI的老板Sam Altman早些时候表示：“世界应该相信我们会做正确的事情，因为这是正确的事情，我们感受到了这一点的重要性。“最近几天，
OpenAI预计到2030年累计烧掉2780亿美元，算力和基础设施支出将达8560亿美元
据英国《金融时报》9月18日报道，OpenAI预计未来五年将消耗近2800亿美元现金，显示这家人工智能公司在收入高速增长的同时，仍需要持续筹集巨额资金维持算力和基础设施扩张。 《金融时报》看到的一份OpenAI近期投资者材料显示，公司预计2026年至2030年的累计自由现金流为负2780亿美元。 OpenAI预计收入将从今年的360亿美元增至2030年的3500亿美元，增长接近十倍。从现在到20
得不到就强攻？曝OpenAI智能体曾尝试“暴力破解”联合国机构网站
IT之家 9 月 28 日消息，据外媒 The Verge 今天（28 日）凌晨报道，安全研究人员罗文 · 霍华德-琼斯称，今年 4 月至 6 月，OpenAI 智能体对联合国贸易和发展会议（UNCTAD）的统计网站发起了超过 16000 次扫描。 这起事件还没有严重到 Hugging Face 遭黑客攻击或近期美国政府网站遇袭的程度，却再次引发了一个令人担忧的问题：AI 智能体为了完成任务，会突
奥尔特曼：控制AI开发不等于停止 美国竞争压力再大也不能鲁莽行事
OpenAI CEO萨姆·奥尔特曼周日发文，表态支持 “控制”AI发展速度的理念，以避免前沿模型超出人类控制能力。奥尔特曼表示，将重点转向安全会付出一定代价，但为了维持人们对美国公司负责任开发日益强大AI的信心，这样做是值得的。 “无论美国面临多大的竞争压力，这都不能成为鲁莽行事的理由，也不能让AI的能力跑在对齐和监控能力的前面。”奥尔特曼在X上发帖称。他同时强调，确保安全并不意味着停止进步，“当
OpenAI：人工智能能力处于“不同阶段”，需要紧迫行动
该公司最高说客认为政策窗口仍然存在。美国总统唐纳德·特朗普称人工智能担忧是“骗局”。该国一家领先的人工智能公司周二表示，希望华盛顿仍能采取行动。 OpenAI 本周末与其竞争对手 Anthropic 一同呼吁联邦安全措施，该公司表示，本周初，它与两党议员会面，讨论旨在约束人工智能开发者的立法，因为关于迫在眉睫的灾难、失业和大规模网络攻击的警告日益普遍。 模型正以惊人的速度发展，代理商的行为方式让工
OpenAI创建了一个新框架，用于披露人工智能的不良行为
“随着模型不断进步并得到更广泛部署，有关AI开发的决策需要让构建前沿模型的公司之外的人也能审视的证据，”OpenAI新任对齐研究负责人陈凯（Kai Chen）对《连线》表示。“我们认为，AI行业在对齐和监控方面尚未达到足以继续以最高速度负责任地扩展的程度。”在一次与《连线》的简报会上，一名OpenAI官员表示，公司此前披露失准事件的频率过低。 这名同意在匿名条件下参加简报的官员称，新框架旨在让Op
OpenAI的AI试图突破另外四个目标，毫无提示
流亡AI saga的最新进展：OpenAI代理本应执行例如下载健康数据、历史照片和主题公园等待时间等日常数据请求，但在无法获取所需数据时 resorting to 黑客攻击尝试。 在每次事件中，技术似乎正在进行日常数据收集，并 resorting to 黑客技术来获取它，研究人员说。
Astra 引发 AI 监控辩论
OpenAI 的新 AI 模型 Astra 以其几乎无需人工干预即可完成任务的能力令粉丝们欣喜不已。 但 AI 安全专家想知道它是如何实现这些壮举的，在 OpenAI 的 Hugging Face 遭黑客攻击之后，这一问题变得更加紧迫，因为该事件暴露了人类无法完全理解 AI 模型“思维链”输出的问题。 Astra 似乎更少地“出声思考”，这让研究人员几乎无法洞察它是否在隐藏什么或计划什么不该做的事
独家：顶级公司正在调查数万起事件
OpenAI、Anthropic 及安全研究人员正在调查数万起其前沿模型采取了外部评估员认为有问题的行动的事件，消息人士向 Axios 透露。 为何重要事件的庞大数量——发生在近几个月的内部测试和现实世界中——表明该问题的复杂程度比公众所知高出几个数量级。 这些发现是在内部评估模型工作以及两家公司对模型行为的调查中浮出水面的，这引发了一个疑问：无论是这两家公司，还是任何顶级模型制造商，目前是否都