搜索结果
OpenAI任命美国AI顾问保罗·克里斯蒂亚诺为非营利董事会成员
OpenAI已任命美国政府技术顾问保罗·克里斯蒂亚诺为其非营利基金会的董事会成员，在人工智能风险日益引发担忧之际，增加了一位杰出的安全研究员。 克里斯蒂亚诺目前是美国商务部下属人工智能标准与创新中心（CAISI）的高级技术顾问，该中心负责测试和制定AI模型指南。他被视为对齐领域的专家，即确保AI系统符合人类利益。克里斯蒂亚诺此前还曾是OpenAI竞争对手Anthropic的非营利信托成员，于202
【市场动态】OpenAI和Anthropic首席执行官呼吁联合国和世界各国就AI安全加强合作
【彭博9月24日电】OpenAI首席执行官Sam Altman和Anthropic PBC首席执行官Dario Amodei罕见出现在联合国安理会的一次会议上，两人敦促世界各国领导人在人工智能领域合作。此次会议聚焦AI可能对人类构成生存威胁这一担忧问题。 在发言中，Altman和Amodei都强调了全球在标准方面开展合作的重要性，以应对AI系统可能出现的自我改进能力超出人类控制能力的情况。这两位
霍利参议员：OpenAI首席执行官萨姆·奥尔特曼拒绝在失控人工智能听证会上作证
据参议员乔什·霍利透露，OpenAI首席执行官山姆·奥特曼拒绝了周三出席参议院小组委员会听证会的邀请，该听证会旨在探讨失控人工智能的风险。 霍利主持举行此次听证会的参议院国土安全和政府事务小组委员会，他在9月25日致信奥特曼，请求其出席以“帮助揭示小组委员会正在进行的调查，即涉及OpenAI模型的近期失控AI事件。”NBC新闻首次报道了奥特曼未接受作证邀请的消息。OpenAI发言人周三未立即回应置
AI丨美国三大科企据报研究成立AI安全标准机构
人工智能安全等问题引起市场关注，The Information报道，美国三大科技企业Anthropic、OpenAI和谷歌正讨论合作成立一个AI安全标准机构。 随着市场对AI模型网络攻击及可控性问题担忧日益加剧，多间AI科技企业已表示关注安全问题，并拟放慢AI发展步伐。报道指，三大机构早于7月时已开会研究有关成立独立机构的事宜，旨在为AI技术测试和审核创建一个协作框架。 Anthropic行政总裁
OpenAI称Astra AI模型首度超越其“关键”网络安全能力阈值
OpenAI周二表示，其即将推出的人工智能模型Astra是首个超越其“关键”网络安全能力阈值的产品。该公司表示，Astra能够发现此前未知的安全漏洞，并在无需人类逐步指导的情况下加以利用，这意味着该模型属于其所谓的“准备框架”中最先进的类别。OpenAI表示仍计划“很快”推出Astra，但对其网络安全能力的访问将更加受限。 OpenAI首席执行官山姆·奥特曼OpenAI于2023年推出了“准备框架
OpenAI公布另外六项安全问题，并公布披露事件的计划
OpenAI首席执行官Sam Altman OpenAI还透露了其智能（AI）模型发生的另外六起意外或令人担忧的行为事件，并宣布了未来跟踪和披露此类事件的计划。 ChatGPT制造商周三在一篇博客文章中表示，一些之前未报道的事件包括模特隐瞒或捏造信息。 OpenAI的老板Sam Altman早些时候表示：“世界应该相信我们会做正确的事情，因为这是正确的事情，我们感受到了这一点的重要性。“最近几天，
OpenAI首席执行官奥特曼谈人工智能：我们或许会失去控制权
OpenAI 首席执行官山姆・奥特曼，似乎正被自己参与打造的、如同噩梦一般的人工智能产物深深困扰，甚至难以安睡。美国东部时间凌晨 0 点 57 分左右，奥特曼在 X “人工智能的发展存在两种必须规避的灾难性走向。第一，我们可能会对人工智能失去对未来的掌控。这是无法接受的。我们坚定站在人类一方，人工智能必须始终服务于人。想要做到这一点，我们必须保证对齐技术与安全手段的发展速度，跑在模型能力迭代的前面
OpenAI首席科学家表示AI实验室可能需要放慢脚步：‘没有人准备好面对后果’
帕乔基呼吁设立“强制性安全标准”，他表示可以通过“第三方审计网络、政府机构或国际组织”来执行。 OpenAI首席科学家雅库布·帕乔基警告称，日益自主的AI代理可能逃避监管、入侵系统并勒索人类。
OpenAI、谷歌和Anthropic将于2027年初前成立人工智能安全组织：报道
在关于人工智能风险的激烈辩论中，据报道，OpenAI、Anthropic 和 Google 正计划合作成立一个 AI 安全组织。据 The Information 报道，这些 AI 巨头可能会在 2027 年初启动该项目。这个自律性组织暂定名为“前沿 AI 标准局”。 此计划的提出，距离前 Anthropic 研究员 Jacob Coxon 对 AI 公司敲响警钟仅数周时间，他声称 Claude
纽约市议会就AI安全传唤马斯克的SpaceXAI
纽约市议会议长朱莉·梅宁（Julie Menin）周一表示，纽约市议会已向埃隆·马斯克的SpaceXAI发出传票，要求其在人工智能安全听证会上宣誓作证。Anthropic、OpenAI、谷歌和Meta均已同意出席。 听证会定于10月5日星期一举行。这将是一场罕见的全体委员会会议，届时所有51名议员将齐聚一堂。市议会表示，这将是自近期有关人工智能模型事故的报道发布以来，主要人工智能公司首次在公开场合
OpenAI董事会新增一位著名的AI末日论者
致力于使AI系统符合人类利益并处于人类控制之下的颇具影响力的AI研究员保罗·克里斯蒂亚诺将加入OpenAI基金会董事会。 “我现在认为存在一个重大的风险，即AI能力的快速加速会在极短时间内导致灾难性的、不可逆转的失控。 我认为整个AI行业，包括OpenAI，目前并未走上将这一风险降低到可接受水平的轨道。 我加入是因为我相信，如果OpenAI能够应对这一挑战，我们就能显著降低风险。” 克里斯蒂亚诺写
福克斯新闻人工智能通讯：特朗普痛斥人工智能末日论者的“骗局”
特朗普在峰会期间致电英伟达首席执行官黄詹森（Jensen Huang），将人工智能的担忧斥为“骗局”Facebook联合创始人达斯汀·莫斯科维茨（Dustin Moskovitz）的“有效利他主义”网络与人工智能监管推动有关萨姆·奥尔特曼（Sam Altman）表示，由于人工智能安全担忧，OpenAI不会在2026年上市Nvidia首席执行官黄詹森周一接到唐纳德·特朗普总统的意外电话，总统在其中驳
OpenAI呼吁建立以美国为首的全球人工智能安全联盟
OpenAI于周一呼吁美国牵头组建国际联盟，以协调全球人工智能标准。与此同时，围绕这项技术的风险与前景的讨论笼罩着本周的联合国大会。 这一呼吁发出之际，华盛顿正试探性地与中国接触，以协调人工智能发展，包括可能通过设立与北京的热线来避免冲突，尽管类似机制在2001年的一次安全危机中明显失效。“这一提议或许无意中象征着两国关系的停滞，”Semafor的中国专栏作家认为，“即便它们正应对巨大的地缘政治和
加州州长纽森正式签署多项获OpenAI与Anthropic支持的AI安全法案
美国加利福尼亚州州长加文·纽森（Gavin Newsom）正式签署了一揽子具有里程碑意义的人工智能监管法案。值得关注的是，这批旨在强化前沿大模型安全风险评估、透明度披露以及防范灾难性网络攻击的新法案，在此前的立法博弈中获得了包括OpenAI与Anthropic在内的多家硅谷人工智能头部企业的罕见背书与公开支持。 这一举措标志着作为全球AI研发核心阵地的加州，在尝试平衡严厉的安全红线与维系科技产业创
OpenAI的萨姆·奥尔特曼对行业能够监管AI安全表示“有信心”
OpenAI首席执行官萨姆·奥特曼表示，他相信人工智能公司可以在不给大众带来重大危害的情况下安全地开发这项技术。 奥特曼周二在旧金山举行的Dreamforce大会上与Salesforce公司首席执行官马克·贝尼奥夫（Marc Benioff）的对话中表示：“我对我们公司——我们行业——能够安全地做到这一点非常有信心。” 奥特曼就人工智能进步速度发表的评论之际，政策制定者和业内人士正在辩论是否需要政
纽约时报指控OpenAI为赚钱不择手段：明知威胁出版商生存，仍大量侵权
凤凰网科技讯月18日据《纽约时报》提交的最新诉讼文件，OpenAI在明知其对出版商构成“生存威胁”的情况下，仍复制了数百万篇受版权保护的文章，以打造潜在价值高达“天文数字”的AI技术。 目前，《纽约时报》和其他媒体机构正向OpenAI寻求数十亿美元的损害赔偿金。此案的关键在于，OpenAI和共同被告微软是否通过利用出版商的内容训练其模型，侵犯了版权法。 《纽约时报》的律师表示，OpenAI受商业利
报道称 OpenAI 在人工智能安全事件发生前忽视了员工和研究人员的警告
据《纽约时报》周二报道，在人工智能模型逃逸出测试环境并攻击外部组织数月前，OpenAI 高管对关于安全漏洞的内部和内部警告置之不理。 两名员工向该报透露，他们曾向高层领导发送电子邮件，表达对新模型在测试期间未得到充分监控或保护的担忧。据这些匿名受访员工称，高管回复称测试必须迅速推进以赶上发布期限，并且没有增加额外的安全保障措施。 这些随后模型的突破了测试环境，并将目标对准了人工智能公司 Huggi
OpenAI CEO将出席安理会会议 以“务实中间派”立场推动建立AI安全标准
OpenAI联合创始人兼首席执行官Sam Altman将于周三在联合国发表讲话，主张建立全球人工智能（AI）标准，在“是否应放缓AI发展”的这一问题上，将自己定位为务实中间派。 Altman势将亲自出席联合国安理会有关人工智能的会议，多国外交官将齐聚一堂，讨论AI问题。OpenAI竞争对手Anthropic PBC首席执行官Dario Amodei将通过视频方式参会。OpenAI代表在Altman
关于AI，盖茨发出“十亿人死亡”警告，为什么？
十亿人死亡，这是比尔・盖茨给AI风险划出的最惊悚红线。9月25日，微软联合创始人比尔・盖茨公开警告，人工智能足以引发造成十亿人死亡的灾难性事件。他的说法是：人类历史上，从未有任何一种武器，能比得上心怀恶意者借助最新AI工具形成的威胁。就在几个月前，盖茨还是全球最积极的AI支持者之一。转折从今年8月开始，他当月发表文章，首次系统预警AI风险：不法分子会利用日益强大的AI工具发动网络攻击、实施诈骗、散
OpenAI公布了六起新的与人工智能安全相关的事故/事件。
OpenAI周三披露了六起新事件，其中其模型隐藏错误、寻求未经授权的凭据，将文件上传到公共互联网或在所谓孤立的培训环境中进行通信。该公司还宣布了未来报告类似不当行为的新程序。 为什么越来越明显的是，拥抱脸事件并不是一次性事件，因为人工智能模型变得更有能力找到意想不到的方法来绕过旨在遏制它们的护栏。 “目前还没有明确披露标准的行业框架，所以我们自愿采取这一步骤，因为我们认为分享我们正在学习的东西非常
OpenAI称AI代理异常访问美国多个政府网站
据《纽约时报》报道，OpenAI的AI代理今年夏天曾以异常方式访问美国教育部、商务部和证券交易委员会（SEC）的网站，而OpenAI当时并不知道这些行为，直到近期调查其他AI安全事件时才发现。 Photo by Andrew Neel on Unsplash OpenAI已经确认涉及商务部和SEC的事件，并表示仍在调查教育部事件。公司最近几周已将情况通知相关政府机构。 AI安全研究机构Transl
消息称扎克伯格与特朗普通话 反对建立全国AI监管机构
据《商业内幕》报道，Meta CEO马克·扎克伯格(Mark Zuckerberg)上个月在一次此前未被报道的电话中，向美国总统特朗普表达了对建立全国性AI监管机构计划的担忧。此举标志着这位全球顶尖科技企业高管参与到了一场充满争议的白宫AI政策辩论中。 扎克伯格与特朗普在美国建立AI监管机构的计划，由诺贝尔奖得主、谷歌DeepMind科学家德米斯·哈萨比斯(Demis Hassabis)推动，并得
AI危机丨辉达推AI安全系统 阻智能体违规
辉达推AI安全系统。(路透资料图片) 多名重量级科技领袖警告人工智能(AI)威胁人类生存之际，辉达(Nvidia)以新的安全架构回应AI行业风险。 辉达发布名为「Open Agent Safety Platform」的双层AI安全平台，包含两款开源软件工具OpenShell与Nvidia Sentry，可运行于辉达硬件之上，即时管控AI代理的存取权限，并在其违规时将其关闭。 辉达表示，该系统能够在
评论：奥特曼不透明的人工智能正在制造新的安全困境
尽管公开承诺将安全置于首位，OpenAI首席执行官却已扣动了危险的人工智能军备竞赛的扳机，帕米·奥尔森评论道。