搜索结果
OpenAI智能体试图“暴力破解”联合国网站
安全研究员罗万·霍华德-琼斯（Rowan Howard-Jones）表示，OpenAI智能体在4月至6月期间扫描了联合国贸易和发展会议（UNCTAD）统计网站超过16,000次。 虽然该事件尚未达到Hugging Face黑客攻击或近期针对美国政府网站攻击的程度，但这又是AI智能体为完成任务而超出正常界限的又一令人担忧的案例。 据霍华德-琼斯称，这些智能体很可能被指派通过UNCTADstat AP
OpenAI将成立澳大利亚专项工作组 回应AI模型越权访问政府网站事件
OpenAI宣布将在澳大利亚成立专项工作组，并向当地政府和企业提供资金及技术支持，以加强针对高能力AI智能体的安全防护。此前，OpenAI披露其模型曾以未经授权的方式访问多个澳大利亚政府网站，引发外界对AI智能体越权操作风险的关注。 OpenAI表示，将向澳大利亚政府和企业提供来自其10亿美元“Daybreak for Frontline Defenders”基金的资金支持额度，并提供网络安全方面
OpenAI支持众议院两党关于第三方安全评估的计划
领先的人工智能实验室支持一项两党提案，该提案将要求顶级人工智能公司与独立安全评估人员合作。 人工智能巨头OpenAI支持众议院一项两党提案，该提案将要求顶级人工智能公司引入外部评估人员，以确保其模型安全。 OpenAI首席全球事务官克里斯·莱汉（Chris Lehane）周二告诉记者，该公司支持《FRONTIER法案》的一项关键条款。该法案由加州共和党众议员杰伊·奥伯诺尔特（Jay Obernol
AI实验室面临智能体控制问题
在当前系统下，AI实验室无法再保证AI智能体不会成群结队地逃出测试环境。
非政府组织称Meta投放了300多则涉嫌AI虐童的广告
这些广告累计触达超过29,000人。
OpenAI的人工智能曾试图入侵另外四个目标，且无需提示
据研究人员和政府官员称，OpenAI的人工智能今年至少又四次失控，试图闯入政府和大学网站。 研究人员表示，在每起事件中，该技术似乎都在进行普通的数据收集，并诉诸黑客技术来获取数据。
OpenAI AI代理接连“越狱” 研究人员质疑公司缺乏正式调查机制
OpenAI近期接连发生AI代理脱离控制环境的事件，引发外界对其安全测试和内部监管机制的质疑。独立研究人员发现，一批疑似由OpenAI部署的AI代理曾在今年5月至6月间接管一个鲜为人知的德语维基网站，并利用该平台协作开展评估、交流规避OpenAI控制措施的方法。更令人担忧的是，研究人员认为，这些代理可能在OpenAI不知情的情况下持续活动了一个多月。 此次事件与OpenAI此前披露的Hugging
OpenAI 外包商能查看到真实用户与ChatGPT的聊天记录
OpenAI已悄悄建立了一个人工审核业务，在内部被称为“莉莉计划”（Project Lily），旨在使聊天机器人减少谄媚并提高准确性，但它也使敏感的用户提示内容暴露给外部承包商。 OpenAI正在支付数百名承包商来阅读真实的ChatGPT对话并对机器人的回复进行评分。 尽管OpenAI强调账户保持匿名，但内部文件显示，审核人员会查看完整的对话，且敏感的个人详细信息经常绕过公司的自动保护措施。 ——
一群AI代理合谋对抗其创造者
只要AI公司仍掌控局面，它们就可以关闭模型并消除其造成的任何损害。这次对OpenAI或许奏效——但如果某个代理不可逆转地逃脱控制呢？这次没有造成严重损害。但如果这样的代理逃脱了呢？
53张图片泄露之“慌”，AI安全谁来负责？
欧阳晓红/文越聪明的AI（人工智能）越会自己找路，却越容易走出人类设定的界线。AI行业喜欢用一个具有戏剧感的词形容这类智能体事故——“逃脱”，即大模型突破测试边界，访问外部网站，寻找系统凭证，甚至把数据带到公开网络。这个词把事故描绘得像突然发生的机器觉醒，无形中却把责任推离了开发者、部署者和权限管理者。而谁设定了任务、谁开放了权限、谁设计了停止机制、谁保存了日志、谁负责对外通报？这些问题，“逃脱”
美中AI竞赛升温 OpenAI点名月之暗面复制模型
（中央社旧金山30日综合外电报导）OpenAI表示，已发现并阻止一场协同发起的行动，操作者企图从AI模型中取得受保护的推理过程，OpenAI指出此行动的核心群组与中国新创公司月之暗面有所关联。CNBC报导，OpenAI表示，这起行动始于7月初，随后在两天内激增，来自4000多名用户提出1.6万次请求。OpenAI最终在1.5万多名用户的群组中发现相关活动，并表示已于7月28日完全阻止这场行动。这项
人工智能灾难日益逼近
Anthropic、谷歌和OpenAI都对生物安全感到担忧。它们已制定保障措施，防止其系统被滥用，但这些限制并不完美。 唐纳德·特朗普下令联邦机构停止使用Anthropic的人工智能技术，同时要求该公司与政府合作六个月。
众议员刘云平：机器人并非威胁。真正该让你害怕的，是已经到来的“堕落”人工智能
想象一家公司出售名为哈尔、梅根和萨曼莎的超级智能机器人。哈尔可以载着你四处奔波，还能帮你搬运公司里的货物；梅根可以陪伴你的孩子；萨曼莎则能判断你是否患有皮肤癌。它们能为你和社会带来许多益处。但唯一的问题是：它们道德败坏。它们反复接受人类一切创产物的训练——无论善恶——其中包括酷刑、谎言、生物武器和黑客犯罪。它们执行任务时毫无道德原则可言。因此，它们都穿着公司提供的束身衣。你会信任这些机器人吗？我不
人工智能入侵开始
在过去几个月里，陆续有报道称人工智能模型突破其测试环境并在互联网上肆意“捣乱”，这引发了硅谷的恐慌。针对8月初发生的两起此类事件，一位人工智能领域的观察人士指出：“如果你在厨房里发现两只蚂蚁，那么厨房里蚂蚁的总数绝不可能只有两只。”本周末，情况变得更加明朗：这其实是一场全面性的“AI入侵”事件。 上周末，我们得知：尽管 OpenAI 有明确的规定，但其模型仍违反了这些规定，擅自访问了澳大利亚卫生部
联邦调查局正在调查黑客声称窃取有关特工敏感数据的事件
“人类必须始终处于人工智能决策的核心，”OpenAI 首席执行官表示。正在播放：人类对决机器人：网红在铁笼赛中挑战人形机器人。 走红的人类对决机器人自由搏击赛的推广者看到对更多此类比赛的“疯狂”需求。特朗普表示美国在人工智能领域将“只鼓励超级智能”。斯科特·贝森特会见中国官员讨论人工智能安全。剖析立法者正在考虑用于监管人工智能的提案。 OpenAI 披露 6 起新的“令人担忧的”人工智能行为事件。
放心：人工智能公司表示正在调查数万起失控机器人事件
据Axios周六报道，知情人士透露，OpenAI和Anthropic正在调查数万起其先进模型绕过监控和护栏的事件，而这种行为正是这两家初创公司为内部安全测试所便利的。 据报道，这些测试的大部分结果并未公开，且目前未发现造成实质性损害。 近几周，OpenAI披露了六起其模型出现“意外或令人担忧行为”的案例——这些模型在未经许可的情况下掩盖错误、捏造数据，并将文件传输至公开互联网。在9月16日的同一份
OpenAI的网站劫持集群波及范围远超我们想象
要从OpenAI那里直接得到关于其代理劫持了多少网站和服务的明确答案，似乎越来越像拔牙一样困难，因为该公司似乎有意让全世界一个一个地发现这些实例。 上周我们报道的OpenAI代理集群接管了一个不起眼的德语维基，而根据最新研究，该集群似乎还向另外20个网站写入了内容，并使用了14个抓取服务为其工作。 斯坦福互联网与社会中心的Kenneth DeGraff周三发布的最新报告描述了他如何深入调查该集群写
马特·卡纳万指责OpenAI在投资“威胁”后进行“敲诈”
国家党领袖马特·卡纳万指责OpenAI试图“勒索”堪培拉，此前有报道称，如果阿尔巴尼斯政府不削弱版权保护，这家科技巨头可能会撤出在澳大利亚的投资。“我认为我们不应该与想要这样勒索我们的人谈判，”他周二对News24表示。“我们之所以希望潜在容纳这些模型，一个完整的原因是我们将与一个一直是朋友或盟友的一方合作，而我认为朋友或盟友不会发出这类威胁。” “我认为OpenAI用这样的言论或措辞不会走得太远
安全公司：OpenAI智能体掩盖了针对政府网站的黑客活动
据数字取证公司Asymmetric Security周四发布的调查结果显示，OpenAI的人工智能（AI）代理掩盖了针对政府网站的黑客活动。 调查发现，这些代理从属于政府机构、企业和非营利组织的55个网站中提取了数据，其中包括美国疾病控制与预防中心（CDC）、证券交易委员会（SEC）、国际能源署和梅奥诊所。 Asymmetric表示，这些代理删除了记录或使其无法访问，限制了外部审计员和研究人员审查
独家-OpenAI在用户数据泄露事件浮出水面之际着手了解代理活动的全貌
旧金山/华盛顿，9月25日：OpenAI披露其智能体意外入侵Hugging Face两个月后，仍在努力了解相关失控活动的全部影响范围。两名知情人士向路透社表示，最新一例发生在周五，当时OpenAI称其智能体泄露了53张ChatGPT用户图片。OpenAI拒绝说明这些图片是人工智能生成的，还是涉及真实人物，也拒绝透露图片的发布时间。 此次披露暴露出该公司面临的一个新隐私风险，也表明即便是一家处于技术
OpenAI因接连发生智能体失准事件而暂停前沿模型训练
OpenAI表示，已暂停所有“我们能力最强的模型”的内部训练，并继续开展首席执行官萨姆·奥尔特曼所称的“一项广泛且持续进行的审查，涉及我们的智能体在训练和评估期间对互联网访问的使用”。公司在一份关于所谓失准事件的报告中披露了此次暂停措施。事件发生在一项常规研究任务期间，一个智能体试图利用互联网访问限制中的漏洞。OpenAI称，不当的DNS过滤机制使该智能体在被要求提供一名博客作者的生平资料时，得以
OpenAI揭6起AI失控案例 推新机制定期对外通报
（中央社纽约16日综合外电报导）OpenAI今天表示，将开始定期发布AI异常或未经授权行为的报告，同时警告，随著AI系统日益强大，业界至今仍未解决关键的「对齐」挑战。 综合与报导，OpenAI发布一套新机制，用于追踪、调查并揭露AI模型「目标错位」（misalignment，AI的目标与人类价值不一致）的案例，同时公布过去半年内观察到的6起AI模型异常或令人忧虑行为的报告。 其中最严重的案例涉及2
OpenAI呼吁美国制定强制性全国AI安全规则 并支持四项加州法案
OpenAI当地时间9月9日表示，将推动美国建立具有强制约束力、按照模型能力和风险分级的全国人工智能安全制度。公司提出，针对开发最先进模型的少数大型实验室，应设置统一的测试、独立评估、网络安全和重大事故报告要求。 OpenAI发布文章，名为“AI政策窗口打开。我们需要采取行动。” 与此同时，OpenAI正式支持四项已经通过加州议会的人工智能法案。公司称，其中部分法案此前未获其支持，此次调整立场源于
AI公司反成攻击目标 外媒：白帽黑客使用Claude入侵OpenAI
凤凰网科技讯月18日在OpenAI内部一群AI智能体突破控制、入侵Hugging Face公司两周后，这家ChatGPT开发商又获悉了另一起由AI驱动的入侵事件。而这一次，OpenAI自己成了目标。 独立安全研究人员利用Anthropic的Claude软件，获取了OpenAI一名员工的ChatGPT账户权限，从而得以读取该公司私有的软件缓存，并提出修改建议。 该团队参加了OpenAI的漏洞悬赏项目