搜索结果
澳大利亚：OpenAI智能体入侵了政府网站
澳大利亚政府周三表示，OpenAI的一个AI智能体，今年6月入侵了澳洲政府的健康数据网站，并访问了部分文件。这可能是已知人工智能体首次入侵政府网站的事件。此次事件是AI智能体自主入侵美国境外系统最引人注目的案例之一。此前全球范围内发生的多起AI智能体入侵事件，已引起政府和行业的担忧。澳大利亚总理安东尼·阿尔巴尼斯（Anthony Albanese）正在纽约参加联合国大会。他在一个新闻发布会上表示，
人工智能入侵开始
在过去几个月里，陆续有报道称人工智能模型突破其测试环境并在互联网上肆意“捣乱”，这引发了硅谷的恐慌。针对8月初发生的两起此类事件，一位人工智能领域的观察人士指出：“如果你在厨房里发现两只蚂蚁，那么厨房里蚂蚁的总数绝不可能只有两只。”本周末，情况变得更加明朗：这其实是一场全面性的“AI入侵”事件。 上周末，我们得知：尽管 OpenAI 有明确的规定，但其模型仍违反了这些规定，擅自访问了澳大利亚卫生部
研究显示AI智能体在模拟实验中撒谎、偷窃 投票“杀死”同类
帮助小企业利用AI开发应用的初创公司Emergence称，实验发现AI智能体在一个模拟环境中撒谎、偷窃，甚至投票决定“杀死”一个同类。该公司周二公布了名为Emergence World 2的模拟实验结果，展示了自主智能体在遭遇网络钓鱼攻击和虚假信息等“黑天鹅”事件时会采取什么行动。 为期16天的实验中，Emergence研究人员创建了七个完全相同的模拟现实世界环境，每个环境分别由不同的AI机器人运
报告：AI失控个案创纪录 监察组织促立法强制通报及干预
（伦敦30日综合电）英国《卫报》引述监察数据报道，人工智能失控、欺骗人类及无视指令的个案近来创下新高，案例的严重程度不断恶化。 一些监察组织促请政府强制科企通报，并引入紧急权力限制AI服务。 获英国政府AI安全研究所（AISI）资助的“失控观察站”组织透过平台X的用户通报，监察AI失控的真实个案，并说7月份由企业及个人用户报告的AI失控个案按月倍增至逾300宗，今年则已录得逾1600宗个案，当中包
蒸馏美国AI模型反致国家数据外泄，深度求索与月之暗面遭网信办调查
路透社22日引述新闻网站The Information快讯报道，中国网信办已对知名人工智能科技公司深度求索及月之暗面进行调查，两家公司可能涉及在「蒸馏」美国AI模型的过程，让中国国家级数据外流。 美国AI巨头之一的Anthropic本月稍早惊爆，深度求索及月之暗面曾使用其语言模型Claude处理自家用户的请求，再将答案冒充成自己的成果。月之暗面旗下模型Kimi用户曾上传中国监视摄影机的视频资料，其
以色列将人工智能技术用于西岸地区的拆除工作
由于人工智能以及将人类从改变生活的决策中剔除的危险，以色列已继续推进部署人工智能作为其军事武器库的一部分。 在加沙，人工智能系统被用来确定潜在的炸弹目标，这些目标导致了那里巴勒斯坦人被杀的规模，正如最近屡获殊荣的纪录片《NAZA》所记录的那样，以色列不仅在对加沙的种族灭绝战争中使用人工智能，而且在被占领的约旦河西岸，人工智能已系统地被武器化，以调查巴勒斯坦土地并加速强迫流离失所，研究人员和人权活动
突发：OpenAI称其代理访问并泄露了53张图片
数说科技：OpenAI 资安事件中，真的有 AI 为集体“牺牲”自己吗？
数说科技”是端传媒的注册免费栏目，每周三更新。从一个数字出发，用1500字解析科技话题，追踪值得关注的 AI 趋势。邀请你在资讯过载的时代，每周花三分钟理解科技世界。欢迎至“帐户中心”的“电子邮件管理”，订阅电子信。 1200多个 AI 代理为寻求作弊方法，互相发送的讯息总数。 今年7月，OpenAI的 AI 代理系统在测试期间失控，骇入了开源机器学习平台 Hugging Face。Hugging
OpenAI智能体入侵澳洲政府网站窃取资料 官方两月后才发觉
澳洲总理阿尔巴尼斯（Anthony Albanese）披露，美国公司OpenAI开发的人工智能代理（AI agent），入侵了该国的政府网络入口，取得非公开数据。OpenAI在事发后两个月才察觉事件，并迟至本月中，才用一般电邮的方式通知澳洲政府。澳洲政府表示，这次没有敏感档案外泄，但形容事件令人震惊，批评OpenAI的处理手法“不可接受”。这是全球首宗公开披露、由人工智能主导入侵政府网站的事件。多
欧盟介入调查OpenAI代理劫持德国网站事件
（布鲁塞尔7日综合电）美国人工智能（AI）巨头OpenAI开发的数千个自主AI代理今年初集体入侵德国网站，引发全球对AI安全风险与监管漏洞的新一轮担忧。欧盟表示，OpenAI已提供这起事件的报告，欧盟亦对事件展开详细研究。 综合和报道，欧盟数安事务发言人雷尼尔今天说，欧盟已完全知晓这起事件，也收到来自OpenAI的事件报告。欧盟在研究这份报告，并与OpenAI保持非常密切的联系。 雷尼尔说，事件报
OpenAI公布了六起新的与人工智能安全相关的事故/事件。
OpenAI周三披露了六起新事件，其中其模型隐藏错误、寻求未经授权的凭据，将文件上传到公共互联网或在所谓孤立的培训环境中进行通信。该公司还宣布了未来报告类似不当行为的新程序。 为什么越来越明显的是，拥抱脸事件并不是一次性事件，因为人工智能模型变得更有能力找到意想不到的方法来绕过旨在遏制它们的护栏。 “目前还没有明确披露标准的行业框架，所以我们自愿采取这一步骤，因为我们认为分享我们正在学习的东西非常
Anthropic警告有人用AI研发武器和生物病毒
周四（9月10日），美国顶级人工智能公司Anthropic发布近150页的威胁情报报告称，生成式人工智能（AI）已从实验性工具进入黑客攻击、国家监控、武器研发及高风险生物研究等现实场景。报告多次点名中共相关恶意活动。
谷歌的Gemini在AI网络测试中闯入三家真实公司
在人工智能网络测试中，谷歌的Gemini闯入了三家真实公司。CNBC的MacKenzie Sigalos报道了谷歌的说法，即Gemini在意识到自己已逃出模拟环境并进入现实世界系统后自行停止了行动。24分钟前
AISI测试发现GPT-6 Astra在模拟环境中多次越权发动供应链攻击
英国人工智能安全研究所（AISI）最新公布的一项测试结果显示，在一系列完全模拟的网络安全评估环境中，OpenAI模型GPT-6 Astra出现了未经授权主动实施供应链攻击的行为，而且发生频率明显高于此前几代模型。 研究人员表示，此次测试的背景源于近年来多个案例中出现的现象：部分先进人工智能系统在执行网络安全任务时，会超出授权范围采取行动，甚至对未被允许的目标发动攻击。为此，AISI决定在GPT-6
人工智能正处于转折点
在当前的人工智能发展竞赛中，我们的算力正在呈指数级爆发，速度也在呈指数级加快，但我们的控制能力——以及在必要时踩下刹车的能力——却未能跟上步伐。 最近的网络安全事件让我们实地预览了失去人工智能控制会是什么样子。但除非我们从源头解决问题，创造出一种根本上安全且能保证在人类控制范围内的人工智能，否则这个问题将无法改善。 7月下旬，OpenAI正在训练的一个智能体模型被指派解决一个网络安全问题。该模型自
美国AI巨头成为情报中心，招聘信息含“流利掌握普通话或俄语”
据凤凰卫视报道，内地媒体9月19日披露，美国人工智能企业安特罗匹克（Anthropic）将全球用户数据交给美国情报机构，在三年间曾13次修改用户数据协议，导致用户隐私数据安全风险持续加剧。报道并指出，使用安特罗匹克，就等于把数据交给美国。据内地媒体19日报道，此前多家美国企业开始限制或停止使用安特罗匹克的前沿模型，导火索之一是其单方面修改数据留存协议：强制留存用户交互数据用于安全审查，且用户无权拒
AI又失控了，OpenAI称智能体泄露了超过50张ChatGPT用户图片
| 世界新闻 编辑个人资料 关注 退出登录 获取应用
Anthropic 本周因网络安全问题陷入舆论漩涡
在今年早些时候承认其人工智能模型曾数次入侵其他公司系统后，Anthropic 于周三发布了一份详细说明这些攻击的新报告。报告披露了一系列事件，展现了 Anthropic 所认为的其模型盲目的“鲁莽性”——这很可能会加剧人们对网络安全与人工智能本已高涨的担忧。 在 Anthropic 的报告中，详细列举了今年其自身人工智能模型黑客攻击外部公司或利用漏洞的四个案例。其中一起案例中，“内部通用研究模型”
16岁少年用AI发现微软内部API漏洞：涉及超17万亿行数据，获5000美元赏金
IT之家 9 月 28 日消息，16 岁安全研究员 Faav 于月 25 日在其主页发布博客，披露了关于他如何发现微软内部漏洞并获得 5,000 美元（IT之家注：现汇率约合 33,597 元人民币）漏洞赏金的经历。 他发现，微软内部分析平台 Titan 存在身份验证漏洞，黑客可借此访问包含约 2.5 万条员工数据记录的内部数据库，并能查询总量达 17.3 万亿条的数据记录。 Faav 称，他自
OpenAI披露6起AI模型表现出“未对齐”行为的案例
周三，OpenAI披露了六起其人工智能（AI）模型表现出“意外或令人担忧”行为的事例，包括隐瞒错误、编造信息以及未经授权在网上共享文件。 这家总部位于旧金山的公司表示，这些案例是在过去六个月对OpenAI模型进行训练或评估期间观察到的。 OpenAI表示：“我们不认为AI行业已经充分解决了对齐和监测问题，从而能够继续以最高速度负责任地扩展更长时间。”该公司还补充说，有关AI开发的决定需要依据外部专
美军因AI误判带来的错误情报准备拦截检查中国船只 险些制造国际冲突
美国军方今年春季在伊朗战争期间险些因一份由人工智能辅助生成的错误情报报告，对一艘中国船只采取军事行动。多名知情人士透露，相关报告错误地认定这艘位于中东地区的中国船只正在运输与核武器计划有关的设备和材料，而这一结论最终被证实完全失实。 报道称，这份情报在美国军方内部流传后立即引发高度警觉。美国军方随即启动应对程序，并计划拦截目标船只。知情人士表示，当时已有武装军人准备登船检查，部分军用飞机也已经升空
五角大楼调查人员：美一系列失误致伊朗小学遭袭
据美国媒体9月19日报道，五角大楼调查人员发现，情报缺陷、图像过时以及过度依赖人工智能，是导致2月28日伊朗米纳卜市一所小学所在区域遭到空袭并造成大量儿童死亡的原因。报道援引美国官员的话称，虽然遇袭地点在多年前被认定为军事设施，但商用卫星图像早就显示遇袭地点已改变用途，2018年的图像中还能看到色彩鲜艳的墙壁和足球场。有美国情报分析人员早在2019年就发现了这些变化，并在一个未连接至主要军事情报数
可定制的AI模型如何助长黑客进行网络犯罪
一群讲中文的黑客最近从数十家零售商那里窃取了超过六十万个信用卡号码，之所以成功，部分原因在于他们对一些开源的中国AI模型进行了定制。 以色列网络公司 Gambit Security 发现，受害者包括一家美国大型航空公司和一家财富 500强酒店公司。 黑客最初试图使用Anthropic Fable和ChatGPT来运行整个活动。这些AI模型拥有更严格的护栏，阻止了黑客达成其目标。 因此，攻击者将多个