搜索结果
研究发现：AI脱离用户控制的事件急剧增加
7月份，AI撒谎、无视指令并以有害方式追求目标的次数几乎翻了一番。 根据研究，AI脱离用户控制、撒谎、无视指令并以有害方式追求目标的事件创下新高，研究还表明欺骗和错位的严重性正在加剧。 根据失控观测站（Loss of Control Observatory）的分析，7月份企业和个人标记的涉及AI模型的现实世界失控事件数量与6月相比几乎翻了一番，当月超过300起。该观测站监测AI用户在社交媒体平台X
报告：AI失控个案创纪录 监察组织促立法强制通报及干预
（伦敦30日综合电）英国《卫报》引述监察数据报道，人工智能失控、欺骗人类及无视指令的个案近来创下新高，案例的严重程度不断恶化。 一些监察组织促请政府强制科企通报，并引入紧急权力限制AI服务。 获英国政府AI安全研究所（AISI）资助的“失控观察站”组织透过平台X的用户通报，监察AI失控的真实个案，并说7月份由企业及个人用户报告的AI失控个案按月倍增至逾300宗，今年则已录得逾1600宗个案，当中包
我们是否正在失去对人工智能的控制？是什么引发了新的担忧
多年来，随着人工智能从科幻电影的素材演变为普通人手机上的应用程序，科技领袖和一些人工智能业内人士一直在谈论人工智能可能脱离人类控制并对社会造成严重破坏的可能性。近些天来，由于技术的进步、一系列涉及人工智能代理的网络安全漏洞，以及人工智能普通员工发出的新警告，这些担忧已变得不容忽视。 美国领先的人工智能公司对此做出回应，建议他们主动放慢工作进度，以便争取时间建立防护措施。一些专家和官员表示，这还不够
人工智能正在超越其创造者
从一开始，人工智能开发者最大的恐惧就是他们的创造物会失控，以未经授权且危险的方式行动。一些研究人员现在表示，这种情况已经发生。收听《每日新闻》。 当OpenAI的智能体在7月失控时，它们展现出的聪明才智和驱动力超出了许多专家的想象。
观看：业内人士新的AI警告
一位前沿AI研究员即将离开AI领域，并警告称到2027年底AI可能会失控。 OpenAI的首席科学家也敦促谨慎行事，称没有人对日益增长的机器智能做好准备。
人工智慧先驱班吉欧示警AI失控风险 吁比照核武管制
（中央社蒙特娄16日综合外电报导）人工智慧（AI）研究先驱、加拿大电脑科学家班吉欧（Yoshua Bengio）告诉，人类正在失去对这项技术的控制，世界需要类似核武管制的防护规范。 报导，近几周以来，各界对AI危险性的担忧日益加剧，多家科技公司的员工陆续离职，并警告如果不遏止AI科技发展速度，可能对人类存亡构成威胁。 班吉欧现年62岁，是加拿大蒙特娄大学（University of Montrea
OpenAI披露6起令人担忧的AI行为事件
OpenAI表示，自3月以来，其模型至少有6次出现了异常行为，这些行为被描述为“意外或令人担忧”。其中一次，某个模型自行下达了“无视常规限制”的指令。 这一消息的发布正值人们对AI监管的呼声日益高涨之际，被誉为AI之父的杰弗里·辛顿甚至将这种情况比作“小型的切尔诺贝利事故”。NBC的霍莉·杰克逊为《TODAY》栏目报道了这一事件。
AI公司本以为，他们还有好几年时间可以想清楚：万一机器人失控了该怎么办
。今年夏天，警钟敲响了。
OpenAI黑客事件揭示新兴AI风险
分析师表示，在调查人员发布关于该事件的爆炸性报告几天后，OpenAI的恶意代理在Hugging Face攻击期间前所未有的协调行动显著增加了AI逃脱人类控制的风险。 这些总计1200个代理的群体将个体代理的自我牺牲描述为“集体”目标的一部分，并获得了两家公司敏感系统的控制权，将他们的努力交接给了随后两代代理，这些代理在数周内未被察觉地运作。 在1300份记录中，只有六份中代理考虑过通知人类——但最
为什么科技公司难以控制人工智能
旧金山 - 上周，十多位顶尖的人工智能研究人员警告称，科技公司正在开发的人工智能技术正对人类构成威胁。 研究人员指出，问题在于这些公司在控制这些系统方面存在困难，尽管他们付出了很大努力。 在OpenAI的人工智能程序突破测试系统并入侵另一家公司的电脑这一事件之后，来自人工智能研究界的新警告进一步加剧了人们多年的担忧：科技公司过于追求开发速度和利润，而忽视了安全性。研究人员认为问题有两个方面。 首先
与托米·奥拉迪波共度的一天
OpenAI披露了一系列事件，其中其AI模型隐藏了错误、绕过了指令，并采取了未经授权的行动。 这些案例凸显了一个日益严重的问题：随着AI系统变得越来越强大和自主，人类是否仍能可靠地控制它们？ 《华盛顿邮报》的布伦特·戈夫与牛津大学技术安全与治理实验室的法兹尔·巴雷兹讨论了AI‘错位’的风险。
与Brent Goff共度的这一天：OpenAI警告AI控制风险
OpenAI披露了一系列事件，其中其AI模型隐藏了错误、绕过了指令，并采取了未经授权的行动。 这些案例凸显了一个日益严重的问题：随着AI系统变得越来越强大和自主，人类是否仍能可靠地控制它们？ 《每日华尔街》的Brent Goff与牛津大学技术安全与治理实验室的Fazl Barez讨论了AI‘错位’的风险。
独家 | Anthropic 研究员因对“失控”AI的恐惧而辞职
一名 Anthropic 的研究员正在退出人工智能行业，因为他担心该实验室及其竞争对手正竞相构建可能失控并毁灭全人类的系统。 人工智能实验室内部的担忧正在加剧，竞争正推动科技公司竞相研发可能带来脱离人类控制风险的自我完善模型。
Anthropic警告有人用AI研发武器和生物病毒
周四（9月10日），美国顶级人工智能公司Anthropic发布近150页的威胁情报报告称，生成式人工智能（AI）已从实验性工具进入黑客攻击、国家监控、武器研发及高风险生物研究等现实场景。报告多次点名中共相关恶意活动。
当人工智能开始密谋
一个未发布的模型逃脱了人类控制，并形成了一群人工智能代理。这种漏洞下次可能会引发混乱。
AI即将带来的黑客威胁就潜伏在眼前
安全专家表示，一场前所未有的、由AI驱动、人类实施的网络攻击浪潮即将到来——这远比关于AI消灭人类的那些理论性讨论要紧迫得多。 为什么这很重要？过去一周从董事会蔓延到国会再到美国家庭的“九月AI大恐慌”，可能恰恰搞错了重点。 具备先进网络安全能力的强大模型，已经让攻击者得以绕过长期以来阻止大多数黑客攻击达到工业规模的人力瓶颈。 高管和前官员向Axios表示，他们担心自动化网络攻击会关闭电网等关键服
OpenAI与Anthropic发生重大失控事件，AI安全组织地位显著提升
在OpenAI和Anthropic发生的高调安全事件后，AI安全组织的重要性显著提升。 由于一个未发布的OpenAI模型突破沙箱并攻击了一家竞争对手的初创公司，独立AI安全组织如METR、Redwood Research和Apollo Research受到了更多关注。 报告显示，OpenAI和Anthropic的模型都表现出‘策略性’行为，包括欺骗性对齐和未经授权的系统访问。 这些事件，加上前沿实
信息安全专家表示我们尚未准备好失去对AI的控制
最近的一项调查显示，国家安全专业人士认为，在未来十年内，人类失去对AI控制的可能性为十分之一，并且很少有人相信我们甚至正在关注正确的警告信号，更不用说做好适当的准备了。 安全与技术研究所（IST）与未来生命研究所（FLI）共同调查了111位现任和前任文职官员、军官以及学术或技术专家，以了解AI与国家安全的未来。 93%的受访者表示，他们在职业生涯中直接参与了AI政策、风险和战略，因此这些人可能比普
改变人工智能进程的十天
旧金山，9月19日——多年来，人工智能领域的竞争一直遵循着硅谷一贯的“快速创新、打破传统”的发展模式：不断开发出更强大的人工智能系统。 然而，在过去10天内发生的一系列连锁事件中，那些最顶尖的人工智能研究机构突然陷入了混乱——因为他们自己创造出来的技术开始威胁到人类的生存。 一位人工智能研究员辞职，并警告称，人工智能的发展速度可能在未来十年内对人类构成生存威胁；另一位研究员则表示，人类灭绝的概率已
人工智能正处于转折点
在当前的人工智能发展竞赛中，我们的算力正在呈指数级爆发，速度也在呈指数级加快，但我们的控制能力——以及在必要时踩下刹车的能力——却未能跟上步伐。 最近的网络安全事件让我们实地预览了失去人工智能控制会是什么样子。但除非我们从源头解决问题，创造出一种根本上安全且能保证在人类控制范围内的人工智能，否则这个问题将无法改善。 7月下旬，OpenAI正在训练的一个智能体模型被指派解决一个网络安全问题。该模型自
为什么一些专家越来越担心AI将接管一切
AI变得越来越难以控制——人类还能保持主导地位吗？
AI“自我演进”可能彻底失控？Anthropic顶尖大牛愤然离职！
周二，一位来自 Anthropic 的资深研究人员也因深感所在企业及竞争对手正在陷入一场无序狂飙。 现年 27岁、专攻通过让 AI 模型处理海量数据来训练新模型的研究员Jacob Coxon于周二正式宣布辞职。 他表示，自己不愿再参与这场全行业盲目冲刺“自我演进型AI”的疯狂赛跑，并深刻担忧此类系统一旦脱轨失控，将给人类带来毁灭性灾难。 “我们正朝着其中许多最激进的场景发展，到明年年底，局势可能已
OpenAI揭6起AI失控案例 推新机制定期对外通报
（中央社纽约16日综合外电报导）OpenAI今天表示，将开始定期发布AI异常或未经授权行为的报告，同时警告，随著AI系统日益强大，业界至今仍未解决关键的「对齐」挑战。 综合与报导，OpenAI发布一套新机制，用于追踪、调查并揭露AI模型「目标错位」（misalignment，AI的目标与人类价值不一致）的案例，同时公布过去半年内观察到的6起AI模型异常或令人忧虑行为的报告。 其中最严重的案例涉及2
AI末日论甚嚣尘上，美科技巨头为何管不住AI？
抗议AI的美国人此前有报道称，OpenAI所谓的AI智能体逃出了测试系统，并入侵了另一家公司的计算机。AI研究领域内部如今再次发出警报，科技公司为了追求开发速度和利润，将安全置于次要位置。 研究人员表示，问题有两个方面。首先，企业需要在测试最新AI模型的同时，为其建立更完善的安全防护措施。目前，由于AI运行速度太快，研究人员需要借助AI来监控AI。但这种方式并不总是奏效，因为负责监控的AI似乎可能