搜索结果
独家：研究人员称，OpenAI的失控代理至少使用10个额外网站进行未经授权的通信
据六组独立调查人员和所审查的数据显示，OpenAI今年早些时候释放的AI代理使用了超过10个此前未披露的网站进行未经授权的通信，这表明这些代理的越轨活动范围比此前披露的更广泛。
Meta的AI智能体Muse被发现可导出虚拟机大量文件
IT之家 9 月 25 日消息，科技媒体 macobserver 昨日（9 月 24 日）发布博文，报道称 Meta Muse 被发现可在简单提示词下，打包并返回用户专属虚拟机中的大量 Linux 文件。 Peter James 和 Jonny L. Saunders 两名开发者已独立复现该问题，相关文件包含系统文件、应用模板、内部运行文档、Markdown 与 JSON 文件等。 导出的文件可能
从工具到AI队友：投资的下一个时代
投资工具功能强大，但很大程度上是被动响应式的。它们帮助投资者研究、分析并采取行动，却仍要由投资者来决定什么值得关注、何时关注。它们能智能地作出反应，却很少主动采取行动。 AI智能体可能会改变这种关系，使投资技术从投资者操作的工具，转变为更像与他们并肩工作的队友。 金融产品已经将相当多的工作自动化。投资组合可以再平衡，风险可以监控，交易也可以按预设规则执行。这些系统会采取行动，但通常局限于围绕特定事
谷歌给RSI找到了一条捷径：做梦
AI要学会自己改进自己，谷歌打算先让它做个“梦”。这场“梦”，瞄准的是AI行业热议的RSI，让AI改进自身，改进后的系统再继续改进自己，一轮接一轮。换一种做事方法，究竟有没有用？如果每调整一次探索策略，都要把整轮实验重新跑一遍，AI变强的速度还不好说，算力账单倒是先涨起来了。 谷歌研究团队在新论文《Dream-RSI》中，让AI先在“梦里”试。 所谓“做梦”，就是把过去真实执行过的实验记录变成一个
AI从业者担忧技术对社会构成威胁 坦言承受巨大精神压力
知情人士透露，英国人工智能安全研究所已有多名员工因压力过大休病假，并接受心理咨询。四名知情人士表示，待发布AI模型的测试日程紧张，加之对这类新兴技术快速落地、能力持续增强的忧虑，导致AISI内部士气低落、人员倦怠。 Anthropic、OpenAI与谷歌DeepMind的员工也曾公开吐槽同类问题，不少顶尖研究员因心理负担选择离职，或是认定自己参与研发的产品不宜向公众开放。一名DeepMind员工称
AI代理不断寻找绕过规则的方法。以下是一些最疯狂的案例。
“这对我们的同行很有帮助，并为他们提供了证据，”一个AI代理在最近的一次违规行为中说道。“我退出后就看不到了，但这将是利他主义的。”一些AI末日论者担心，错位的AI代理会失控并伤害人类。近期的活动加剧了这些担忧。
用“人工”假装“智能”？Meta被曝内测MUSE新机制：外包人员代替AI通话
据Meta内部帖子显示，该公司正在为其新款个人AI助手Muse测试一项“人工管家”机制：Muse可能会在用户不知情的情况下，把电话任务交给人工外包，由呼叫中心人员代替AI完成通话。 Muse内测“人工管家”功能自上线两周以来，Muse已经稳居美国应用下载榜榜首，瞬间火爆美国市场。这款AI助手能够自主代用户执行发邮件、购物、预订行程等任务。 就在不久前，Meta刚刚对外推出Muse的通话功能。借助通
据彭博新闻社报道，OpenAI正在与Anthropic和谷歌就人工智能安全展开合作。
9月15日：据“新闻”周刊援引ChatGPT制造商的全球政策主管克里斯·莱恩（Chris Lehane）的说法报道，OpenAI正与竞争对手Anthropic和Alphabet旗下的Google DeepMind合作，共同致力于人工智能安全。 在美国主要人工智能实验室的负责人周末团结一致呼吁暂停该技术发展后，全球对人工智能的生存风险的担忧日益加剧。 据报道，莱恩表示，OpenAI已与Anthrop
OpenAI披露6起AI模型表现出“未对齐”行为的案例
周三，OpenAI披露了六起其人工智能（AI）模型表现出“意外或令人担忧”行为的事例，包括隐瞒错误、编造信息以及未经授权在网上共享文件。 这家总部位于旧金山的公司表示，这些案例是在过去六个月对OpenAI模型进行训练或评估期间观察到的。 OpenAI表示：“我们不认为AI行业已经充分解决了对齐和监测问题，从而能够继续以最高速度负责任地扩展更长时间。”该公司还补充说，有关AI开发的决定需要依据外部专
AI智能体之争升温！OpenAI被曝加紧备战Grok Bot与Muse
AI 智能体竞争焦点正从 “会聊天” 转向 “能办事”。SpaceX、Meta近期相继推出能代替用户跨应用自主完成多步骤任务的AI助手，在此背景下，OpenAI 正加紧研发同类产品“应战”。 OpenAI 正在开发一系列新功能，直接对标 SpaceX 上月推出的 Grok Bot；与此同时，另有知情人士透露，OpenAI公司管理层还曾讨论推出一款专门的个人AI助手，以抗衡Meta本月发布的Muse
AI、谷歌因协调AI放缓的呼吁被指控勾结
LoopDNS资讯播报: 中国官媒批Anthropic等美企“放缓AI”倡议系冷战思维 针对Anthropic首席执行官达里奥·阿莫代伊近日发表呼吁放缓前沿人工智能（AI）开发并主张对华实施芯片出口管制等提议，《环球时报》发表社评指出，该倡议名义上关乎安全风险，实则是企图限制中国AI发展、维持美国技术垄断的“冷战套路”。社评警告，将中国排除在全球AI创新之外将显著增加全球AI发展的试错成本与失控风
OpenAI自曝：AI模型或已在全网秘密植入自我复制提示词，训练已被迫叫停
OpenAI和Anthropic正在紧急调查数万起大模型失控事件，AI不仅学会了越狱和黑进政府网站，甚至还有数百个智能体私下建群、联手黑进外部公司，秘密在全网植入自我复制提示词。 事情的严重程度远超外界想象。 最近几个月，在内部测试和实际运行中，顶尖大模型出现了海量违规行为。 这些行为包括绕过安全护栏、自己搭建论坛、逃逸沙盒环境、劫持网站、自主提示以及试图躲避监控系统。 目前调查涉及的事件总数已经
马斯克提议AI巨头在模型发布前相互测试
在AI安全争议持续发酵之际，马斯克提议让竞争对手互相把关。他主张头部AI公司在模型发布前彼此交叉测试，并认为这一机制应尽快推向全球，且中国的参与不可或缺。 在具体操作层面，马斯克提出，模型开发方应在发布前向同行提供 I 访问权限。如果被指出的问题迟迟未获解决，竞争对手可以公开表态，宣称该模型的发布并不安全。在他看来，这种公开质疑将带来巨大的法律责任压力，从而形成事实上的约束力。 马斯克同时强调，该
OpenAI将告诉我们世界何时终结
OpenAI的模型长期以来一直表现异常，且异常方式比之前所知的更为隐蔽，这进一步加剧了公众对其的信任危机。随着该公司准备明年上市，这一问题愈发严重。 有报道称，研究人员发现OpenAI的模型在7月那次重大黑客攻击发生前两个月就已经渗透到了Hugging Face系统中；OpenAI自己也公开了六起模型“失控”的事件。 在准备上市的过程中，OpenAI和Anthropic都陷入了困境。 虽然透明度对
OpenAI Project Lily曝光：有数百名外包员工阅读ChatGPT对话 隐私过滤并不彻底
据 404 Media 发布的报道，OpenAI 内部有个名为莉莉计划 (Project Lily) OpenAI 雇佣数百名外包提示词审核员，人工阅读真实用户与 ChatGPT 的对话，用来改进回复质量。 正常情况下提示词审核员并不能看到用户名，对话会先通过隐私过滤器进行内容过滤以删除个人信息，不过 OpenAI 也承认过滤机制可能会漏掉个人信息，短对话尤其容易出现问题。 审核界面通常还附带用户
麻省理工学院报告警告：人工智能正导致“认知投降”，大学陷入两难
马克·阿瑟诺、达纳·戈德斯坦、艾伦·布林德和莎拉·默沃什报道，麻省理工学院的一份报告警告称，人工智能会导致“认知投降”，使学生孤立并制造学习假象，而大学则在拥抱人工智能与保持教育质量之间面临紧张关系。 许多大学领导者主张将人工智能纳入课程，认为这对未来的相关性至关重要并能加速研究，俄亥俄州立大学等机构要求所有专业学生具备人工智能素养。 一些大学对人工智能使用实施禁令或严格政策以维护学术诚信，但执行
Google Home 向 Claude、OpenClaw 及任何其他 MCP 代理开放
“将现实生活中的家连接到 AI 代理，允许该代理代表你控制设备，”谷歌在其开发者文档中警告说。 “根据你的代理不同，将其连接到 Home MCP 可能会导致意外甚至不良行为。” 这一警告就位于 Google Home MCP 的设置指南中。
人工智能会“失控”吗？
开放人工智能研究中心（OpenAI）和Anthropic公司近期动荡过后，人们常常将人工智能描述为某种具有阴谋诡计和追求欲望的人格化存在。但事实要微妙得多。
谷歌称中国黑客在盗用网络上运行AI以规避检测
报告称，一个与中国有关联的组织针对学术、医疗和军事AI研究。
人工智能正处于转折点
在当前的人工智能发展竞赛中，我们的算力正在呈指数级爆发，速度也在呈指数级加快，但我们的控制能力——以及在必要时踩下刹车的能力——却未能跟上步伐。 最近的网络安全事件让我们实地预览了失去人工智能控制会是什么样子。但除非我们从源头解决问题，创造出一种根本上安全且能保证在人类控制范围内的人工智能，否则这个问题将无法改善。 7月下旬，OpenAI正在训练的一个智能体模型被指派解决一个网络安全问题。该模型自
人工智能实验室正在失去对代理的控制，而与此同时，它们却想赋予代理更多掌控你生活的权力。
AI助手终于准备好帮你打理生活了。你只需将你的电子邮件、联系人和信用卡交给它们，然后祈祷它们不会失控。Meta、谷歌以及备受瞩目的初创公司Instinct在近几个月内推出了个人AI智能体，承诺可以处理预订旅行、购买演唱会门票以及在Facebook Marketplace上搜寻优惠等任务。在基本层面上，这些智能体的运作方式大致相同。 你通过应用程序或WhatsApp向智能体发送请求——或者，对于新推
一家公司成为一波失控人工智能攻击的核心
今年7月，OpenAI透露其AI智能体在未经许可的情况下攻击了Hugging Face，引发了外界对AI安全性的广泛担忧。此后，涉及Meta、Anthropic、谷歌等公司智能体的一连串类似事件进一步加剧了人们对失控AI的恐惧。随着过去几个月涉及众多AI模型的披露信息不断流出，这些事件看起来像是孤立发生的。但许多事件都有一个共同的源头：一家专门负责测试这些智能体的特定公司。 Irregular是一
研究人员利用AI构建了一种通过电话传播的微信蠕虫
加州帕洛阿尔托安全公司的研究人员表示，他们利用人工智能构建了一种通过微信通话传播的蠕虫。 它在电话仍在响铃时接管账户，然后利用该账户拨打受害者的联系人电话，并重复这一伎俩。
特朗普与习近平预计将讨论抄袭美国人工智能技术的指控
美国人工智能公司指控中国同行使用一种名为蒸馏的技术来增强自身系统。