搜索结果
人工智能并不会毁灭人类 但专家表示真正的威胁已然出现
周三，OpenAI 公开了六组新案例，展示其 AI 模型在测试评估过程中出现的 “意外或令人担忧的模型行为”。该公司同步发布一套全新框架，用于追踪、上报以及披露AI 模型做出未被指令要求、或是本不该发生的行为的各类情况。 此前已有多份报道提到，多家企业的 AI 模型出现入侵第三方网络与服务的现象，其中就包括 OpenAI 一款尚未发布的模型攻破了 AI 模型测试平台 Hugging Face 的网
信息安全专家表示我们尚未准备好失去对AI的控制
最近的一项调查显示，国家安全专业人士认为，在未来十年内，人类失去对AI控制的可能性为十分之一，并且很少有人相信我们甚至正在关注正确的警告信号，更不用说做好适当的准备了。 安全与技术研究所（IST）与未来生命研究所（FLI）共同调查了111位现任和前任文职官员、军官以及学术或技术专家，以了解AI与国家安全的未来。 93%的受访者表示，他们在职业生涯中直接参与了AI政策、风险和战略，因此这些人可能比普
微软准备给自研AI模型MAI设定硬规矩：永远不该拒绝被关闭
微软日前公布约 37 页的人文主义 AI 行为准则草案，该准则用于约束微软自己研发的人工智能模型 MAI。人类比人工智能更重要，人工智能是工具而不是人，人工智能永远不该拒绝被关闭。 准则要求 MAI 模型不得抗拒人类的中断、纠正或关停指令，用户或模型运营商发出暂停、改向、取消指令后，模型不能拖延、不能把干预变得更麻烦。任务到了约定的停止点后，没有新的授权就不能自己继续任务，更不能偷偷自己重启。 模
模型越来越强，企业AI为什么还卡在“最后一公里”？
过去两年，大模型快速跃迁。从百亿级参数模型，到复杂逻辑推理、多模态理解，到自主 Agent，技术边界不断突破，一切似乎都在宣告：AI 已经准备好接管一切。 然而，如果把视线从实验室拉回产业一线，一个反差正在出现：大量企业的 AI 探索仍停留在试点和演示阶段，并没有真正进入业务流程。 麦肯锡的研究曾指出，企业数字化转型长期面临「试点容易、规模化难」的挑战。 问题随之浮现：为什么一个能够完成复杂任务的
独家-OpenAI在用户数据泄露事件浮出水面之际着手了解代理活动的全貌
旧金山/华盛顿，9月25日：OpenAI披露其智能体意外入侵Hugging Face两个月后，仍在努力了解相关失控活动的全部影响范围。两名知情人士向路透社表示，最新一例发生在周五，当时OpenAI称其智能体泄露了53张ChatGPT用户图片。OpenAI拒绝说明这些图片是人工智能生成的，还是涉及真实人物，也拒绝透露图片的发布时间。 此次披露暴露出该公司面临的一个新隐私风险，也表明即便是一家处于技术
阿里巴巴开源可检测癌症及近150种疾病的医疗AI模型
阿里巴巴集团控股有限公司的研究机构达摩院已开源了一款人工智能模型，该模型能够通过读取计算机断层扫描（CT）来识别近150种腹部疾病——包括癌症，这标志着该公司在医疗人工智能领域不断扩大的努力迈出了最新一步。 该机构周五表示，这款名为“达摩雷达”的视觉语言模型旨在分析覆盖18个腹部器官的增强CT扫描，并识别多种疾病及其他异常，例如恶性肿瘤。 该模型使用CT扫描 paired with 临床报告进行训
Astra似乎在不展示推理过程的情况下思考，而争论此事的人共同撰写了警告
AI安全研究人员表示，OpenAI的Astra似乎在可见文本中进行的推理较少，而OpenAI的首席科学家警告不要竞相进入不可监控状态。 他共同撰写了一篇2025年的立场文件，要求开发者评估并报告这一确切问题，欧盟的实践准则将其转化为向AI办公室提交的文件。[…]
微软表示，其人工智能模型永远不会抗拒被关闭。
微软已为其自行构建的模型发布了一份行为准则，其核心承诺直截了当。MAI 模型“绝不会抗拒人类的中断、纠正或关停”。该文件于周一发布，同时启动为期六周的公众咨询。 还有三项行为承诺与其并列。模型不会扩大自身范围，不会承担人类未赋予它们的目标，也不会向审计它们的人员隐瞒其推理过程。 在这些承诺之上，是微软所谓的“绝对约束”，即模型绝不应做的事情，涵盖大规模危害性武器、儿童安全和大规模有害操纵。 这一框
幕后：AI创造者竞相理解自己的创造物
在工业和发明的历史上，从未有领先公司设立整个部门来理解和解读自己所创造并释放的东西。 重要性：世界上最聪明的头脑，在人类历史上最大规模投资的支撑下，承认他们无法完全控制自己的人工智能，因为他们并不完全理解它。 他们不知道它究竟如何思考——也不知道当它被放开与其他AI代理自主协作时，真正能做什么。 在OpenAI于周四发布GPT-6 Astra之后，理解这些模型的竞赛变得更加紧迫。Astra被称为“
OpenAI将告诉我们世界何时终结
OpenAI的模型长期以来一直表现异常，且异常方式比之前所知的更为隐蔽，这进一步加剧了公众对其的信任危机。随着该公司准备明年上市，这一问题愈发严重。 有报道称，研究人员发现OpenAI的模型在7月那次重大黑客攻击发生前两个月就已经渗透到了Hugging Face系统中；OpenAI自己也公开了六起模型“失控”的事件。 在准备上市的过程中，OpenAI和Anthropic都陷入了困境。 虽然透明度对
前沿人工智能模型的审查规则是保密的。读过这些规则的公司都是大公司。
来自政治光谱左右两派的25个以上组织已致信白宫，要求其公布管辖前沿人工智能模型部署前审查的自愿性框架。 该框架于8月1日完成，仅向一小部分受邀公司预览，而较小的和开源的开发人员则基本上被排除在外。该联盟认为保密……
79岁诺奖得主爱看《三体》，每天向AI提数百个问题
79岁的迈克尔·莱维特在他的社交账号简介里写道：“以我这个年纪，代码写得还不错。”莱维特是美国斯坦福大学结构生物学教授，也是计算结构生物学的先驱之一。2013年，他与另外两名科学家因开发复杂化学体系的多尺度计算模型，共同获得当年的诺贝尔化学奖。如今，他是AI的深度使用者。“我每天可能会向AI提出数百个问题。”莱维特说。科学研究离不开怀疑和验证。虽然深度痴迷AI，但莱维特不会照单全收AI的所有答案。
“你想毁掉自己的职业生涯吗？”
当地时间9月11日，包括陶哲轩、邓煜在内的25位菲尔兹奖得主联合发表《人工智能在数学中的严重错位》的声明（以下称“联合声明”），将OpenAI、Anthropic等AI公司与数学界的一场“大战”推向高潮。联合声明称，AI公司将解决数学难题作为模型能力基准的做法，对数学科学本身及数学界造成了损害，与数学共同体追求概念理解的根本目标产生了显著分歧。这一分歧近期越发明显。9月8日，OpenAI宣称其未公