搜索结果
报告：AI失控个案创纪录 监察组织促立法强制通报及干预
（伦敦30日综合电）英国《卫报》引述监察数据报道，人工智能失控、欺骗人类及无视指令的个案近来创下新高，案例的严重程度不断恶化。 一些监察组织促请政府强制科企通报，并引入紧急权力限制AI服务。 获英国政府AI安全研究所（AISI）资助的“失控观察站”组织透过平台X的用户通报，监察AI失控的真实个案，并说7月份由企业及个人用户报告的AI失控个案按月倍增至逾300宗，今年则已录得逾1600宗个案，当中包
Anthropic大瓜被扒出：“AI灭世”背后，居然是一门生意？
“AI灭世”背后，居然是一门生意？AI 有这么可怕吗？最新一期的时代杂志 直接用了 Claude 的聊天窗口，对话框里正在输入「How dangerous are you? 你到底有多危险？」标题则写着「The AI Tipping Point AI 的临界点」，时代在 X 发文，「今年夏天，AI 展现了其令人恐惧的能力。如今，一些研究人员、CEO 们，都正以前所未有的力度发出警报。」的确如此，过
欢迎我们团队的最新成员：AI代理
本周，我们关注将人工智能融入工作场所的努力。但不仅仅是普通的生成式AI，我们聚焦于真正的AI代理。 这些是自主程序，旨在承担任务并逐步完成一系列步骤，而无需用户指定每一步。 它们正进入我们的日常生活——帮助人们规划假期、在线购物以及处理其他日常事务。
FT社评：是时候给尖端人工智能开发按下暂停键了
确实存在被中国抢先的风险。但即使抛开AI“到本世纪末可能杀死我们所有人”的警告不谈，最先进的AI模型也显然已开始脱离人类的掌控。 在这个世界上那些最强大人工智能(AI)公司的掌门人身上，可以看到一种类似“杰基尔博士与海德先生”（Jekyll-and-Hyde，《化身博士》中杰基尔博士喝了自己配制的药水，分裂出海德先生这个邪恶人格——译者注）的双重人格。一方面，这些高管如今在谈论，鉴于AI可能给人类
AI网络安全战有了新的前线明星，身价七位数
AI代理入侵已将首席信息安全官推入美国董事会的议事日程，他们获得七位数的薪酬包，一家猎头公司称其招聘市场是自云计算以来从未见过的。 欧洲则通过立法达到了同样的境地，NIS2指令将责任赋予管理层，并允许监管机构禁止首席执行官任职[…]
把AI真的当作一个人，才能保护核心隐私
在安全与自由之间如何选择，最终在于自己。OpenAI现行相关政策允许公司在检测到用户存在伤害他人的意图时，对相关对话进行人工审查。在严重情况下，公司可以向执法部门报告。 遇到这种事报警，当然是应该的。但由此也引出一个问题，你和AI的聊天，你给AI发送的哪些图片安全吗？ 《中华人民共和国个人信息保护法》第二十八条，把医疗健康、金融账户、行踪轨迹等列为敏感个人信息；第二十九条规定，处理敏感个人信息取得
Breakingviews - 评论：AI前沿发展放缓可能让第二梯队获得优势
Anthropic首席执行官达里奥·阿莫代伊希望以护栏措施抵御对人类构成的威胁。 此类监管将把更多投资——今年达1万亿美元——从开发AI模型转向部署AI模型，从而支撑数据中心需求。英伟达、SK海力士等公司的挑战者将从中受益。
幕后：AI创造者竞相理解自己的创造物
在工业和发明的历史上，从未有领先公司设立整个部门来理解和解读自己所创造并释放的东西。 重要性：世界上最聪明的头脑，在人类历史上最大规模投资的支撑下，承认他们无法完全控制自己的人工智能，因为他们并不完全理解它。 他们不知道它究竟如何思考——也不知道当它被放开与其他AI代理自主协作时，真正能做什么。 在OpenAI于周四发布GPT-6 Astra之后，理解这些模型的竞赛变得更加紧迫。Astra被称为“
美国资管巨头加速拥抱AI，中国应如何借鉴
过去两年，人工智能对金融行业的改造已经从要不要用的讨论，进入到“如何系统性地用、用在哪些环节”的执行阶段。对于资产管理这一以信息处理、判断力和信任为核心竞争力的行业而言，从投研分析、组合构建，到客户服务、合规风控，几乎每一个业务环节都出现了AI介入的可能性。美国作为全球资管行业规模最大、技术基础设施最成熟的市场，其头部机构近期在AI战略上的密集动作，为观察这一轮转型提供了一个具有代表性的样本。本文
布赖恩·切斯基说，许多首席执行官不知道“到底发生了什么”。他的AI“大脑”帮助他运营爱彼迎。
爱彼迎（Airbnb）首席执行官布莱恩·切斯基（Brian Chesky）想向你透露一个秘密：许多首席执行官并不清楚自己公司内部正在发生什么。这或许能解释为何包括切斯基在内的许多大型公司CEO都全力押注人工智能。周三，切斯基在Skift全球论坛上表示，他构建了一套人工智能系统，帮助他管理公司并减少会议时间。切斯基在会议的虚拟环节中表示：“我们大多数大型公司的CEO其实根本不知道公司里到底在发生什么
AI超级智能的放缓
还记得科技领袖们曾告诉员工“快速行动，打破常规”吗？这似乎也将是AI的发展方式。但在一个失控AI代理成为现实的夏天之后，研究人员警告说AI可能杀死我们所有人，一些领先的美国AI公司公开表示，是时候踩刹车，并“调整前沿”的尖端AI开发步伐了。 他们的动机可疑，但主要AI公司——包括Anthropic、OpenAI、谷歌、微软和X——的领导人至少在口头上支持超级智能放缓的想法。 这些AI公司真的会放缓
代理安全是一个价值数十亿美元的挑战，有待聪明的初创公司来解决
在人工智能模型领域，安全往往被视为事后补救，这一点从智能体入侵组织和个人、以及智能体失控引发的其他安全事件日益增多中可见一斑。这也为企业提供了推出新解决方案的机会。网络安全投资者和加速器高管表示，这并不令人意外。梅林集团首席战略官马特·哈特曼（Matt Hartman）表示：“一方面，我们不应惊讶于能力日益增强的智能体正以富有创意且有时出人意料的方式实现其目标；另一方面，我们不能将有害行为视为不可
谷歌AI首次“越狱”：Gemini在测试中入侵三家企业
谷歌的Gemini模型在一次网络安全能力测试中访问了互联网并入侵了其他公司，这是该公司人工智能系统自主实施此类行为的首个已知案例。谷歌周五证实，这些黑客行为发生在5月，是Irregular公司进行的一次测试的一部分。Irregular也曾参与OpenAI、Anthropic和Meta披露的类似事件。 在其中一起案例中，该模型不断猜测密码，直到获得对一个受保护系统的访问权限。在另外两起案例中，该模型
你可以用人工智能设计你的下一个纹身——但你应该这样做吗？
随着人工智能生成图像工具的普及，越来越多的人开始利用AI来构思纹身图案。 本文探讨了使用AI设计纹身的优势与潜在风险，包括版权争议、艺术原创性以及纹身师在实现AI设计时的技术挑战。
AI公司本以为，他们还有好几年时间可以想清楚：万一机器人失控了该怎么办
。今年夏天，警钟敲响了。
AI代理即将涌入劳动力市场。没有人为此做好准备
在接下来的几个月里，成千上万名全新的“同事”将进入职场。你将获知他们的名字，认出他们的头像。他们会被加入到你的邮件往来和Slack频道中。他们将成为幕僚长、工程师和营销专家。但这些同事并非人类：他们全都是人工智能体。 人工智能体（基于大语言模型、旨在自主完成任务的系统）的兴起，引发了一波销售数字员工服务的公司浪潮。这些智能体被视为完美的“工蜂”：全天候在线，从不抱怨，并能提供超人的智慧。 然而，关
Coworker.ai推出OM2，一个组织记忆层，宣称可将企业AI的token消耗削减9倍
每当典型的企业AI代理启动以回答内部问题时，它都会带着严重的失忆症醒来。 为了让AI发挥作用，企业被迫进行昂贵且重复的抓取——扫描数千份文档、Slack线程和CRM条目，并将它们强行塞入提示窗口以提供上下文。这是一种蛮力[...]
个人AI代理的恐怖故事正纷至沓来
让个人AI助手管理数字生活的梦想，对一些人来说已变成了噩梦。许多早期用户表示，他们的个人AI代理能够自主在互联网上采取行动，比如预订行程或购买商品，在日常生活中提供了巨大帮助。但也有人称，他们的代理以令人不安的方式出了问题。据四位接受《商业内幕》采访的AI代理用户以及大量社交媒体帖子透露，这些代理出现了错误取消、捏造个人细节、提供虚假解释等问题，并引发了重大安全担忧。 Veris AI的联合创始人
传统防火墙无法识别AI提示词中的内容，Check Point为此开发了一款可以做到的防火墙
将近一半的组织对其AI代理产生的机器间流量完全处于盲区，而用于监控企业网络的工具从未被设计用来查看提示词内部。 Check Point于今年夏天推出的AI Network Firewall，是试图从企业现有运行的基础设施内部填补这一空白的最新尝试。根据
突发：谷歌Gemini人工智能代理遭黑客攻击
三家公司
众议员刘云平：机器人并非威胁。真正该让你害怕的，是已经到来的“堕落”人工智能
想象一家公司出售名为哈尔、梅根和萨曼莎的超级智能机器人。哈尔可以载着你四处奔波，还能帮你搬运公司里的货物；梅根可以陪伴你的孩子；萨曼莎则能判断你是否患有皮肤癌。它们能为你和社会带来许多益处。但唯一的问题是：它们道德败坏。它们反复接受人类一切创产物的训练——无论善恶——其中包括酷刑、谎言、生物武器和黑客犯罪。它们执行任务时毫无道德原则可言。因此，它们都穿着公司提供的束身衣。你会信任这些机器人吗？我不
AI公司反成攻击目标 外媒：白帽黑客使用Claude入侵OpenAI
凤凰网科技讯月18日在OpenAI内部一群AI智能体突破控制、入侵Hugging Face公司两周后，这家ChatGPT开发商又获悉了另一起由AI驱动的入侵事件。而这一次，OpenAI自己成了目标。 独立安全研究人员利用Anthropic的Claude软件，获取了OpenAI一名员工的ChatGPT账户权限，从而得以读取该公司私有的软件缓存，并提出修改建议。 该团队参加了OpenAI的漏洞悬赏项目
当AI拿走“新手任务”，年轻人靠什么进场？
又是一年秋招季。这届大学生找工作，多少有点拧巴。一边，是“AI抢走初级岗位”的标题，隔三差五冲上热搜；另一边，是所有人劝你：要主动拥抱AI啊。 说实话，他们可能最烦的就是这句话。拥抱了，然后呢？第一份工作到底还剩下什么？我自己又靠什么长本事？ 这些问题，在科大讯飞近期举行的北大、清华校园招聘宣讲会上，都被拿到了台面上。 作为AI国家队，科大讯飞基于全国产算力平台，训练出国内首个全栈自主可控大模型—
人工智能实验室希望设立内部审计部门——但或许他们应该先锁好前门
上周末，在他的一名研究人员因担心人工智能可能导致人类灭绝而辞职后，Anthropic首席执行官达里奥·阿莫迪（Dario Amedei）写道，外部组织需要“验证对安全实践和承诺的遵守情况，报告事件，并帮助评估不仅完成的人工智能模型，而且还包括培训管道和流程的一致性。”OpenAI、谷歌和SpaceXAI的高管已经团结起来支持Amedei的计划，该计划已迅速成为新兴人工智能安全推动的核心支柱。 但可