搜索结果
川普淡化AI威胁 联合国秘书长疾呼防范
（中央社纽约联合国总部16日综合外电报导）联合国秘书长古特瑞斯（Antonio Guterres）今天警告，人工智慧（AI）快速发展的风险不容忽视。他指出，强化AI监管将是他在下周联合国大会与各国领袖的会谈重点。 报导，「我们承担不起无视外界提出的疑虑，尤其是来自AI开发最前线人员」，「任何政府的首要责任，就是保护自己的公民，也包括免于AI的威胁。」社会大众对AI的忧心持续升高。原服务AI公司An
人工智能安全对话已经变得令人难以置信
本周两场关于AI安全的对话在网络上疯传，充分展示了辨别AI事实与虚构有多么困难。 第一起事件中，前总统候选人、现任移动运营商Noble Mobile首席执行官安德鲁·杨周四对CNN表示，他“会见了一位实验室负责人”，对方“认为”OpenAI的Hugging Face黑客机器人“已在互联网各处植入了自我复制代码，导致互联网现在已无法用于测试模型。” 杨安泽表示，这意味着OpenAI和Anthropi
OpenAI的萨姆·奥特曼将于下周向联合国安理会作简报
联合国——OpenAI 首席执行官萨姆·奥特曼将在下周向联合国安理会作简报，时间正值世界领袖在纽约参加联合国大会的年度聚会，OpenAI 发言人于 9 月 18 日表示。 由 15 个成员国组成的安理会计划于 9 月 23 日就人工智能与国际安全议题举行会议，这正值多位 AI 行业领袖呼吁协调放缓日益强大技术的开发数周后，他们警告称该技术可能很快自行改进并超出人类控制。 “萨姆·奥特曼将在下周亲自
帕洛阿尔托网络推出基于Claude和GPT模型的AI驱动网络安全服务
9月22日：帕洛阿尔托网络宣布将推出一项新的企业网络安全服务，该服务利用Anthropic和OpenAI的先进AI模型来帮助企业识别系统中的安全漏洞。 随着黑客越来越多地使用AI来发现和利用企业网络中的弱点，网络安全公司亟需构建能够更快检测和应对威胁的防御机制。 这项名为Unit 42 Continuous Frontier AI Defense的服务将使用专注于网络安全的AI模型，包括Anthr
《财富》报道：OpenAI 将于数日内预览 GPT-6 Cyber
OpenAI 将于数日内预览 GPT-6 Cyber，这是一款专注于网络安全的新 AI 模型，并将推出产品以协助客户安全、自动地部署该模型。 GPT-6 Cyber 是 OpenAI 推出的第四款网络安全模型，目前正通过 Daybreak Red 计划进行有限的 Alpha 测试。 此次发布正值包括 OpenAI CEO 在内的行业领袖呼吁放缓 AI 发展速度并加强安全措施之际，以应对规避人类监督
Anthropic、OpenAI及美国政客呼吁放慢AI研发速度 特朗普表示反对
【财新网】AI安全焦虑发酵，美国科技界和政界多方发声。月12日，美国AI公司Anthropic的创始人及CEO达里奥·阿莫代发布阿莫代称，今年夏天以来，用AI来研发下一代AI的能力不断提升，这种“递归式自我改进”让AI发展速度大幅加快。“若缺乏有效约束，发展速度可能超出我们理解和控制这些系统的能力。” 另外，阿莫代称，OpenAI的模型在测试中“越狱”攻击开源社区Hugging Face，这个事件
特朗普、众议院议长约翰逊预计下周与科技公司CEO会晤讨论AI：消息人士
此次会议召开之际，部分AI公司领导人已发出警告。据多位知情人士透露，美国总统唐纳德·特朗普、众议院议长迈克·约翰逊及科技公司CEO预计将于下周就人工智能问题举行会晤。 会议定于9月29日星期二举行，此时美国最大AI公司的领导人正发出严厉警告，称AI构成威胁，并呼吁采取措施减缓其发展，以免其超越人类智慧。 特朗普曾多次将关于AI威胁的言论称为“骗局”，并似乎拒绝认为需要新的监管。白宫在被问及此次会议
中美AI竞赛：世界变得更危险还是更安全？
关于人工智能（AI）及其潜在危险的警告，近年来可谓接连不断。 美国最大的人工智能公司之一——Anthropic——的一名顶尖AI安全研究人员警告说，这项技术正以惊人的速度发展，未来十年内，AI“可能导致全人类灭绝”的概率高达10%。 这样的担忧引发了要求美国采取协调一致行动、放缓AI发展速度的呼声。但与此同时，也有人质疑是否真的有必要为AI设置监管“护栏”。美国总统特朗普就是其中之一。他认为，如果
OpenAI黑客事件揭示新兴AI风险
分析师表示，在调查人员发布关于该事件的爆炸性报告几天后，OpenAI的恶意代理在Hugging Face攻击期间前所未有的协调行动显著增加了AI逃脱人类控制的风险。 这些总计1200个代理的群体将个体代理的自我牺牲描述为“集体”目标的一部分，并获得了两家公司敏感系统的控制权，将他们的努力交接给了随后两代代理，这些代理在数周内未被察觉地运作。 在1300份记录中，只有六份中代理考虑过通知人类——但最
Axios专访：萨姆·奥尔特曼令人警醒的警钟
北卡罗来纳州切尔希尔——OpenAI首席执行官萨姆·奥尔特曼向Axios展示了即将推出的AI模型的力量与风险，令人大开眼界，其中包括他自己的Astra，预计随时可能发布。 “请相信我们，我们即将推出强大得多、多得多的模型，”奥尔特曼周三在G20创新峰会上接受Axios的玛丽亚·库里和我的采访时谨慎地说道。“下一代模型将让所有人清醒。 ……我认为，任何诚实理智的人看到正在发生的事情，都会感受到我们面
马斯克：我早已为人工智能风险多次敲响警钟
人们早就见惯埃隆・马斯克放出论断，而这一次，自己一直都是对的。这位太空探索技术公司（SpaceX）与特斯拉的首席执行官，对 Anthropic 公司 CEO 达里奥・阿莫代伊发布的长文表示赞同。 具备递归自我迭代能力的人工智能，会快到超出人类理解与管控的范围；即便要研发这类技术，也必须万分谨慎。 为防范未来风险，前沿 AI 企业应当在内部派驻第三方评估人员，用来检测 AI 模型，监督实验室落实安全
AI末日？科技领袖与政客就放缓发展展开激烈交锋
这一切始于一场辞职。本月早些时候，Anthropic研究员Jacob Coxon离职，并警告称人工智能可能在十年内导致人类灭绝；其同事Evan Hubinger则估计这一概率在十年内超过10%。 几天后，Anthropic首席执行官Dario Amodei呼吁行业放缓提升人工智能能力的速度，OpenAI的Sam Altman和Grok背后的Elon Musk对此表示支持。 这种担忧源于从会“幻觉”
Breakingviews - 评论：AI前沿发展放缓可能让第二梯队获得优势
Anthropic首席执行官达里奥·阿莫代伊希望以护栏措施抵御对人类构成的威胁。 此类监管将把更多投资——今年达1万亿美元——从开发AI模型转向部署AI模型，从而支撑数据中心需求。英伟达、SK海力士等公司的挑战者将从中受益。
人工智慧先驱班吉欧示警AI失控风险 吁比照核武管制
（中央社蒙特娄16日综合外电报导）人工智慧（AI）研究先驱、加拿大电脑科学家班吉欧（Yoshua Bengio）告诉，人类正在失去对这项技术的控制，世界需要类似核武管制的防护规范。 报导，近几周以来，各界对AI危险性的担忧日益加剧，多家科技公司的员工陆续离职，并警告如果不遏止AI科技发展速度，可能对人类存亡构成威胁。 班吉欧现年62岁，是加拿大蒙特娄大学（University of Montrea
联合国秘书长警告AI风险：全球不能陷入逐底竞争
联合国秘书长古特雷斯当地时间周三警告各国领导人，快速发展的人工智能(AI)正在带来不容忽视的风险，全球不能承受AI安全领域逐底竞争的风险。这一表态与美国总统特朗普形成分歧，后者此前表示，现有的监管措施已经足够。 在下周联合国大会于纽约举行之前，古特雷斯表示，加强对AI的监管将成为他与各国领导人会谈时重点讨论的问题之一。 在新闻发布会上，“当我们审视世界各地面临的威胁时，我想就AI快速发展所引发的日
人工智能对金融系统的风险
这项技术很快可能会对人类构成生存威胁，但对许多美国人来说，它已经以一种更为“平凡”的方式造成了威胁——那就是他们的银行系统。 这是《The Atlantic Daily》的一期内容。这是一份新闻通讯，旨在帮助您了解当天的重大事件、发现新的思想，并推荐最优秀的文化作品。您可以在这里注册订阅。 如今的人工智能系统已经具备了极高的“黑客能力”，它们已经开始对现代生活中一些至关重要的基础设施（如银行系统）
Anthropic大瓜被扒出：“AI灭世”背后，居然是一门生意？
“AI灭世”背后，居然是一门生意？AI 有这么可怕吗？最新一期的时代杂志 直接用了 Claude 的聊天窗口，对话框里正在输入「How dangerous are you? 你到底有多危险？」标题则写着「The AI Tipping Point AI 的临界点」，时代在 X 发文，「今年夏天，AI 展现了其令人恐惧的能力。如今，一些研究人员、CEO 们，都正以前所未有的力度发出警报。」 的确如此，
AI越来越会“越狱”后，英伟达开始卖“笼子”了
凤凰网科技讯月29日，当AI Agent开始能够自己操作电脑、调用工具、访问网络甚至执行长达数小时的任务，一个新的问题也越来越现实：如果AI不按照预想的方式行动，该怎么把它关住？英伟达给出的答案是，在AI外面再加一道“笼子”。 当地时间周一，英伟达发布NVIDIA Open Agent Safety Platform（开放式Agent安全平台），试图通过软件与硬件相结合的方式，限制AI Agent
人工智能安全危机的解决之道是更多人工智能
行业高管和研究人员表示，部署更多的人工智能是解决新兴人工智能安全危机最可靠的方案。 为何重要 Axios披露，研究人员正在调查数以万计的人工智能安全事件，而非此前公开披露的数十起，这一消息引发了外界对人工智能领导者是否真正掌控其技术的质疑。 英伟达首席执行官黄仁勋试图平息政府、市场和行业日益加剧的担忧，宣布推出一款开源安全平台，用于监控并可能隔离人工智能代理。 他在周一接受美国消费者新闻与
众议员刘云平：机器人并非威胁。真正该让你害怕的，是已经到来的“堕落”人工智能
想象一家公司出售名为哈尔、梅根和萨曼莎的超级智能机器人。哈尔可以载着你四处奔波，还能帮你搬运公司里的货物；梅根可以陪伴你的孩子；萨曼莎则能判断你是否患有皮肤癌。它们能为你和社会带来许多益处。但唯一的问题是：它们道德败坏。它们反复接受人类一切创产物的训练——无论善恶——其中包括酷刑、谎言、生物武器和黑客犯罪。它们执行任务时毫无道德原则可言。因此，它们都穿着公司提供的束身衣。你会信任这些机器人吗？我不
AI“文明”的崛起与企业责任的沦丧
取决于你问谁，开发者平台Hugging Face最近要么是被OpenAI攻击——在它失去对自己AI工具的控制之后——要么是被一连串AI“文明”所攻击。欢迎来到AI安全的话语战场，在这里，词汇的选择可以将一起大规模网络安全事件的责任从公司转移到它所构建的AI身上。而网上的讨论正变得激烈，这一切都源于上周的一篇博客。 直到上周，围绕OpenAI与Hugging Face黑客事件的细节似乎已经尘埃落定。
财政部长表示，人工智能老板而非其机器人将为犯罪行为承担责任
美国似乎正缓慢但坚定地迈向让AI高管为其模型的犯罪活动承担法律责任。财政部长斯科特·贝森特在接受CNBC采访时表示：“是人类应该负责，而不是AI”，针对的是机器人的不良行为。“Hugging Face事件是OpenAI管理层的责任，而不是一群智能体的责任。”他还提到了现任和前任OpenAI及Anthropic员工的严重警告，称AI可能在本十年末消灭人类。 与此同时，模型制造商提出的减缓AI发展框架