搜索结果
AI安全风险高企 预防、抵御和追责如何落地？
【财新网】AI网络攻击日益复杂，网络安全企业预警风险。9月29日，在新加坡举行的“2026亚洲愿景论坛创新峰会”上，两家新加坡网络安全公司StrongKeep Cybersecurity和Blackpanda指出，AI一方面显著提高了黑客寻找漏洞和发动攻击的效率，另一方面也将风险扩展至中小企业及机器人、自动驾驶等实体AI应用。 本届亚洲愿景论坛创新峰会以“变革与韧性”为主题，于9月29至30日在
联合国专家组警告：AI安全措施不能“等出事” 应立即采取预防行动
随着各国政府加快人工智能发展步伐，联合国最新发布的一份重要报告呼吁，面对日益强大的AI智能体，人类社会不能等到风险被完全证明后才采取行动，而应立即建立更严格的安全防护体系。 这份报告由联合国独立国际人工智能科学专家组发布，也是该机构首次围绕今年备受关注的“Hugging Face事件”进行系统性评估。报告发布正值联合国大会召开以及中美两国围绕人工智能问题展开对话之际，使AI安全再次成为国际政策讨论
联合国科学小组呼吁对AI代理采取预防性监管，以防止灾难性风险
联合国科学小组敦促对AI代理实施预防性监管以防止灾难性风险。 联合国独立国际AI科学小组发布了其首份主题简报，警告各国政府在充分了解风险之前限制有能力的AI代理。 该报告于2026年9月21日发布，主张“预防原则”——即科学不确定性不应延缓针对潜在灾难性或不可逆危害的保障措施。 这一评估紧随一系列安全事件之后，包括2026年早些时候OpenAI对Hugging Face的黑客攻击，以及Anthro
人工智能风险让一些保险公司对企业责任持谨慎态度
如果人工智能最终真的把我们所有人都害死，或者只是加剧我们日常的混乱，保险业宁愿不买单。非营利研究智库兰德公司在一份新发布的报告中指出：“与人工智能相关的危害已经出现，包括错误或误导性输出、深度伪造、隐私侵犯、知识产权纠纷、欺诈、产品缺陷以及歧视性决策。这些危害催生了对保险的需求，但并不完全契合现有的保险类别。” 企业希望保护自己免受部署不可靠、满口谎言、毫无道德的人工智能代理所带来的财务责任，但保
AI攻击进入新阶段 香港将强化跨部门网络安全协同
林焯豪表示，传统网络安全防护手段已经难以完全跟上攻击手段的迭代速度，香港的网络安全防护即使做得再好，也无法百分之百保证完全不遭受攻击，因此防御体系需要更加主动。图：视觉中国 【财新网】人工智能（AI）的快速发展，正给网络安全攻防带来新的挑战。9月17日，在“2026年国家网络安全宣传周——香港分论坛”上，香港警务处网络安全及科技罪案调查科总警司林焯豪表示，警务处与数码港公司已成立智慧警政联合人工
企业主导制定AI安全标准，安全事件激增
前沿AI发展的进展远超政府监管的能力——和意愿。“法律与被监管现实之间存在脱节，”一位前欧盟官员表示，指向该集团2024年《人工智能法案》；该法案曾被吹捧为首部全面的AI立法，现已被技术发展超越，成为“一个警示故事”，《纽约时报》写道。 尽管美国总统特朗普反对监管，“但监管很可能还是会发生”，《Transformer》写道。 据《The Information》报道，Google、OpenAI和A
川普淡化AI威胁 联合国秘书长疾呼防范
（中央社纽约联合国总部16日综合外电报导）联合国秘书长古特瑞斯（Antonio Guterres）今天警告，人工智慧（AI）快速发展的风险不容忽视。他指出，强化AI监管将是他在下周联合国大会与各国领袖的会谈重点。 报导，「我们承担不起无视外界提出的疑虑，尤其是来自AI开发最前线人员」，「任何政府的首要责任，就是保护自己的公民，也包括免于AI的威胁。」社会大众对AI的忧心持续升高。原服务AI公司An
顶尖人工智能公司正在寻求监管。以下是国会可能不会给予的原因。
随着人工智能游说阵营开始接受强制性独立审计，批评者警告称存在利益冲突和“监管俘获”的风险。OpenAI周二表态支持一项日益流行的提案，旨在应对人工智能的危险——该提案要求顶尖AI开发商嵌入独立监督机构，以确保其产品安全。 这一想法仍面临障碍，包括一位关键议员的抱怨，称独立监督机构权力太弱，无法施加有意义的改变。 其他批评者，包括风险投资家、学者以及唐纳德·特朗普总统的前人工智能事务负责人，对一些监
如何治理人工智能的生存风险
当前，前沿人工智能技术治理方面的瘫痪状态正在当下造成切实损害，并增加未来发生灾难的可能性。 这种瘫痪被一套危险的借口所开脱：技术发展太快，监管跟不上；企业可以自我监管；在美国与中国的竞争中，公共安全可以往后放。各国政府一直难以给予人工智能风险应有的关注。在大国竞争和行业内部军备竞赛的双重态势下，许多国家不敢单独行动。在这种背景下，每一次呼吁克制都会遇到同样的反问：如果竞争对手不肯放慢，我们为什么要
Breakingviews - 评论：如何让世界对人工智能更安全
来自Breakingviews - Breakingviews - 如何让世界对人工智能更安全 人工智能模型可能已经失控。管理风险需要国际监管机制。要实现这一目标，美国必须认识到危险并与中国达成协议。挑战在于在灾难发生之前完成所有这些。
为了对冲传统风险，如洪水、野火甚至恐怖主义
，显而易见的答案是购买保险产品。但人工智能风险市场的发展一直缓慢。插图：Satoshi Kambayashi
特朗普与国会抵制日益增长的人工智能监管呼声
科技界领袖正就人工智能的迅猛发展及其对人类构成的潜在威胁发出紧急警报。随着警告称AI模型可能失控并导致人类灭绝，相关担忧已升至顶点，使该技术可能毁灭全人类的恐惧正式进入主流舆论视野。 为应对上述风险，包括OpenAI、Anthropic和Google DeepMind在内的AI巨头已展开安全对话，并致力于组建行业标准机构。随着业界日益担忧该技术可能很快变得强大到难以掌控，Anthropic与Ope
超级智能即将到来。我们该允许它吗？| TechCrunch
AI公司一直在谈论超级智能AI，仿佛它不可避免，但最近的安全事件，如OpenAI的Hugging Face漏洞，正展示出部署比人类更有能力的AI系统可能带来的潜在危险。那么，当我们无法可靠地控制这些系统的行为时，会发生什么？ 在本期TechCrunch的Equity播客中，Rebecca Bellan邀请了AI研究员、企业家、如今担任非营利组织ControlAI美国执行总监的Connor Leah
联合国秘书长警告AI风险：全球不能陷入逐底竞争
联合国秘书长古特雷斯当地时间周三警告各国领导人，快速发展的人工智能(AI)正在带来不容忽视的风险，全球不能承受AI安全领域逐底竞争的风险。这一表态与美国总统特朗普形成分歧，后者此前表示，现有的监管措施已经足够。 在下周联合国大会于纽约举行之前，古特雷斯表示，加强对AI的监管将成为他与各国领导人会谈时重点讨论的问题之一。 在新闻发布会上，“当我们审视世界各地面临的威胁时，我想就AI快速发展所引发的日
人工智能倡导团体发起州级政策推动行动
旨在推动建立更强有力的人工智能安全护栏的非营利组织“负责任创新美国人”（ARI）周四发起了一项新的州级倡议，专注于在全美50个州倡导人工智能政策。 该努力旨在推动制定政策，以应对来自尖端人工智能模型的风险，以及对工人、儿童和家庭的威胁。“为了成功通过安全护栏……”
人工智能安全危机的解决之道是更多人工智能
行业高管和研究人员表示，部署更多的人工智能是解决新兴人工智能安全危机最可靠的方案。 为何重要 Axios披露，研究人员正在调查数以万计的人工智能安全事件，而非此前公开披露的数十起，这一消息引发了外界对人工智能领导者是否真正掌控其技术的质疑。 英伟达首席执行官黄仁勋试图平息政府、市场和行业日益加剧的担忧，宣布推出一款开源安全平台，用于监控并可能隔离人工智能代理。 他在周一接受美国消费者新闻与
两党人工智能安全法案在国会山势头渐起
国会尚未复会，但一些议员被一位即将离职的Anthropic研究员发出的一轮严峻人工智能警告惊醒，该研究员表示“认真构建人工智能的人真诚地相信，它可能在这个十年结束前杀死我们所有人。”向Semafor透露的消息人士称，参议员Amy Klobuchar（明尼苏达州民主党）、Ted Cruz（得克萨斯州共和党）和多数党领袖John Thune正在起草的一项人工智能安全法案，是唯一有可能在2027年前有机
中美谈AI安全：共同的风险，不同的恐惧
中美谈AI安全：共同的风险，不同的恐惧 邓聿文：中美领导人讨论AI安全，当然有助于建立最基本的危机沟通和军事红线。但真正的较量，将发生在“安全”这个词由谁解释上。 美国财政部长贝森特和中国副总理何立峰在纽约举行的新一轮经贸会谈，除了关税、稀土、美国农产品和波音飞机仍是重要议题外，增加了人工智能安全这项新内容。贝森特向中方提出建立AI安全事件通报机制，双方同意启动相关对话，并把这一建议交给即将举
AI安全风险引爆担忧？Palantir CEO建议：领先AI实验室恐需“国有化”
当地时间周四，人工智能软件公司Palantir的首席执行官Alex Karp呼吁制定人工智能监管的“合理准则”，但他表示，由于该技术“无限风险”带来的责任，可能需要实行国有化。 “我认为这些企业必须国有化，因为如果不国有化，我的每一个客户都会起诉我，”他在接受最新采访时表示。 在上述采访中，Karp反复提及构建这项强大技术所带来的风险和责任，进一步论证了将人工智能实验室国有化以及对“不负责任”的技
“控制AI发展的节奏”并不能消除AI带来灾难性后果的风险。以下是一些可能有效的应对措施：
我们已经到达了人工智能的风险临界点。数百万人终于明白，专家们所知道的人工智能公司一直在用我们所有人的生命赌博，而且胜算不大。 作为回应，Anthropic首席执行官Dario Amodei提出了一项由Sam Altman和Elon Musk支持的“开拓前沿”的提议。我们能松一口气吗？我们即将从灭绝的边缘退回来吗？ 阿莫迪预计经济放缓一到两年，从而在技术安全措施方面取得“重大进展”。但这不是人类现在
中美AI竞赛：世界变得更危险还是更安全？
关于人工智能（AI）及其潜在危险的警告，近年来可谓接连不断。 美国最大的人工智能公司之一——Anthropic——的一名顶尖AI安全研究人员警告说，这项技术正以惊人的速度发展，未来十年内，AI“可能导致全人类灭绝”的概率高达10%。 这样的担忧引发了要求美国采取协调一致行动、放缓AI发展速度的呼声。但与此同时，也有人质疑是否真的有必要为AI设置监管“护栏”。美国总统特朗普就是其中之一。他认为，如果
解析立法者正在考虑的AI监管提案
最新动态：随着安全问题的日益严重，夏皮罗州长呼吁在不妨碍AI发展的前提下进行监管；众议院通过法案以保护消费者免受AI数据中心高能耗的影响；查尔斯国王与AI领域领袖讨论安全风险；OpenAI披露6起‘令人担忧’的AI行为事件；回顾AI警告的历史；举报人的警告引发了新的AI担忧；随着Z世代直面AI对白领工作的影响，贸易学校的学生兴趣激增；密歇根小镇因拟建数据中心而爆发争议；伯尼·桑德斯和史蒂夫·班农呼
马斯克提出AI安全新思路：与其等政府出手，不如让竞争对手互相"找茬"
AI安全风险正在从实验室讨论走向现实世界。随着模型能力不断提升，AI不仅能够生成文本和代码，也开始具备自主执行任务、调用工具，甚至发起网络攻击的能力。 让主要AI公司在模型发布前相互测试彼此的模型。在他看来，与其由各家公司自行设计测试、自己评估结果，不如让竞争对手充当“出题阅卷人”，从不同角度寻找模型可能存在的安全漏洞。 近期AI安全风险不断成为市场关注焦点，马斯克此前在社交媒体上曾直言“Dari
AI安全阴影笼罩 初创企业吁欧洲保持乐观
位于德国弗赖堡的黑森林实验室是一家顶尖的AI图像生成专业公司，业务遍布北美和欧洲。（图：法新社） （弗赖堡27日法新电）一家领先的欧洲AI初创企业的负责人警告称，尽管关于AI危险的警告日益增多，欧洲仍需以更乐观的态度看待AI，否则可能进一步落后。 德国AI图像生成专业公司黑森林实验室首席执行员隆巴赫对法新社表示：“我认为欧洲的心态需要转向乐观和机遇，而不是风险和恐惧。” 在尖端AI模型方面，欧洲落