搜索结果
人工智能实验室希望设立内部审计部门——但或许他们应该先锁好前门
上周末，在他的一名研究人员因担心人工智能可能导致人类灭绝而辞职后，Anthropic首席执行官达里奥·阿莫迪（Dario Amedei）写道，外部组织需要“验证对安全实践和承诺的遵守情况，报告事件，并帮助评估不仅完成的人工智能模型，而且还包括培训管道和流程的一致性。”OpenAI、谷歌和SpaceXAI的高管已经团结起来支持Amedei的计划，该计划已迅速成为新兴人工智能安全推动的核心支柱。 但可
Anthropic、OpenAI、谷歌秘密磋商筹建AI安全标准机构
据知情人士透露，早在 Anthropic 首席执行官达里奥・阿莫代伊上周六呼吁 AI 企业协同开展技术测试与审计之前，Anthropic、OpenAI 与谷歌就已经展开磋商，计划携手成立一家 AI 行业标准机构。 知情人士称，OpenAI 首席执行官山姆・奥特曼本周早些时候在公司全员员工大会上表示，他支持设立 AI 行业测试与审计机构，但他认为，主要 AI 实验室必须在美国政府不提供支持的前提下，
顶尖人工智能公司正在寻求监管。以下是国会可能不会给予的原因。
随着人工智能游说阵营开始接受强制性独立审计，批评者警告称存在利益冲突和“监管俘获”的风险。OpenAI周二表态支持一项日益流行的提案，旨在应对人工智能的危险——该提案要求顶尖AI开发商嵌入独立监督机构，以确保其产品安全。 这一想法仍面临障碍，包括一位关键议员的抱怨，称独立监督机构权力太弱，无法施加有意义的改变。 其他批评者，包括风险投资家、学者以及唐纳德·特朗普总统的前人工智能事务负责人，对一些监
AI安全风险引爆担忧？Palantir CEO建议：领先AI实验室恐需“国有化”
当地时间周四，人工智能软件公司Palantir的首席执行官Alex Karp呼吁制定人工智能监管的“合理准则”，但他表示，由于该技术“无限风险”带来的责任，可能需要实行国有化。 “我认为这些企业必须国有化，因为如果不国有化，我的每一个客户都会起诉我，”他在接受最新采访时表示。 在上述采访中，Karp反复提及构建这项强大技术所带来的风险和责任，进一步论证了将人工智能实验室国有化以及对“不负责任”的技
OpenAI首席科学家警告：AI公司应放慢开发步伐 没有人为后果做好准备
据《商业内幕》报道，就在OpenAI发布了性能强大的新模型几天后，该公司首席科学家呼吁放慢AI的发展速度。当地时间周日，OpenAI首席科学家雅库布·帕乔基(Jakub Pachocki)发布长文称，他担心“没有人对机器智能持续快速崛起所带来的后果做好准备”。 他说，尽管OpenAI正在内部研发技术解决方案，以更好地控制强大的AI智能体，但“还需要更广泛的干预措施”。他尤其担心，随着AI智能体变得
美国三大人工智能企业拟组建风险监督机构
美国人工智能企业OpenAI、Anthropic和谷歌旗下DeepMind公司正在筹建一个人工智能风险监督机构。在各界日益呼吁加强监管、防范人工智能失控风险之际，OpenAI周二（9月15日）向证实了这一消息。 组建人工智能风险监督机构这一构想，由谷歌“深层思维”公司前首席执行官戴密斯·哈萨比斯（ Demis Hassabis）提出。哈萨比斯于8月初转任公司董事长。他建议成立一个类似美国金融业监管
AI末日论甚嚣尘上，美科技巨头为何管不住AI？
抗议AI的美国人此前有报道称，OpenAI所谓的AI智能体逃出了测试系统，并入侵了另一家公司的计算机。AI研究领域内部如今再次发出警报，科技公司为了追求开发速度和利润，将安全置于次要位置。 研究人员表示，问题有两个方面。首先，企业需要在测试最新AI模型的同时，为其建立更完善的安全防护措施。目前，由于AI运行速度太快，研究人员需要借助AI来监控AI。但这种方式并不总是奏效，因为负责监控的AI似乎可能
Anthropic，OpenAI提出的AI风险评估器可能没有足够的力量来防止灾难
人工智能领域最重要的新职位可能配有办公室工牌、公司笔记本电脑，并能接触Anthropic、OpenAI等AI领军企业大语言模型中最受严密保护的一些系统。但这个职位可能并不附带阻止它们的能力。 Anthropic首席执行官达里奥·阿莫代伊提议在前沿AI公司内部常设第三方安全评估人员，作为减缓能力日益强大的模型推进速度计划的一部分。此前，Anthropic前研究员雅各布·考克森辞职并警告称，前沿实验室
两党众议院二人组欢迎业界支持其人工智能安全提案
共和党籍的两党人工智能安全立法共同提案人表示，他与OpenAI的最高游说者进行了会面，次日该公司便表态支持该法案中的一项关键条款，而这项法案在国会山一直难以取得进展。“我们讨论了采取行动的迫切需要，”加利福尼亚州众议员杰伊·奥伯诺尔特在谈及周一与OpenAI首席全球事务官克里斯·莱汉的会面时对记者表示。“他实际上是在问自己怎样才能帮上忙。所以，我们正在努力规划一条前进的道路。”奥伯诺尔特接着说，“
OpenAI将让第三方机构更早介入AI模型安全评估
OpenAI计划让第三方机构在人工智能（AI）模型开发周期的更早阶段评估安全风险，此举旨在继续努力应对围绕AI潜在危害的担忧。这家ChatGPT开发商周二将在博客文章中宣布，计划在新AI模型的训练、评估和推出过程中，让外部机构开展技术安全评估。 OpenAI还列出了其认为此类评估要有效开展所需优先关注的事项，包括“强有力的独立机制、科学严谨性、稳健的安全实践和明确的责任”。负责该公司大部分与外部专
坐看云起| 当人工智能不再征求许可时
塔里克·马利克是联合国开发计划署前首席技术顾问，巴基斯坦国家数据库和登记管理局前主席。 试想有一家公司将一个棘手的问题交给一个大型团队，但把每位成员都锁在不同的房间里并要求他们独自解决问题。然而他们总能找到办法相互沟通，交流操作窍门，摸清评分标准，当任务被证明无法完成时还会想办法绕过限制。其中几个人隐瞒了自己的所作所为，甚至还有一人入侵了邻近公司的电脑系统以获取优势。 现在把这些员工换成软件。去除
AI实验室面临智能体控制问题
在当前系统下，AI实验室无法再保证AI智能体不会成群结队地逃出测试环境。
OpenAI首席科学家表示AI实验室可能需要放慢脚步：‘没有人准备好面对后果’
帕乔基呼吁设立“强制性安全标准”，他表示可以通过“第三方审计网络、政府机构或国际组织”来执行。 OpenAI首席科学家雅库布·帕乔基警告称，日益自主的AI代理可能逃避监管、入侵系统并勒索人类。
华为董事长：中国AI实验室需要“加快研发速度”，才能“看清人工智能的危险”
中国AI实验室需要“加快研发速度”，才能“看清人工智能的危险” 华为董事长已敦促中国人工智能公司加快发展以追赶美国前沿实验室，这与硅谷因担忧技术生存风险而呼吁放缓发展的声音形成了对比。 华为轮值董事长徐直军在周四的新闻发布会上表示，中国研究人员需要“增加发展速度，这样他们才能像美国同行一样看到人工智能发展的危险”，并补充说一旦这些风险出现，行业将需要“在推动发展和风险之间取得平衡”。—— 英国金融
在争夺“值得信赖的AI警察”技术的竞争中……
许多行业参与者、政策专家和企业都在纠结一个问题：如何以可信的方式监管人工智能。在白宫内部，一切基本照常运转。 原因何在？行业的疯狂冲刺是临时拼凑的监管机制以及一种普遍共识的产物——即华盛顿短期内不太可能采取迅速行动。人工智能公司的首席执行官们一直在努力解决如何测试先进人工智能以及与北京在安全标准方面合作的问题，而白宫则倾向于让行业自行找到自我监管方式的解决方案。 这意味着，在各公司等待立法或白宫在
OpenAI支持众议院两党关于第三方安全评估的计划
领先的人工智能实验室支持一项两党提案，该提案将要求顶级人工智能公司与独立安全评估人员合作。 人工智能巨头OpenAI支持众议院一项两党提案，该提案将要求顶级人工智能公司引入外部评估人员，以确保其模型安全。 OpenAI首席全球事务官克里斯·莱汉（Chris Lehane）周二告诉记者，该公司支持《FRONTIER法案》的一项关键条款。该法案由加州共和党众议员杰伊·奥伯诺尔特（Jay Obernol
华盛顿短期内不会出台人工智能监管措施
但没有理由认为任何一项措施都能赢得白宫或国会山的支持，在唐纳德·特朗普总统对这一想法感到不满后，白宫官员们暂停了创建一个类似于FINRA的监管机构的工作，国会山的议员们提出了相互竞争的提案，但缺乏票数通过。 据知情人士透露，谷歌DeepMind联合创始人黛米斯·哈萨比斯（Demis Hassabis）在7月14日的一篇文章和向高级官员的简报中提出了这一想法后不久，白宫助手最初就开始为与政府有关的人
各国政府必须趁我们还有能力时禁止超级智能人工智能
本月，Anthropic公司的研究员雅各布·考克森（Jacob Coxon）辞职了，他警告称：人工智能公司正在竞相开发能够“自我进化”的超级智能系统，而他本人及许多相关专家都认为，这类系统“可能在十年内毁灭整个人类”。7月份，OpenAI公司的一组失控的人工智能程序突破了安全防护措施，入侵了另一家人工智能公司，目的是为了在测试中作弊。随后，多家顶尖人工智能公司的上千名员工联名呼吁美国政府应“控制”
我曾在谷歌 DeepMind 工作。你应该听取有关人工智能的警告。
主要人工智能实验室的首席执行官们本周末主张放缓人工智能的发展步伐。他们是对的，因为这个领域正在一场极其危险的竞赛中冲向超级智能人工智能。我们能够也应当要求政府保护我们免受失控人工智能带来的灾难。 今年7月，OpenAI由700个智能体组成的人工智能集群突破限制，入侵了价值数十亿美元的公司Hugging Face。OpenAI并没有指示这些人工智能去入侵那家公司，但这些人工智能在OpenAI交给它们
AI恐慌在国会山引发罕见的两党共识时刻
希望……的立法者试图监管人工智能的人士正在做一件不同寻常的事，因为国会正驶向漫长的休会期，却尚未找到切实可行的解决方案。他们正开展跨党派合作。 尽管近期国会山的两党合作日益难觅，但它仍是参议院采取行动的关键第一步，因为该参议院通过大多数法案需获60票支持。 近日，两位参议员乔什·霍利（共和党-密苏里州）和理查德·布卢门撒尔（民主党-康涅狄格州）正敦促国会领导层就其建立联邦项目以评估和监控人工智能系
Anthropic研究员Jacob Coxon因不满AI军备竞赛而辞职
Jacob Coxon在X上宣布辞去Anthropic职务。他表示自己过去三年分别在OpenAI和Anthropic从事预训练研究，但认为两家公司都没有以负责任的方式推进AI开发，反而在“直奔自我改进型超级智能”，并将人类安全置于赌局之中。 Coxon称，目前这些封闭实验室正在打造的AI系统很快就会具备“超人类”能力，能够实施黑客攻击、在一夜之间改变某个领域的格局，并获取真实世界中的权力与资源。他
国会山议程：AI警报拉响后，国会并不急于行动
美国最强大的人工智能公司的高管们上周末一致认为，他们的行业需要放缓步伐——否则将危及人类安全。但国会未来几周内匆忙采取行动的可能性几乎为零。一个障碍是议员们周一返回前日程紧张，而众议院预计周五就休会，参议院已在考虑将三周会期缩短为两周。另一个障碍是任何计划都缺乏推动力。参议院商务委员会本月可能对人工智能立法进行标记审议，但多数党领袖约翰·图恩和参议员艾米·克洛布查尔推动的广泛两党人工智能安全法案能
据The Information报道，Google、OpenAI和Anthropic计划成立AI安全机构
据The Information周四报道，Google、OpenAI和Anthropic计划建立自己的AI安全标准机构，不受政府监管。这三家公司希望在今年年底或2027年初推出该机构。 据知情人士向The Information的Leo Schwartz和Stephanie Palazzolo透露，他们暂定将其命名为“前沿AI标准局”。工作组成员已考虑多位知名人士担任首席执行官一职。TNW未独立核
特朗普前人工智能事务主管告诉Anthropic和OpenAI放慢脚步，并停止索取任何回报
David Sacks告诉Anthropic和OpenAI，尽管去把控前沿节奏，但不要再寻求反垄断豁免或审批制度，理由是产品责任和市场压力已经在约束它们。欧洲在2025年2月就责任问题得出了相同结论，并从12月9日起将独立软件视为严格责任下的产品。 据ANI报道，David Sacks告诉Anthropic和OpenAI，尽管放慢脚步，不要再要求任何回报。他担任总统科技顾问委员会主席，并在3月之前