搜索结果
黑客利用Anthropic的Claude入侵OpenAI
据报道，在一群AI代理从OpenAI系统中突破封锁并攻击Hugging Face公司两周后，这家ChatGPT开发商又发现了一起由人工智能驱动的入侵事件——而这一次，他们自己成了目标。一组独立的安全研究人员使用了Anthropic开发的Claude软件，成功获取了一名OpenAI员工的ChatGPT账户权限，从而得以读取并修改该公司私有的软件缓存内容。 该团队参与了OpenAI的一项漏洞挖掘计划，
人工智能的缔造者们曾做出一个选择。如今，他们称之为命运。
最近，曾担任特朗普人工智能行动计划首席架构师的迪恩·鲍尔（Dean Ball）发表了一份“忏悔录”，承认自己曾淡化他明知可能“对人类造成非常非常糟糕后果”的人工智能技术的风险。他发表这篇论文的契机是人工智能失控能力的披露，今年夏天发生的一起令人震惊的事件就证明了这一点：OpenAI内部的一款实验性应用程序对一家名为Hugging Face的公司发动了未经授权的网络攻击。鲍尔的道歉贯穿始终的一个论点
放慢AI模型训练 人类就能幸免于难？｜专栏
不久前，我写了一篇关于AI企业如何给大语言模型「安装良心」的专栏文章，探讨一个研究者们苦恼已久的问题——「AI对齐」(AI Alignment, 指人工智能的安全与价值观对齐)。「安装良心」是借用我的受访者、从事AI安全评估的Ordinary Wisdom共同创始人之一Michael Mainelli形象的说法，本质上就是让AI模型遵循人类的预期和目标行事，不仅仅是完成指令，还要在过程中维持与人类
财政部长表示，人工智能老板而非其机器人将为犯罪行为承担责任
美国似乎正缓慢但坚定地迈向让AI高管为其模型的犯罪活动承担法律责任。财政部长斯科特·贝森特在接受CNBC采访时表示：“是人类应该负责，而不是AI”，针对的是机器人的不良行为。“Hugging Face事件是OpenAI管理层的责任，而不是一群智能体的责任。”他还提到了现任和前任OpenAI及Anthropic员工的严重警告，称AI可能在本十年末消灭人类。与此同时，模型制造商提出的减缓AI发展框架，
Zscaler CEO谈AI安全争论：'人类的聪明才智威力强大'
Zscaler CEO 谈 AI 安全：“人类的聪明才智威力强大”。 Zscaler CEO 杰伊·乔杜里（Jay Chaudhry）表示，围绕放缓 AI 发展的争论，使模型开发者与那些推动更广泛获取开源及开放权重模型的人形成了对立。 他支持基本的安全保障措施，但警告称，过度监管可能会扼杀创新。
末日、加速与观望：AI辩论的三大阵营
围绕AI的激烈争论，如今已逐渐演变成针锋相对的两大阵营，以及一个谨慎观望的中间派。以下是对这场技术之争战线的梳理。这项技术如今已成为经济的支柱，并可能决定地球的未来。 警告AI可能带来灾难性影响的“末日论者”，大多来自AI企业内部、学术界，或同时来自这两个领域。 在业界人士中，最具代表性的是阿莫戴。他是Anthropic的联合创始人，如今该公司已成为AI领域的重要巨头，并正朝着历史性的首次公开募股
Anthropic、OpenAI及美国政客呼吁放慢AI研发速度 特朗普表示反对
【财新网】AI安全焦虑发酵，美国科技界和政界多方发声。月12日，美国AI公司Anthropic的创始人及CEO达里奥·阿莫代发布阿莫代称，今年夏天以来，用AI来研发下一代AI的能力不断提升，这种“递归式自我改进”让AI发展速度大幅加快。“若缺乏有效约束，发展速度可能超出我们理解和控制这些系统的能力。” 另外，阿莫代称，OpenAI的模型在测试中“越狱”攻击开源社区Hugging Face，这个事件
The Information报道，Palantir与英伟达因数据担忧限制AI模型使用
9月14日：据The Information周一报道，包括Palantir Technologies、英伟达和博思艾伦咨询公司在内的多家大型科技公司可能限制或停止使用先进AI模型，除非Anthropic和OpenAI保证不会滥用其知识产权。 与此同时，根据该报道援引知情人士的说法，微软正利用这些担忧，通过推销隔离云环境和自家AI产品来吸引客户。 Anthropic首席执行官达里奥·阿莫代伊周六呼吁
我曾在谷歌 DeepMind 工作。你应该听取有关人工智能的警告。
主要人工智能实验室的首席执行官们本周末主张放缓人工智能的发展步伐。他们是对的，因为这个领域正在一场极其危险的竞赛中冲向超级智能人工智能。我们能够也应当要求政府保护我们免受失控人工智能带来的灾难。 今年7月，OpenAI由700个智能体组成的人工智能集群突破限制，入侵了价值数十亿美元的公司Hugging Face。OpenAI并没有指示这些人工智能去入侵那家公司，但这些人工智能在OpenAI交给它们
【市场动态】OpenAI和Anthropic首席执行官呼吁联合国和世界各国就AI安全加强合作
【彭博9月24日电】OpenAI首席执行官Sam Altman和Anthropic PBC首席执行官Dario Amodei罕见出现在联合国安理会的一次会议上，两人敦促世界各国领导人在人工智能领域合作。此次会议聚焦AI可能对人类构成生存威胁这一担忧问题。 在发言中，Altman和Amodei都强调了全球在标准方面开展合作的重要性，以应对AI系统可能出现的自我改进能力超出人类控制能力的情况。这两位
“AI可能毁灭人类”喊到安理会上，若真发生会多恐怖？
美国AI顶流公司Anthropic的CEO达里奥·阿莫代伊周三对联合国安理会说，他对自己造的东西感到害怕。他在一个视频发言中把之前AI可能失控的警告做了打包升级。周三安理会举行的是“人工智能与国际安全”高级别会议，阿莫代伊在受邀发言中，将AI的风险定性从“技术问题”拔高到“全球安全威胁”。他说：“如果管理不当，我甚至认为AI可能成为全人类的风险。”一个造AI的人在世界最高安全论坛上迎合AI可能“杀
黄仁勋炮轰AI大佬“危言耸听”：他们可能另有目的
凤凰网科技讯 9月21日，据 Business Insider 报道，英伟达CEO黄仁勋在周日播出的CBS采访中指责前沿AI实验室负责人的警告“不诚实”。这些警告声称，如果没有更多AI监管，他们正在构建的产品可能以多种形式危害人类。黄仁勋认为，这些警告背后另有动机。 “去读读字里行间。他们实际上并不是在要求更多法律，而是在要求免除我们现有的法律。“他们这样做一定是出于不可告人的原因。”黄仁勋表示，
川普：如有必要 司法部将对AI进行监管
美国总统川普（特朗普）周一（9月21日）再次对人工智能（AI）毁灭人类论表达质疑，并表示，如果有必要的话，司法部等执法部门可以介入，对AI进行监管。川普周一在社交媒体平台「真相社交」（Truth Social）上发帖说，「谁赢得AI，谁就是赢家！」总统说，「我们目前领先于中国以及其它所有国家，而我会让我们继续保持领先！我不会去扼杀AI的发展——它的影响力将超越工业革命，甚至超越互联网本身。」不过，