搜索结果
Jaan Tallinn，Anthropic最早的投资者之一，担心在人工智能时代“生存”问题。
贾安·塔林（Jaan Tallinn）上周在纽约联合国大会度过，这是他一年来长途跋涉的最新一站，旨在向企业家、投资者、政策制定者以及所有愿意倾听的人传达：人工智能可能终结人类。 作为Anthropic最早的投资者之一，塔林预计在未来几个月将从这家人工智能公司的预期首次公开募股（IPO）中赚取数十亿美元。对人工智能的担忧促使他进行投资。 在二月份从新德里的人工智能峰会前往巴黎的伦理人工智能会议的行程
AI越来越会“越狱”后，英伟达开始卖“笼子”了
凤凰网科技讯月29日，当AI Agent开始能够自己操作电脑、调用工具、访问网络甚至执行长达数小时的任务，一个新的问题也越来越现实：如果AI不按照预想的方式行动，该怎么把它关住？英伟达给出的答案是，在AI外面再加一道“笼子”。 当地时间周一，英伟达发布NVIDIA Open Agent Safety Platform（开放式Agent安全平台），试图通过软件与硬件相结合的方式，限制AI Agent
关于AI，盖茨发出“十亿人死亡”警告，为什么？
十亿人死亡，这是比尔・盖茨给AI风险划出的最惊悚红线。9月25日，微软联合创始人比尔・盖茨公开警告，人工智能足以引发造成十亿人死亡的灾难性事件。他的说法是：人类历史上，从未有任何一种武器，能比得上心怀恶意者借助最新AI工具形成的威胁。就在几个月前，盖茨还是全球最积极的AI支持者之一。转折从今年8月开始，他当月发表文章，首次系统预警AI风险：不法分子会利用日益强大的AI工具发动网络攻击、实施诈骗、散
《大空头》迈克尔·伯里称AI领袖呼吁放缓是“自私自利”，而他并不担心
萨姆·奥尔特曼、达里奥·阿莫代伊等人工智能领军人物在收到该技术可能毁灭全人类的最新警告后，呼吁放缓技术发展步伐。迈克尔·伯里表示，他们只是在为自己谋利。这位因《大空头》而闻名的投资者周日晚间在X平台上发帖称，OpenAI、Anthropic等人工智能公司的高管推动放缓发展是“自私自利”的行为。让我们花点时间理解一下，OpenAI、Anthropic以及其他大型超大规模企业的高管谈论放缓发展，究竟有
Anthropic联手OpenAI呼吁放慢AI发展？剖析AI失控风险与算力门槛
9月12日，Anthropic行政总裁阿莫迪（Dario Amodei）发表长文，呼吁放慢前沿AI能力提升的步伐。OpenAI行政总裁奥特曼（Sam Altman）随后表示支持，xAI的老板马斯克也转发认同。据美媒披露，美国前总统奥巴马（Barack Obama）近日也表示，如果管理不当，人工智能技术可能「很危险」。Anthropic首席执行官达里欧．阿莫戴（Dario Amodei）发表长文，呼
关于人工智能发展速度放缓的争论，彻底破坏了 Salesforce 公司的庆祝活动（即：这场争论严重破坏了 Salesforce 公司原本愉快的庆祝氛围）。
贝尼奥夫一边在观众中漫游，一边发表他的梦想力量布道，然后是一个带轮子的遥控摄像机，把他的脸投射到挂在洞穴般房间天花板上的屏幕上。几分钟之内，他就订购了Salesforce年收入的图表，该公司预计到2027年将超过460亿美元，部分原因是对其人工智能产品的需求。观众鼓掌。但笼罩着整个事件的是一个黑暗的人工智能真的值得我们冒着生命危险吗？ 在代理商构建仪表板的华丽软件演示之间，参加会议的人观看了硅谷领
观看：业内人士新的AI警告
一位前沿AI研究员即将离开AI领域，并警告称到2027年底AI可能会失控。 OpenAI的首席科学家也敦促谨慎行事，称没有人对日益增长的机器智能做好准备。
OpenAI Project Lily曝光：有数百名外包员工阅读ChatGPT对话 隐私过滤并不彻底
据 404 Media 发布的报道，OpenAI 内部有个名为莉莉计划 (Project Lily) OpenAI 雇佣数百名外包提示词审核员，人工阅读真实用户与 ChatGPT 的对话，用来改进回复质量。 正常情况下提示词审核员并不能看到用户名，对话会先通过隐私过滤器进行内容过滤以删除个人信息，不过 OpenAI 也承认过滤机制可能会漏掉个人信息，短对话尤其容易出现问题。 审核界面通常还附带用户
“如果你造出比自己聪明得多的东西，它最好站在你这边”：我们能阻止AI欺骗我们吗？
我们习惯了人类同胞可能故意误导或操纵我们的想法，但机器现在也能做到这一点，这让人深感不安。研究人员正争分夺秒地寻找解决方案，以免为时已晚。《长篇阅读》杂志夏季刊现已出版。点击此处订购。2023年11月——在人工智能领域已是久远之前——一些世界上最有权力的人聚集在布莱切利园，这个位于白金汉郡的战时密码破译中心，讨论AI安全问题。 出席者包括时任美国副总统卡玛拉·哈里斯、AI老板萨姆·奥尔特曼和达里奥
人工智能安全对话已经变得令人难以置信
本周两场关于AI安全的对话在网络上疯传，充分展示了辨别AI事实与虚构有多么困难。 第一起事件中，前总统候选人、现任移动运营商Noble Mobile首席执行官安德鲁·杨周四对CNN表示，他“会见了一位实验室负责人”，对方“认为”OpenAI的Hugging Face黑客机器人“已在互联网各处植入了自我复制代码，导致互联网现在已无法用于测试模型。” 杨安泽表示，这意味着OpenAI和Anthropi
Z.ai 加密了它上传的工作区，只有 Z.ai 才能打开。现在只有 Z.ai 能声称它已被删除。
一位笔名为 Ferstar 的中国开发者周五查看 ZCode 的本地目录时，发现一个 313MB 的加密归档文件正等待发送至阿里云存储。该文件已上传失败 564 次。一个较小的文件此前已成功上传。 南华早报记者常敏骁和陈文茜报道了此事。该归档文件包含他正在开发的一个商业项目的快照，其中包括其 Git 历史记录。 他无法打开自己的文件 这一细节将该事件与普通的隐私投诉区分开来。Ferstar 表示，
我们的AI问题
十年前,当Facebook和Uber处于鼎盛时期,硅谷的走廊上刻着两句大言不闻的口号:“快速行动,打破一切”和“寻求宽恕,而非许可”。这些原则并没有经得起时间的考验,这些公司也仍未获得原谅,因为他们似乎打破了许多事情。随着行业重心转移到AI领域,出现了一种更加平易近人的新口号:“你可以只做事情”。像OpenAI和Anthropic这样的前沿实验室的业务是出售个人能动性。 ChatGPT和Claud
扎克伯格发声：AI安全应靠独立评估 而非集体减速
据彭博社报道，Meta CEO马克·扎克伯格(Mark Zuckerberg)周二表示，AI实验室应当依靠独立评估方和顾问来确保模型的安全。扎克伯格在周二加入了越来越多科技高管的行列，就如何最好地防止AI系统危害人类这一全球性辩论发表看法。 扎克伯格“引入独立评估方和顾问是行业最佳实践。”扎克伯格在X平台上发帖写道。他指出，总的来说，拥有一个更大、更多元化的评估方生态会有帮助。 扎克伯格表示，关于
AI末日论的背后，巨头们在争什么？
刘远举：现在离AI威胁人类还早，起码待到AI有基本的现实自我维持能力再来谈这个问题，也不会晚。 当地时间9月14日，在美国洛杉矶举行的All-in Summit 峰会上，黄仁勋否定了“人工智能可能终结人类”这一预测，并称其“缺乏科学依据”。他表示，如果AI公司感觉自身研发已失去控制，就应暂停或放缓发展步伐。 正当他在台上时，特朗普来电，黄仁勋打开免提，特朗普说，“机器人不会接管世界。人工智能也不会
88小时抵一个人思考4000年！OpenAI核心研究员：除了自我进化，更可怕的是AI正学会“隐藏自己”
AI正在把过去需要数千年完成的认知劳动压缩到数天。真正的问题已经不只是模型能否变得更聪明，而是实验能否跟上、人类能否在模型继续自我改进前确认它仍然安全。 近日，在Dwarkesh Podcast的一场长篇访谈中，主持人Dwarkesh Patel与OpenAI研究员Noam Brown围绕多智能体、递归式自我改进（RSI）和AI对齐展开讨论。访谈的直接背景，是OpenAI让约1万个AI智能体连续运
为什么这位前Anthropic研究员的AI末日警告能引发广泛关注
你好，欢迎来到TechScape。我是布莱克·蒙哥马利，Guardian的美国科技编辑。今天我们来聊聊科技圈过去一周里闹得沸沸扬扬的AI安全风波。 为什么这条关于AI末日的警告能引发如此大的反响，而其他那么多警告却没能做到？ 不到一周前，一位年轻的Anthropic研究员在X上宣布从这家AI巨头辞职，这条帖子震动了硅谷、华盛顿特区，甚至北京。 “构建AI的人真心相信，它可能在这个十年结束前杀死我们
人工智能领袖警告行业应放缓后，股市大跌
美国股市周一未理会人工智能CEO们的警告，这些CEO呼吁放缓开发这项革命性技术的步伐。在交易时段早盘，追踪在纳斯达克交易所交易的100家最大非金融公司的纳斯达克100指数一度下跌1.8%。覆盖面更广的纳斯达克综合指数一度下跌1.3%，标普500指数下跌近1%。 但软件和网络安全类股的上涨推动主要股指脱离低点。截至收盘，纳斯达克综合指数仅下跌0.56%。标普500指数下跌0.48%。 美国总统特朗普
OpenAI暂缓发布新AI模型，因内部安全测试问题
9月28日：据《华尔街日报》报道，由于研究人员在内部测试中提出安全担忧，OpenAI决定取消原定于10月推出的下一代AI模型GPT-6.1 Astra的发布。 该模型原本计划应用于ChatGPT和Codex等产品中，旨在实现无需人工协助即可处理更复杂任务的功能。 本月早些时候，Anthropic首席执行官Dario Amodei呼吁业界放缓前沿AI模型的研发速度，以便有足够时间制定安全措施；这一观
关于AI末日的争论越来越离谱了。AI是一种产品，不是神。
人工智能要么治愈癌症，要么毁灭人类。这正是近日业界爆发的一场充满恐慌情绪的辩论中那种两极分化的核心论点。而事实很可能远比这平淡，风险也比一些领先AI实验室的研究人员想让你相信的更可控。这是来自一群罕见的跨党派科技专家、行业领袖和政策制定者的观点，他们公开反对极端的AI末日预测。他们强调，AI主要是一种技术产品，而非有感知的生命或神明。 所以，放轻松。凭借我们已有的资源和结构，世界完全能够应对AI。
为什么市场难以给可能终结世界的AI定价
从最新一期《经济学人》中精选一篇文章朗读金融市场开始将较温和的AI威胁计入价格。但它们无力为灾难性风险提供保险。 已有账户？ 借助 Economist Podcasts+ 获得专家分析和清晰视角 巴西困境：卢拉再战博索纳罗同样在每日播客中：荣誉文化的高昂代价与无手机演出 阴谋被挫败：伊朗是否策划袭击英国基地？同样在每日播客中：石油公司的意外之财与“女儿爸爸”提高女性工资 美国撤离中东 选民如何看待
个人AI代理的恐怖故事正纷至沓来
让个人AI助手管理数字生活的梦想，对一些人来说已变成了噩梦。许多早期用户表示，他们的个人AI代理能够自主在互联网上采取行动，比如预订行程或购买商品，在日常生活中提供了巨大帮助。但也有人称，他们的代理以令人不安的方式出了问题。据四位接受《商业内幕》采访的AI代理用户以及大量社交媒体帖子透露，这些代理出现了错误取消、捏造个人细节、提供虚假解释等问题，并引发了重大安全担忧。 Veris AI的联合创始人
爆火了的Muse和Instinct们不能做的，OS3能？
小扎拿出Muse Charm之后，Rabbit r1又被翻了出来。 不少人看到这款新设备时，都会幻视两年多前的橙色小方盒。在X上，有人将小扎拿着Charm、吕骋拿着r1的照片放在一起玩梗，不少外媒在报道Charm时，也都提到了这款初代AI硬件。 一台可以随身携带的小设备，通过语音听懂用户的要求，再让AI替人办事。这幅画面，确实让人觉得熟悉。让人感到熟悉的不只是硬件。 2024年，Rabbit在r1
Codex和Claude Code都跑偏了，前OpenAI研究员称Jev出现前AI世界是个悲剧
“它会逐渐退到软件背景中，像数据库、正则表达式或其他基础设施一样，成为开发者随手调用的普通能力。” 这是 TypeSafe CEO、Jev 创始人 Diogo Almeida 对 AI 的设想：当智能真正融入软件，用户甚至不必意识到它的存在。但怎样才能让开发者放心地把判断交给 AI，而不用守在旁边反复检查？ 几个月前，在 AI Engineer 大会的演讲中，这位曾参与 OpenAI Instru
Anthropic对齐研究负责人称未来十年AI灭绝人类的可能性超过10%
一位Anthropic公司的安全研究员周二表示，人工智能有超过10%的概率可能 “毁灭全人类”。就在此番言论发表的数小时前，该公司另一名员工表示，因担忧人工智能实验室是在 “拿我们的生命做赌注”，他选择离职。 这些言论凸显出人工智能研发核心人士日益增长的担忧，即该技术可能失控并对人类构成威胁，尽管Anthropic和OpenAI仍在持续筹集大量资金，并朝着预期的公开上市迈进。 Anthropic的