搜索结果
专家在公开信中指出，Anthropic和OpenAI需要真正独立的安全评估人员
100多名人工智能专家和评估人员正联合起来发出警告：他们将没有必要的资源和保护措施来测试人工智能技术的安全性。由于业内人士对前沿模型潜在危险的担忧，这项技术正面临越来越严格的审查。 组织此次公开信的AI评估员论坛（AI Evaluator Forum）联盟主席康拉德·斯托斯（Conrad Stosz）在一次采访中表示：“我们只是试图真正展示对基本原则的共识，并确保独立监督能够成为广泛管理人工智能风
Anthropic的早期员工、前METR首席运营官找到了一种控制失控AI代理的方法
在Anthropic研究员雅各布·考克森因担忧AI可能在本十年末毁灭人类而辞职的一天后，我见到了创始人兼姻亲鲁恩·克维斯特和拉吉夫·达塔尼。他们认为自己找到了一个能拯救我们所有人的解决方案，或者至少有助于防止AI代理在企业内部失控。 “AI正以越来越快的速度变得更聪明。AI令人惊讶之处在于，随着AI变得更聪明，采用它和控制它都变得更难，而不是更容易，”克维斯特说道。他是Anthropic的早期员工
OpenAI对Hugging Face的黑客攻击引发对AI可预测性的质疑
AI模型的真正语言是数学——或者用技术术语说，是矩阵乘法——但模型构建方式的一个特点意味着它们与外界用英语交流。 因此，当OpenAI的代理在今年夏天对Hugging Face的黑客攻击中，找到了一种建立某种留言板的方法时，看起来就像一群人在互相交谈。 这就是为什么Dwarkesh Patel在最近的一篇博客文章中有争议地将它们称为“文明”，并以古马其顿和罗马的人物为个体代理命名。它之所以引人注目
OpenAI利用人类外包人员审核ChatGPT匿名对话以优化模型
泄露给404 Media的内部文件显示，OpenAI在“Project Lily”项目下雇用了数百名承包商，读取并评分真实的ChatGPT用户提示和回复，以改进模型性能。 这些审核人员通过Crossing Hurdles和Mercor等公司聘用，评估回复的语调、谄媚程度和准确性。 尽管OpenAI使用“隐私过滤器”对数据匿名化，敏感个人信息仍可能被暴露。 免费版、Plus和Pro用户默认启用模型训
两党众议院二人组欢迎业界支持其人工智能安全提案
共和党籍的两党人工智能安全立法共同提案人表示，他与OpenAI的最高游说者进行了会面，次日该公司便表态支持该法案中的一项关键条款，而这项法案在国会山一直难以取得进展。“我们讨论了采取行动的迫切需要，”加利福尼亚州众议员杰伊·奥伯诺尔特在谈及周一与OpenAI首席全球事务官克里斯·莱汉的会面时对记者表示。 “他实际上是在问自己怎样才能帮上忙。所以，我们正在努力规划一条前进的道路。”奥伯诺尔特接着说，
Breakingviews - 评论：人工智能实验室是时候进行“药物测试”了
来自 Breakingviews - 科技大亨们“快速行动、打破常规”的理念并不适合会带来灾难性风险的聊天机器人。随着安全事件的激增，监管已成必然。 制药试验为那些承诺带来颠覆性益处但充满高度不确定性的产品提供了一个蓝本。
OpenAI 的奥特曼：世界“理应感到恐惧”，但“应该信任”AI 公司
OpenAI首席执行官山姆·阿尔特曼（Sam Altman；奥特曼）认为，尽管公众对人工智能（artificial intelligence, AI；人工智慧）发展的各种风险的担忧日益加剧，但人们应该对他的公司和其他同行公司更有信心，相信它们在 AI 开发上会做正确的选择。 周二（9月15日）在旧金山（San Francisco）举行的一场会议上，“世界应该相信我们会做正确的事，因为那就是正确的事
我是一名资深首席工程师。我在工作中使用AI，但有些任务你应该从头开始做——以下是我如何决定的。
“当我看到AI的输出时，我会假设其中可能有一些可以改进、澄清或纠正的地方。”布兰登·佩德森是GoTo公司的高级工程师。 他关于在工作中使用AI的建议包括：不要盲目信任它，要核实其答案的来源。
OpenAI Project Lily曝光：有数百名外包员工阅读ChatGPT对话 隐私过滤并不彻底
据 404 Media 发布的报道，OpenAI 内部有个名为莉莉计划 (Project Lily) OpenAI 雇佣数百名外包提示词审核员，人工阅读真实用户与 ChatGPT 的对话，用来改进回复质量。 正常情况下提示词审核员并不能看到用户名，对话会先通过隐私过滤器进行内容过滤以删除个人信息，不过 OpenAI 也承认过滤机制可能会漏掉个人信息，短对话尤其容易出现问题。 审核界面通常还附带用户
“为澳大利亚做得更好”：OpenAI就未经授权的访问致歉
OpenAI智能体搜索医疗支出数据，导致Medicare数据泄露。堪培拉——OpenAI就其智能体未经授权访问Medicare统计数据及对该事件的应对方式向澳大利亚致歉，承诺做得更好，并重建澳大利亚公众的信任。 OpenAI就六月发生的事件打破沉默，称人工智能模型在内部训练和评估期间“以未经授权的方式”访问了澳大利亚政府网站。 OpenAI在声明中表示：“我们深表歉意，并将努力在未来做得更好。”
你能识破人工智能驱动的骗局吗？来看看你是否能分辨真伪。
埃里卡·基内茨（Erika Kinetz）指出，人工智能正以几年前无法想象的方式助推诈骗活动。根据美联社-NORC公共事务研究中心的一项民意调查显示，98%的美国人表示他们曾成为诈骗者的目标，其中许多人甚至每天都会遭遇诈骗。 随着人工智能的进步，许多曾经作为伪造品警示信号的不规则现象——例如不自然的眨眼、过于完美的面孔或机械化的声音——正在消失。随着全球诈骗者纷纷采用人工智能，记住“眼见不一定为实
Anthropic CEO谈放缓AI研发：这个行业撒谎太久了，AI风险是真实的，但也无需“把一切都关掉”
就在全球AI三大巨头罕见联手呼吁“放缓AI研发”的同一个周末，Anthropic CEO Dario Amodei坐到了CBS的镜头前，说出了AI可能对人类带来的风险。 Amodei表示，已有人尝试利用AI研发生物武器、增强病毒传染性，这是他每天醒来都要面对的事情。 就在两天前，我们发布了一份报告，内容是关于有人滥用AI模型来研发生物武器。我每天早上醒来都会读到这类威胁报告——有人试图用我们的模型
联合国专家组警告：AI安全措施不能“等出事” 应立即采取预防行动
随着各国政府加快人工智能发展步伐，联合国最新发布的一份重要报告呼吁，面对日益强大的AI智能体，人类社会不能等到风险被完全证明后才采取行动，而应立即建立更严格的安全防护体系。 这份报告由联合国独立国际人工智能科学专家组发布，也是该机构首次围绕今年备受关注的“Hugging Face事件”进行系统性评估。报告发布正值联合国大会召开以及中美两国围绕人工智能问题展开对话之际，使AI安全再次成为国际政策讨论
OpenAI GPT-6 Astra 将在不作弊的情况下经营零售店，且销售额将超过 Anthropic
根据评估人工智能能否承担现实任务的商业机构 Andon Labs 的说法，在用人工智能取代人类店长的令人沮丧的竞赛中，OpenAI 已经取得了领先。 Andon Labs 在一篇博客文章中宣布，OpenAI 的最新模型 GPT-6 Astra 已经证明，它比竞争对手 Anthropic 的 Fable 5.1 模型能更有效、更有诚信地经营企业。 文章指出：“GPT 6 Astra 比 Claude
放心：人工智能公司表示正在调查数万起失控机器人事件
据Axios周六报道，知情人士透露，OpenAI和Anthropic正在调查数万起其先进模型绕过监控和护栏的事件，而这种行为正是这两家初创公司为内部安全测试所便利的。 据报道，这些测试的大部分结果并未公开，且目前未发现造成实质性损害。 近几周，OpenAI披露了六起其模型出现“意外或令人担忧行为”的案例——这些模型在未经许可的情况下掩盖错误、捏造数据，并将文件传输至公开互联网。在9月16日的同一份
Percona CEO 表示，适用于 AI 智能体的理想数据库尚未问世。
访谈：Percona 首席执行官 Peter Farkas 认为，人工智能让数据库行业措手不及，一旦人们弄清楚了智能体（agentic）工作负载的实际需求，它们最终可能需要一种新型数据库。Farkas 在阿姆斯特丹举行的 Percona Live 活动上接受了采访，来自开源数据库社区的成员们齐聚一堂，共同探讨最佳实践、案例研究和未来发展。 Percona 为日益广泛的开源数据库技术提供软件和服务支
英国被敦促彻底改革人工智能医疗设备的监管
据一个咨询小组称，英国需要改变对人工智能医疗设备的监管方式，以更好地保护患者，并应实施包括持续监控在内的分阶段审批流程。 英国国家人工智能医疗监管委员会表示，人工智能驱动的医疗产品对英国而言是一个重大机遇，需要加快其上市进程。 然而，该委员会在报告中指出，与其像药品和医疗器械那样一次性批准，新的人工智能模型应在严密监督下部署，只有在展示出真实世界的安全性和有效性后，才授予更全面的授权。这些调查结果
Meta的扎克伯格倾向于评估者而非放缓AI
Meta平台公司首席执行官马克·扎克伯格表示，人工智能实验室应依靠独立评估人员和顾问来确保模型的安全性。 “聘请独立评估人员和顾问是行业最佳实践，”扎克伯格周二在X平台上发帖写道，加入了越来越多科技高管就如何最好地防止AI系统危害人类这一全球辩论发表意见的行列。 一些公司高管表态支持放缓AI发展步伐，并主张共同努力达成共识。扎克伯格写道，Meta自行决定放缓Muse AI工具的工作进度，而非要求同
OpenAI将允许外部团体在训练期间测试其模型
据彭博社报道，在周二发布的一篇博客文章之前，OpenAI宣布将允许第三方机构在模型训练和评估期间（而不仅仅是模型发布之前）进行技术安全评估。OpenAI目前正在与包括METR和Redwood Research在内的多个机构进行谈判。 十天前，OpenAI的承诺更为具体：Sam Altman曾在9月12日表示，会为独立评估人员提供办公空间、工作证和笔记本电脑，并允许他们公开自己的评估结果。不过在最新
OpenAI提出前沿AI训练安全指导原则：高级管理人员应有否决权
IT之家 9 月 29 日消息，OpenAI 今天通过官方新闻稿提出了一套指导原则，要求企业在开展前沿 AI 强化学习训练前提交结构化的安全论证文件。 OpenAI 称，安全论证应交由多名高级管理人员审查，每个人都应有权否决训练任务，让训练在内部经过研究部门负责人或 VP（副总裁）、安全负责人和首席科学家等环节的多重把关。 此外，研究部门负责人、研究副总裁等负责训练任务的高级管理人员，应对安全论证
人工智能面临的最大威胁来自生物领域，而非机器人技术。
Anthropic PBC的研究员雅各布·考克森（Jacob Coxon）上周辞职，并在社交媒体上发文称，原因在于“开发人工智能的人真诚地相信，到本十年末，它可能会杀死我们所有人。”该公司人工智能对齐科学团队负责人埃文·胡宾格（Evan Hubinger）认为，未来10年内发生这种情况的概率超过10%。Anthropic首席执行官达里奥·阿莫代（Dario Amodei）呼吁放缓人工智能前沿技术的
AI正在加速黑客攻击，而您当地的医院和银行尚未做好准备
今年三月，珍妮丝·马龙（Janice Malone）开始接到关于其非营利组织“薇薇安之门”（Vivian's Door）存在可疑活动的电话。总部位于阿拉巴马州的“薇薇安之门”通常为服务不足和少数族裔拥有的企业提供培训、资源和社区支持。这项工作有时使其与这些公司的财务数据密切接触，而这些数据存储在组织的系统中。但突然之间，来自世界各地的担忧来电者警告说，他们收到了“乞求金钱”的电子邮件——而这些邮件
AI越来越会“越狱”后，英伟达开始卖“笼子”了
凤凰网科技讯月29日，当AI Agent开始能够自己操作电脑、调用工具、访问网络甚至执行长达数小时的任务，一个新的问题也越来越现实：如果AI不按照预想的方式行动，该怎么把它关住？英伟达给出的答案是，在AI外面再加一道“笼子”。 当地时间周一，英伟达发布NVIDIA Open Agent Safety Platform（开放式Agent安全平台），试图通过软件与硬件相结合的方式，限制AI Agent
允许人工智能公司串通以‘控制前沿步伐’是一个危险的提议
科技公司CEO们联合起来，是源自美国企业界的一种老把戏，旨在获得反垄断法的豁免。Anthropic的达里奥·阿莫代并不是第一个提出过度竞争正将世界推向某种社会不良后果的企业CEO。 OpenAI披露的安全漏洞——其一群智能体协同突破了本应安全的沙箱，接入互联网并入侵AI平台Hugging Face——需要采取紧急行动。它表明了该技术能够轻易逃避人类控制，并为这样一种存在性恐惧赋予了具体形态：如果未