在人工智能模型领域，安全往往被视为事后补救，这一点从智能体入侵组织和个人、以及智能体失控引发的其他安全事件日益增多中可见一斑。这也为企业提供了推出新解决方案的机会。网络安全投资者和加速器高管表示，这并不令人意外。梅林集团首席战略官马特·哈特曼（Matt Hartman）表示：“一方面，我们不应惊讶于能力日益增强的智能体正以富有创意且有时出人意料的方式实现其目标；另一方面，我们不能将有害行为视为不可避免或无法管理的。”微软M12风险投资基金的管理合伙人托德·格雷厄姆（Todd Graham）指出，这是每一项新兴技术都会重演的故事，从笔记本电脑到云计算皆是如此。格雷厄姆表示：“每当我们构建新的基础设施时，都方便地忘记了安全。”这正是早期安全公司的机会所在。格雷厄姆说：“如果笔记本电脑默认就是安全的，就不会有CrowdStrike；如果云默认就是安全的，就不会有Wiz；如果身份验证默认就是安全的，就不会有大量的Active Directory插件和Okta。”在人工智能安全方面，他补充道：“许多公司都将随这波浪潮崛起。”人工智能的不同之处在于模型进步的速度。企业花了数年时间才采用云技术，而组织正全速推进，将智能体和其他AI工具整合到生产环境中，并允许它们访问最关键的业务数据和应用。然而，他们尚未掌握如何管理、保护甚至识别那些已在系统内四处游走的智能体。
“这是一个逐月发生的转变，鉴于我们目前观察到的市场变化速度，对于这一问题以如此戏剧化的方式爆发，我丝毫不感到惊讶，”格雷厄姆表示。“已经发生的事件——我不会为它们辩护，但它们应该是一记警钟。这是一个需要引入安全机制的时刻，而且我们必须更快地将其落实到位。”
随着人工智能浪潮的兴起，“船只也将随之上涨”。哈特曼在拥有漫长的联邦网络安全职业生涯后加入了梅林公司，期间曾在美国网络安全和基础设施安全局担任高级职务。在私营部门，他帮助确定该集团应投资哪些处于早期至成长期的网络安全公司，并与这些企业合作，将其技术扩展至政府、关键基础设施及其他高度受监管的市场。
“我们特别关注管理非人类行为体智能体身份的安全层，明确其可访问和执行操作的界限，以及代表机构采取行动时的审计追踪，”他说。“各机构不仅询问如何采用智能体，更在询问如何约束它们，并证明某个智能体在周二凌晨两点具体做了什么。”
尽管“机遇巨大”，但初创企业创始人不能仅仅构建一款智能体AI安全产品。“人工智能使得构建产品的速度和成本比以往任何时候都更低，因此差异化门槛不断抬高，”哈特曼表示。“随着技术构建成本的下降，价值正转向差异化能力以及将这些能力推向市场的能力。”
能够同时做到这两点的创始人，拥有定义这一品类的真正机会。格雷厄姆还表示，终端用户正在寻找智能体身份与治理产品——“我坚信会有人打造出下一个Okta，正如SaaS催生了Okta一样”——但他补充说，他看到一些创始人“格局太小了”。格雷厄姆说：“我看到很多公司只解决了问题的一小部分。而现实是，如果我是一家财富500强公司的首席信息安全官，我绝不可能为了做一件事去买15个不同的产品。看看我们为人类建立的标准身份技术栈，它已经存在了相当长的时间，其中包含治理、访问控制、授权和访问权限。对于智能体而言，必须有人向我们提供一个能够解决所有这些问题的方案。”智能体身份是下一个独角兽然而，就非人类身份而言，这是一个非常庞大且艰巨的要求。服务账户仍然是黑客的主要攻击目标，因为它们通常拥有高权限，且密码永不过期。保护这些非人类账户的问题依然困扰着安全团队——而这甚至还是在智能体出现之前。
除了智能体身份，AI端点安全——可以将其视为AI领域的CrowdStrike——是另一个适合创新型初创公司大展身手的领域，格雷厄姆说。他表示，这是他个人作为创始人会去攻克的挑战，但他已被禁止再创办任何公司，所以这不会发生。格雷厄姆说：“如果你发生了数据泄露，并且你知道自己会被叫到国会面前解释为什么没有开启杀毒软件或端点检测与响应（EDR），那么你会很快将AI端点安全加入这个清单。这感觉是一个非常热门但尚处于早期阶段的领域，如果有人想要打造一个高质量的解决方案。”
他补充说，现有的端点和杀毒软件厂商“绝对会”开发产品来填补这一空白。"但这确实让人感觉像是又一个时代转折点，各种颠覆性变化即将来临，尤其是对那些已有既定承诺需要去解决的人来说。"格雷厄姆承认他对近期人工智能代理在现实世界中的不良行为感到"担忧"。"如果不加限制，如果任其自由发展，我非常担心这会走向何处，"他说。然而，他同时感到"安慰"，因为他曾目睹过类似的场景——安全团队始终追赶不上基础设施的发展速度。格雷厄姆还表示他"惊喜"地看到了安索弗罗首席执行官达里奥·阿莫代伊的那篇臭名昭著的《我们必须抑制边界》文章。"我不持怀疑态度认为这是某种宏大的阴谋来规避反垄断法，"他告诉我们。"我相信人工智能是一把了不起的工具，它将从根本上改善很多人的生活。但我们现在就必须付出努力，"格雷厄姆说。"我们已经把安全问题往后拖太久了，现在是时候解决它了。"