字号 ·· | 护眼
theregister

AWS:DuckDB将为数据资产提供“连接组织”

上周,AWS收购了DuckLabs,即开源OL系统DuckDB背后的团队。

既然这家云巨头已经拥有自己的数据仓库——Redshift——而且它并未获得DuckDB的知识产权(该知识产权仍保持开源),那么它为何还要费心收购呢?

AWS副总裁兼杰出工程师Andy Warfield认为,此次收购是AWS在考虑应用构建、数据和分析未来时的重要支柱。

他对The表示:“DuckDB被认为有价值的一半原因,在于它充当了现有数据处理工具之间的这种连接组织层。”DuckDB用C++编写,嵌入在宿主进程中。没有需要安装、更新或维护的DBMS服务器软件。它在宿主应用程序的内存空间中运行,查询直接在进程内执行。

因此,开发人员可以在其应用程序内部构建分析功能,但Warfield表示,这种设计意味着开发人员和数据工程师拥有了连接数据源和处理引擎的新方式。

例如,DuckDB使用SQL中的“attach”和“connect”等动词,使其能够与几乎任何远程SQL端点协同工作。

Warfield表示,DuckDB已经能够连接Redshift或RDS,发出SQL命令,并执行跨引擎交互。

“在很多意义上,我们可以将其视为一种面向数据的SDK,客户可以用它来构建,并且他们可以在本地运行大部分规模较小、处理较小数据集的查询,而无需启动外部引擎。

然而,当他们逐渐处理更大的数据集,或需要集中式查询能力时,他们仍然可以使用DuckDB作为将这些查询传递给其他引擎的一种方式,”他说。

这一概念同样适用于其他供应商的分析和数据系统——例如谷歌的BigQuery和微软的Fabric——以及AWS自身的产品。

“你可以用Duck进行构建,它提供了逐步升级的路径,并可以针对其他系统提交查询,就像一个统一的数据接口,”他说。

AWS收购了DuckLabs,这家支持和开发公司由DuckDB开发者Hannes Mühleisen和Mark Raasveldt创立,两人都是阿姆斯特丹数学与理论计算研究中心Centrum Wiskunde & Informatica的学者。该数据库本身将继续在MIT许可证下保持开源。

由Mühleisen和Raasveldt领导的DuckDB基金会将继续作为独立的非营利组织,制定数据库开发的战略方向。

由于AWS收购DuckLabs,该基金会的治理结构预计将发生变化,以纳入更广泛的贡献者。

ClickHouse Labs研究副总裁、卡内基梅隆大学数据库学教授Andy Pavlo表示,AWS收购DuckLabs对DuckDB来说将是一个积极的变化。“Hannes和Mark从一开始就按照自己的方式行事。

他们在2020年拒绝了风险投资,专注于构建一个能解决人们实际问题的数据库系统。我不认为他们会改变开源项目的长期方向。”AWS资金的好处在于为将新想法变为现实提供资金支持。“过去几年,DBMS开发的成本大幅增加。

这不仅仅是开发软件的人力成本,还包括运行测试、编写代码、审查拉取请求以及处理其他系统管理任务的代理成本。

由于代理编写代码的速度比人类快,这意味着更多的CI/CD基础设施成本。

亚马逊将为DuckDB提供资源,以跟上现代DBMS开发实践的步伐并扩大其工作规模。”但AWS并不是唯一押注DuckDB创始原则的公司。

前谷歌BigQuery工程师Jordan Tigani联合创立了MotherDuck,该公司销售基于该数据库构建的云服务,并且是DuckDB项目的定期贡献者。2023年,它获得了5200万美元的风险投资。“我当然对这次收购感到紧张。

当一家超大规模云服务商进来并收购了技术背后的团队时,任何在DuckDB生态系统中拥有利益的人都会感到紧张,”Tigani对The表示。

但他补充说,对于关心DuckDB的人来说,也会有积极的结果,因为其开发背后的资源将会增加。“开源DuckDB很可能会发展得更快。

是的,要实现这一点,你必须相信亚马逊不会过多干预并破坏事情,但我对Hannes和Mark非常有信心。”

他表示,在围绕DuckDB的技术构建方面,MotherDuck拥有四年的先发优势。

“我们已经构建了一个出色的产品,超越了仅仅云托管的DuckDB。

我们已经积累了在规模化运行DuckDB以及将其作为关键基础设施方面的专业知识。”

如果DuckDB保持其开源原则不变,其他人也可以做到同样的事情。®