整理 | 蘇宓

作為關(guān)系型數(shù)據(jù)庫(kù)的標(biāo)準(zhǔn)語(yǔ)言，SQL 憑借著功能豐富、使用方便靈活、語(yǔ)言簡(jiǎn)潔等特性備受歡迎，行業(yè)中如 MySQL、Oracle、SQL Server、Sybase、Informix 等主流數(shù)據(jù)庫(kù)都將 SQL 作為其標(biāo)準(zhǔn)處理語(yǔ)言。同時(shí)，據(jù) 2022 年 IEEE Spectrum 編程語(yǔ)言排行榜顯示，SQL 在就業(yè)需求中排名第一，是最吃香的熱門語(yǔ)言之一。

然而，正是這樣一款主流的語(yǔ)言，卻在近日慘遭棄用。據(jù)外媒 The Register 報(bào)道，一家名為 Fivetran 的自動(dòng)化數(shù)據(jù)集成公司想要用一款開源工具 dbt（Data Build Tool）將 SQL 取而代之。萬(wàn)萬(wàn)沒想到，吐槽也接踵而至，行業(yè)中反對(duì)的聲音遠(yuǎn)比支持的要大得多。

緣由

Fivetran 是一家創(chuàng)立于 2012 年的技術(shù)公司，主要是為公司開發(fā) SaaS 數(shù)據(jù)集成服務(wù)，以提取、加載來(lái)自不同來(lái)源的數(shù)據(jù)并將其轉(zhuǎn)換到數(shù)據(jù)倉(cāng)庫(kù)中。

在早期，F(xiàn)ivetran 之所以選擇自動(dòng)化數(shù)據(jù)集成方向，是因?yàn)榘l(fā)現(xiàn)對(duì)于使用基于云的軟件和存儲(chǔ)的現(xiàn)代公司來(lái)說(shuō)，傳統(tǒng)的 ETL（Extract-Transform-Load，用來(lái)描述將數(shù)據(jù)從來(lái)源端經(jīng)過抽取（extract）、轉(zhuǎn)換（transform）、加載（load）至目的端的過程）工具性能嚴(yán)重不足，且所需的復(fù)雜配置往往導(dǎo)致項(xiàng)目失敗，為此，F(xiàn)ivetran 在城里之初便聚焦于零配置、零維護(hù)的管道開發(fā)。簡(jiǎn)單來(lái)看，F(xiàn)ivetran 主要是幫助企業(yè)將數(shù)據(jù)搬到云上數(shù)倉(cāng)，其遵循的使命是，讓用戶使用數(shù)據(jù)就像用電一樣簡(jiǎn)單，無(wú)論數(shù)據(jù)的來(lái)源如何。

2021 年 9 月，F(xiàn)ivetran 獲得了一輪 5.65 億美元的融資，估值達(dá)到了 56 億美元。領(lǐng)投方為網(wǎng)絡(luò)先驅(qū)馬克 - 安德森創(chuàng)建的投資公司 a16z。一時(shí)之間，F(xiàn)ivetran 被視為云計(jì)算時(shí)代的數(shù)據(jù)管道獨(dú)角獸，發(fā)展勢(shì)不可擋。

不過，近日一位 Twitter 博主、也是數(shù)據(jù)分析平臺(tái) Cogniti 的首席技術(shù)官 @Matthew Mullins 突然發(fā)了一條推文，他寫道，"Fivetran 放棄支持 SQL，并強(qiáng)迫用戶轉(zhuǎn)向 dbt。但你可能會(huì)因?yàn)楦鼮?" 現(xiàn)代化 " 而喜歡它。"

一石激起千層浪，很多人處于比較迷茫的狀態(tài)。相繼質(zhì)問：

究竟是誰(shuí)在負(fù)責(zé) Fivetran 的產(chǎn)品管理？它似乎正在與外界脫節(jié)。數(shù)據(jù)集成中間件市場(chǎng)的過去歷史表明，這將會(huì)是一個(gè)巨大的戰(zhàn)略失誤。擁抱 " 模型 "，但不要在 SQL 的迅速崛起和擴(kuò)張過程中放棄 " 代碼 "（即 SQL）。

而之所以發(fā)出這樣的聲明，Matthew Mullins 稱他收到了一封來(lái)自 Fivetran 的郵件，具體如下：

在 2023 年 4 月，我們將結(jié)束對(duì) Basic SQL Transformations 的支持。你收到這封郵件是因?yàn)槟愕馁~戶當(dāng)前或者曾經(jīng)有活躍的 Basic SQL Transformations。

兩年前，我們推出了現(xiàn)代的數(shù)據(jù)轉(zhuǎn)換方法：免費(fèi)的 Fivetran Transformations for dbt Core。通過內(nèi)置的版本控制、測(cè)試和可重復(fù)使用的宏，dbt 改進(jìn)了數(shù)據(jù)轉(zhuǎn)換的體驗(yàn)，同時(shí)仍然保持了基于 SQL 的簡(jiǎn)單使用。我們相信這是建立你的 ELT 管道的最簡(jiǎn)單和最有效的方法。

我們的許多客戶已經(jīng)從 SQL 轉(zhuǎn)換到 dbt。通過免費(fèi)的 Fivetran Transformations for dbt Core，你還可以利用先進(jìn)的功能，如：

集成調(diào)度：在倉(cāng)庫(kù)的連接器數(shù)據(jù)加載時(shí)自動(dòng)觸發(fā)數(shù)據(jù)模型運(yùn)行。

數(shù)據(jù)脈絡(luò)圖：通過可視化的數(shù)據(jù)管道端到端的日志、統(tǒng)計(jì)和狀態(tài)來(lái)增加你的可觀察性。

我們將幫助您完成這一轉(zhuǎn)變 ......

為什么要放棄 SQL，選擇 dbt？

其實(shí)對(duì)于很多公司而言，在新品中進(jìn)行技術(shù)轉(zhuǎn)型也實(shí)屬正常。但是根據(jù) Fivetran 資料顯示，其在全球已有超過 759 家公司，包括與 ASICS、Autodesk、DocuSign、Forever 21、WeWork 和 Urban Outfitters 等知名企業(yè)都有合作。除此之外，F(xiàn)ivetran 還支持?jǐn)?shù)百個(gè)數(shù)據(jù)庫(kù)的連接，如 IBM、Oracle、SAP 和 Snowflake 等。

隨著這一計(jì)劃的執(zhí)行，影響范圍也頗為廣泛。為此，也有不少人好奇，dbt 究竟有怎樣的魔力，使得 Fivetran 要放棄 SQL？

所謂 dbt，也被稱之為是 " 數(shù)據(jù)加工大師 "，它是一個(gè)使用 Python 語(yǔ)言編寫軟件的工具。它可以使分析工程師能夠通過編寫選擇語(yǔ)句來(lái)轉(zhuǎn)換其倉(cāng)庫(kù)中的數(shù)據(jù)。dbt 能夠通過 SQL 實(shí)現(xiàn)數(shù)據(jù)轉(zhuǎn)換，將命令轉(zhuǎn)化為表和視圖。在功能上，dbt 主要聚焦于 ELT（提取、加載、轉(zhuǎn)換）中的 T（轉(zhuǎn)換數(shù)據(jù)）環(huán)節(jié)，它不提取或加載數(shù)據(jù)，但設(shè)計(jì)為在轉(zhuǎn)換倉(cāng)庫(kù)內(nèi)已經(jīng)存在的數(shù)據(jù)時(shí)表現(xiàn)出色。

誕生于 2016 年的 dbt 一開始是開源的，不過在 2018 年，其背后的 dbt Labs 團(tuán)隊(duì)推出了商業(yè)產(chǎn)品。當(dāng)前 dbt 主要包含兩個(gè)版本，其中 dbt Core 是免費(fèi)的，在 Apache 許可證下作為開源軟件發(fā)布。

另一個(gè)名為 dbt Cloud，屬于 Saas 云版本，它提供了一個(gè)基于網(wǎng)絡(luò)的 IDE，幫助團(tuán)隊(duì)開發(fā) dbt 項(xiàng)目和一個(gè)調(diào)度器。個(gè)人可以免費(fèi)使用，但對(duì)于一些需要協(xié)作的功能，或者企業(yè)使用而言，則需要支付使用費(fèi)用。

長(zhǎng)期以來(lái)，SQL 一直是分析工程師開發(fā)轉(zhuǎn)換和執(zhí)行分析的首選語(yǔ)言。dbt 的到來(lái)，其結(jié)合了 SQL，可以將 dbt 項(xiàng)目變成了 SQL 的編程環(huán)境，并提供使用編程語(yǔ)言功能的功能，例如在 SQL 中通常無(wú)法實(shí)現(xiàn)的寫函數(shù)和控制結(jié)構(gòu)。這意味著分析師不需要學(xué)習(xí)新的語(yǔ)言或工具，可以像以前一樣自由地轉(zhuǎn)換數(shù)據(jù)。

一定程度上來(lái)看，dbt 簡(jiǎn)化了使用 SQL 來(lái)創(chuàng)建數(shù)倉(cāng)的門檻。

dbt 實(shí)則為累贅？

在發(fā)出這份郵件之后，F(xiàn)ivetran 公司表示，開發(fā)人員仍然能夠使用 dbt 的 SQL。話雖如此，但很多開發(fā)者并不買賬，紛紛怒斥道：

我知道如果你買了 Fivetran 來(lái)做 ELT，這會(huì)令人沮喪。我從不希望我的 SQL 依靠第三方平臺(tái)上，所以它感覺就像一個(gè)奇怪的附加組件（不要讓我開始考慮使用 Fivetran 觸發(fā) dbt 運(yùn)行的成本）。

強(qiáng)制供應(yīng)商集成看起來(lái)很糟糕。dbt 不是行業(yè)標(biāo)準(zhǔn)——它只是一個(gè)受歡迎的開發(fā)商開發(fā)的工具。依賴某一個(gè)供應(yīng)商似乎還挺危險(xiǎn)的。

在這條極具爭(zhēng)議的推文下方，F(xiàn)ivetran 的 CEO George Fraser 也迅速現(xiàn)身進(jìn)行了回應(yīng)，" 你可以為這件事責(zé)備我。必須集中精力，Basic SQL 和 dbt SQL 實(shí)際是做同一件事的兩種方法 "。同時(shí)，他也表示 Fivetran 也正在努力降低掃清采用 dbt 的障礙。

當(dāng)前 dbt 已經(jīng)成為一款主流開源數(shù)據(jù)轉(zhuǎn)換工具，不過不少人也對(duì)其使用門檻也表達(dá)了擔(dān)憂，稱 " 如果我們已經(jīng)掌握了 SQL，再去了解 dbt 的學(xué)習(xí)曲線是否很難？" 而且，dbt 面向團(tuán)隊(duì)也不是免費(fèi)的。

在數(shù)據(jù)分析平臺(tái) Cogniti 的首席技術(shù)官 Matthew Mullins 看來(lái)，Basic SQL 支持不需要任何額外的基礎(chǔ)設(shè)施，但使用 dbt，用戶只能創(chuàng)建表和視圖，且他們也需要額外的基礎(chǔ)設(shè)施來(lái)運(yùn)行它們。這實(shí)際上是一個(gè)有點(diǎn)令人頭疼的問題。同時(shí)，他表示，"無(wú)論哪種方式，他們都是在把你逼上梁山。你將不得不設(shè)置運(yùn)行 dbt 所需的一切，并對(duì)某人進(jìn)行培訓(xùn)，而且你現(xiàn)在被限制在 dbt 支持的內(nèi)容和 dbt 的模式中。"

如今使用 dbt 的企業(yè)其實(shí)不在少數(shù)，在今年 2 月，dbt Labs 完成了 D 輪 2.22 億美元的融資，Snowflake 和 Databricks 均有參與，該公司估值也達(dá)到了 42 億美元。

不過，dbt 真的是擴(kuò)展和增強(qiáng) SQL 的最佳工具，并能成為云數(shù)據(jù)轉(zhuǎn)換行業(yè)的標(biāo)準(zhǔn)嗎？你使用過 dbt 嗎？