整理 | 蘇宓

作為關(guān)系型數(shù)據(jù)庫的標(biāo)準(zhǔn)語言，SQL 憑借著功能豐富、使用方便靈活、語言簡潔等特性備受歡迎，行業(yè)中如 MySQL、Oracle、SQL Server、Sybase、Informix 等主流數(shù)據(jù)庫都將 SQL 作為其標(biāo)準(zhǔn)處理語言。同時，據(jù) 2022 年 IEEE Spectrum 編程語言排行榜顯示，SQL 在就業(yè)需求中排名第一，是最吃香的熱門語言之一。

然而，正是這樣一款主流的語言，卻在近日慘遭棄用。據(jù)外媒 The Register 報道，一家名為 Fivetran 的自動化數(shù)據(jù)集成公司想要用一款開源工具 dbt（Data Build Tool）將 SQL 取而代之。萬萬沒想到，吐槽也接踵而至，行業(yè)中反對的聲音遠(yuǎn)比支持的要大得多。

緣由

Fivetran 是一家創(chuàng)立于 2012 年的技術(shù)公司，主要是為公司開發(fā) SaaS 數(shù)據(jù)集成服務(wù)，以提取、加載來自不同來源的數(shù)據(jù)并將其轉(zhuǎn)換到數(shù)據(jù)倉庫中。

在早期，F(xiàn)ivetran 之所以選擇自動化數(shù)據(jù)集成方向，是因為發(fā)現(xiàn)對于使用基于云的軟件和存儲的現(xiàn)代公司來說，傳統(tǒng)的 ETL（Extract-Transform-Load，用來描述將數(shù)據(jù)從來源端經(jīng)過抽取（extract）、轉(zhuǎn)換（transform）、加載（load）至目的端的過程）工具性能嚴(yán)重不足，且所需的復(fù)雜配置往往導(dǎo)致項目失敗，為此，F(xiàn)ivetran 在城里之初便聚焦于零配置、零維護(hù)的管道開發(fā)。簡單來看，F(xiàn)ivetran 主要是幫助企業(yè)將數(shù)據(jù)搬到云上數(shù)倉，其遵循的使命是，讓用戶使用數(shù)據(jù)就像用電一樣簡單，無論數(shù)據(jù)的來源如何。

2021 年 9 月，F(xiàn)ivetran 獲得了一輪 5.65 億美元的融資，估值達(dá)到了 56 億美元。領(lǐng)投方為網(wǎng)絡(luò)先驅(qū)馬克 - 安德森創(chuàng)建的投資公司 a16z。一時之間，F(xiàn)ivetran 被視為云計算時代的數(shù)據(jù)管道獨角獸，發(fā)展勢不可擋。

不過，近日一位 Twitter 博主、也是數(shù)據(jù)分析平臺 Cogniti 的首席技術(shù)官 @Matthew Mullins 突然發(fā)了一條推文，他寫道，"Fivetran 放棄支持 SQL，并強(qiáng)迫用戶轉(zhuǎn)向 dbt。但你可能會因為更為 " 現(xiàn)代化 " 而喜歡它。"

一石激起千層浪，很多人處于比較迷茫的狀態(tài)。相繼質(zhì)問：

究竟是誰在負(fù)責(zé) Fivetran 的產(chǎn)品管理？它似乎正在與外界脫節(jié)。數(shù)據(jù)集成中間件市場的過去歷史表明，這將會是一個巨大的戰(zhàn)略失誤。擁抱 " 模型 "，但不要在 SQL 的迅速崛起和擴(kuò)張過程中放棄 " 代碼 "（即 SQL）。

而之所以發(fā)出這樣的聲明，Matthew Mullins 稱他收到了一封來自 Fivetran 的郵件，具體如下：

在 2023 年 4 月，我們將結(jié)束對 Basic SQL Transformations 的支持。你收到這封郵件是因為你的賬戶當(dāng)前或者曾經(jīng)有活躍的 Basic SQL Transformations。

兩年前，我們推出了現(xiàn)代的數(shù)據(jù)轉(zhuǎn)換方法：免費的 Fivetran Transformations for dbt Core。通過內(nèi)置的版本控制、測試和可重復(fù)使用的宏，dbt 改進(jìn)了數(shù)據(jù)轉(zhuǎn)換的體驗，同時仍然保持了基于 SQL 的簡單使用。我們相信這是建立你的 ELT 管道的最簡單和最有效的方法。

我們的許多客戶已經(jīng)從 SQL 轉(zhuǎn)換到 dbt。通過免費的 Fivetran Transformations for dbt Core，你還可以利用先進(jìn)的功能，如：

集成調(diào)度：在倉庫的連接器數(shù)據(jù)加載時自動觸發(fā)數(shù)據(jù)模型運行。

數(shù)據(jù)脈絡(luò)圖：通過可視化的數(shù)據(jù)管道端到端的日志、統(tǒng)計和狀態(tài)來增加你的可觀察性。

我們將幫助您完成這一轉(zhuǎn)變 ......

為什么要放棄 SQL，選擇 dbt？

其實對于很多公司而言，在新品中進(jìn)行技術(shù)轉(zhuǎn)型也實屬正常。但是根據(jù) Fivetran 資料顯示，其在全球已有超過 759 家公司，包括與 ASICS、Autodesk、DocuSign、Forever 21、WeWork 和 Urban Outfitters 等知名企業(yè)都有合作。除此之外，F(xiàn)ivetran 還支持?jǐn)?shù)百個數(shù)據(jù)庫的連接，如 IBM、Oracle、SAP 和 Snowflake 等。

隨著這一計劃的執(zhí)行，影響范圍也頗為廣泛。為此，也有不少人好奇，dbt 究竟有怎樣的魔力，使得 Fivetran 要放棄 SQL？

所謂 dbt，也被稱之為是 " 數(shù)據(jù)加工大師 "，它是一個使用 Python 語言編寫軟件的工具。它可以使分析工程師能夠通過編寫選擇語句來轉(zhuǎn)換其倉庫中的數(shù)據(jù)。dbt 能夠通過 SQL 實現(xiàn)數(shù)據(jù)轉(zhuǎn)換，將命令轉(zhuǎn)化為表和視圖。在功能上，dbt 主要聚焦于 ELT（提取、加載、轉(zhuǎn)換）中的 T（轉(zhuǎn)換數(shù)據(jù)）環(huán)節(jié)，它不提取或加載數(shù)據(jù)，但設(shè)計為在轉(zhuǎn)換倉庫內(nèi)已經(jīng)存在的數(shù)據(jù)時表現(xiàn)出色。

誕生于 2016 年的 dbt 一開始是開源的，不過在 2018 年，其背后的 dbt Labs 團(tuán)隊推出了商業(yè)產(chǎn)品。當(dāng)前 dbt 主要包含兩個版本，其中 dbt Core 是免費的，在 Apache 許可證下作為開源軟件發(fā)布。

另一個名為 dbt Cloud，屬于 Saas 云版本，它提供了一個基于網(wǎng)絡(luò)的 IDE，幫助團(tuán)隊開發(fā) dbt 項目和一個調(diào)度器。個人可以免費使用，但對于一些需要協(xié)作的功能，或者企業(yè)使用而言，則需要支付使用費用。

長期以來，SQL 一直是分析工程師開發(fā)轉(zhuǎn)換和執(zhí)行分析的首選語言。dbt 的到來，其結(jié)合了 SQL，可以將 dbt 項目變成了 SQL 的編程環(huán)境，并提供使用編程語言功能的功能，例如在 SQL 中通常無法實現(xiàn)的寫函數(shù)和控制結(jié)構(gòu)。這意味著分析師不需要學(xué)習(xí)新的語言或工具，可以像以前一樣自由地轉(zhuǎn)換數(shù)據(jù)。

一定程度上來看，dbt 簡化了使用 SQL 來創(chuàng)建數(shù)倉的門檻。

dbt 實則為累贅？

在發(fā)出這份郵件之后，F(xiàn)ivetran 公司表示，開發(fā)人員仍然能夠使用 dbt 的 SQL。話雖如此，但很多開發(fā)者并不買賬，紛紛怒斥道：

我知道如果你買了 Fivetran 來做 ELT，這會令人沮喪。我從不希望我的 SQL 依靠第三方平臺上，所以它感覺就像一個奇怪的附加組件（不要讓我開始考慮使用 Fivetran 觸發(fā) dbt 運行的成本）。

強(qiáng)制供應(yīng)商集成看起來很糟糕。dbt 不是行業(yè)標(biāo)準(zhǔn)——它只是一個受歡迎的開發(fā)商開發(fā)的工具。依賴某一個供應(yīng)商似乎還挺危險的。

在這條極具爭議的推文下方，F(xiàn)ivetran 的 CEO George Fraser 也迅速現(xiàn)身進(jìn)行了回應(yīng)，" 你可以為這件事責(zé)備我。必須集中精力，Basic SQL 和 dbt SQL 實際是做同一件事的兩種方法 "。同時，他也表示 Fivetran 也正在努力降低掃清采用 dbt 的障礙。

當(dāng)前 dbt 已經(jīng)成為一款主流開源數(shù)據(jù)轉(zhuǎn)換工具，不過不少人也對其使用門檻也表達(dá)了擔(dān)憂，稱 " 如果我們已經(jīng)掌握了 SQL，再去了解 dbt 的學(xué)習(xí)曲線是否很難？" 而且，dbt 面向團(tuán)隊也不是免費的。

在數(shù)據(jù)分析平臺 Cogniti 的首席技術(shù)官 Matthew Mullins 看來，Basic SQL 支持不需要任何額外的基礎(chǔ)設(shè)施，但使用 dbt，用戶只能創(chuàng)建表和視圖，且他們也需要額外的基礎(chǔ)設(shè)施來運行它們。這實際上是一個有點令人頭疼的問題。同時，他表示，"無論哪種方式，他們都是在把你逼上梁山。你將不得不設(shè)置運行 dbt 所需的一切，并對某人進(jìn)行培訓(xùn)，而且你現(xiàn)在被限制在 dbt 支持的內(nèi)容和 dbt 的模式中。"

如今使用 dbt 的企業(yè)其實不在少數(shù)，在今年 2 月，dbt Labs 完成了 D 輪 2.22 億美元的融資，Snowflake 和 Databricks 均有參與，該公司估值也達(dá)到了 42 億美元。

不過，dbt 真的是擴(kuò)展和增強(qiáng) SQL 的最佳工具，并能成為云數(shù)據(jù)轉(zhuǎn)換行業(yè)的標(biāo)準(zhǔn)嗎？你使用過 dbt 嗎？