譯者 | 布加迪

審校 | 重樓

51CTO讀者成長計劃社群招募，咨詢小助手（微信號：CTOjishuzhan）

總部位于加州的數(shù)據(jù)工程公司Prophecy近日宣布了其核心平臺的新版本，該平臺具有低代碼SQL功能。

名為Prophecy 3.0的版本為數(shù)據(jù)工程師將該平臺的范圍擴(kuò)大到了低代碼Spark之外，并為企業(yè)數(shù)據(jù)用戶提供了一款可視化的拖放式畫布，可用來在云數(shù)據(jù)平臺上直接構(gòu)建數(shù)據(jù)管道。

以前，這個過程需要他們編寫復(fù)雜的SQL代碼，這會造成延遲和準(zhǔn)確性問題，并影響下游的分析和機(jī)器學(xué)習(xí)工作。

1、低代碼SQL：它如何幫助數(shù)據(jù)管道？

構(gòu)建數(shù)據(jù)管道本質(zhì)上是準(zhǔn)備數(shù)據(jù)進(jìn)行分析。這意味著為諸多任務(wù)編寫SQL代碼：比如從數(shù)據(jù)庫中提取數(shù)據(jù)、轉(zhuǎn)換和清理信息以及將其加載到目標(biāo)數(shù)據(jù)平臺中。對于數(shù)據(jù)工程師來說，這些都很平常，但是如果數(shù)據(jù)用戶試圖自行準(zhǔn)備數(shù)據(jù)（可能是為了滿足特定的業(yè)務(wù)需求），這個過程就可能會成為瓶頸，導(dǎo)致無法及時為計劃的分析提供正確的數(shù)據(jù)。

畢竟，大多數(shù)業(yè)務(wù)用戶都是數(shù)據(jù)專家，而不是專家級數(shù)據(jù)工程師。

通過為平臺添加低代碼SQL，Prophecy彌合了這個差距，并為業(yè)務(wù)數(shù)據(jù)用戶提供可視化的拖放式界面，以構(gòu)建他們所需的數(shù)據(jù)管道。一旦使用這款畫布，平臺的技術(shù)就會將表示轉(zhuǎn)換成切實可行的SQL代碼（作為開源dbt Core項目），并準(zhǔn)備好管道進(jìn)行分析。

Prophecy的聯(lián)合創(chuàng)始人兼首席執(zhí)行官Raj Bains告訴IT外媒VentureBeat：“業(yè)務(wù)團(tuán)隊可以快速簡單地自行準(zhǔn)備數(shù)據(jù)進(jìn)行分析。這使他們能夠更快地交付分析成果，快速適應(yīng)不斷變化的業(yè)務(wù)需求。更重要的是，這還解放了常常不堪重負(fù)的集中式數(shù)據(jù)平臺團(tuán)隊?！?/p>

圖1. 具有低代碼SQL功能的Prophecy 3.0

值得注意的是，該技術(shù)也可以反向工作：用戶可以在Prophecy中打開現(xiàn)有的dbt Core項目，并將SQL代碼編輯為可視化管道，更改回過頭來保存為SQL。

Bains補(bǔ)充說：“早期用戶也非常高興低代碼開發(fā)者和SQL碼農(nóng)現(xiàn)在可以在同一個環(huán)境中工作，因為Prophecy可以同時將低代碼管道轉(zhuǎn)換成SQL代碼、將SQL代碼轉(zhuǎn)換成低代碼管道?！?/p>

2、統(tǒng)一平臺

雖然低代碼SQL是新的，但要注意的是，這不是該平臺的第一個可視化工具。該公司已經(jīng)為Spark、Spark Streaming和Apache Airflow（用于數(shù)據(jù)工作流編排）提供低代碼支持——為具有不同專長和需求的用戶提供了統(tǒng)一的服務(wù)。

Gartner前大數(shù)據(jù)和高級分析研究副總裁Sanjeev Mohan說：“當(dāng)不同的數(shù)據(jù)團(tuán)隊使用不同的工具來構(gòu)建管道時，這增加了成本、時間和風(fēng)險……Prophecy 3.0版本可以幫助使用SQL的數(shù)據(jù)分析師、使用Spark的數(shù)據(jù)工程師、使用Apache Airflow的DevOps工程師借助統(tǒng)一的低代碼平臺進(jìn)行協(xié)作。這開辟了新的可能性，比如始終如一地運用數(shù)據(jù)質(zhì)量檢查，而不必考慮具體的語言，并啟用自助服務(wù)框架來創(chuàng)建數(shù)據(jù)產(chǎn)品。”

Eckerson Group的研究副總裁Kevin Petrie表示了同樣的觀點，他特別指出，往Prophecy的產(chǎn)品組合添加低代碼SQL，為面向SQL的數(shù)據(jù)工程師和面向dbi的分析工程師構(gòu)建、管理和編排支持現(xiàn)代分析項目的管道提供了新的選擇。

他說：“企業(yè)繼續(xù)采用將基于SQL的查詢和轉(zhuǎn)換運用于云原生對象存儲的湖倉一體平臺。通過添加SQL管道功能，Prophecy顯著擴(kuò)大了其潛在市場。”

Prophecy 3.0現(xiàn)已上線，可以在Databricks湖倉一體平臺上使用。

原文鏈接：https://venturebeat.com/data-infrastructure/how-prophecy-3-0-enables-businesses-to-build-data-pipelines-without-writing-sql-code/