Spark SQL 究竟是何方神圣?
譯文【51CTO.com快譯】Spark SQL允許大家在Python、Java以及Scala中使用數(shù)據(jù)幀;利用多種結(jié)構(gòu)化格式讀取并寫入數(shù)據(jù);通過SQL進行大數(shù)據(jù)查詢。
Spark SQL屬于Spark用于處理結(jié)構(gòu)化與半結(jié)構(gòu)化數(shù)據(jù)的接口。結(jié)構(gòu)化數(shù)據(jù)是指那些擁有一定模式的數(shù)據(jù)，包括JSON、Hive Tables以及Parquet。模式意味著每條記錄都擁有一套已知字段組。半結(jié)構(gòu)化數(shù)據(jù)則代表著模式與數(shù)據(jù)之間不存在明確的區(qū)分。
Spark SQL提供三種主要功能以使用結(jié)構(gòu)化及半結(jié)構(gòu)化數(shù)據(jù)：
1. 在Python、Java與Scala中提供DataFrame抽象以簡化結(jié)構(gòu)化數(shù)據(jù)集的處理方式。DataFrame類似于關(guān)系數(shù)據(jù)庫中的表。
2. 它能夠?qū)Χ喾N結(jié)構(gòu)化格式進行數(shù)據(jù)讀取及寫入(例如JSON、Hive Tables以及Parquet)。
3. 允許大家利用SQL進行數(shù)據(jù)查詢，適用范圍包括Spark程序之內(nèi)以及通過標(biāo)準(zhǔn)數(shù)據(jù)庫連接器(JDBC/ODBC)接入Spark SQL的外部工具，例如Tableau等商務(wù)智能工具。
鏈接
將Spark SQL納入應(yīng)用，需要提供額外的庫關(guān)聯(lián)性。Spark SQL在構(gòu)建中可選擇支持或不支持Apache Hive。在以二進制方式下載Spark時，其默認構(gòu)建為Hive支持模式。
在應(yīng)用中使用Spark SQL
Spark SQL最適合用于Spark應(yīng)用之內(nèi)。通過這種方式，我們能夠輕松將數(shù)據(jù)加載與數(shù)據(jù)查詢進行結(jié)合，同時將其與Python、Java或者Scala協(xié)作使用。
基本查詢示例
要查詢一套表，我們需要在HiveContext或者SQLContext上調(diào)用sql()方法。
Scala代碼示例：從JSON加載客戶數(shù)據(jù)：
- val customers = sqlContext.jsonFile("customers.json")
- customers.registerTempTable("customers")
- val firstCityState = sqlContext.sql("SELECT first_name, address.city, address.state FROM customers LIMIT 10")
DataFrames
DataFrames類似于關(guān)系數(shù)據(jù)庫中的表。DataFrame事實上屬于Row對象的一條RDD。一個DataFrame還能夠識別出每一行中的模式。由于能夠識別數(shù)據(jù)模式，DataFrames的數(shù)據(jù)存儲效率比原生RDD更高。
緩存
Spark SQL中的緩存更為高效，這是因為DataFrame能夠識別各列的類型。
數(shù)據(jù)載入及保存
Spark SQL能夠原生支持多種結(jié)構(gòu)化數(shù)據(jù)源，包括Hive表、JSON以及Parquet文件。
另外，Spark SQL還擁有用于集成的DataSource API。DataSource API所能夠?qū)崿F(xiàn)的集成對象包括Avro、Apache HBase、Elasticsearch以及Canssandra等等。完整的支持列表可參閱http://spark-packages.org。
JDBC連接
Spark SQL提供JDBC連接，其能夠用于同Tableau等商務(wù)智能工具的對接。
用戶定義功能(簡稱UDF)
Spark SQL支持在Python、Java以及Scala當(dāng)中注冊用戶定義功能，從而在SQL內(nèi)部進行調(diào)用。這一能力可為SQL帶來更多先進功能，幫助用戶無需編碼即可加以使用。
Spark SQL性能
Spark SQL的額外類型信息使其更為高效，且能夠提供遠超關(guān)系數(shù)據(jù)庫的SQL性能。它還簡化了各類條件型聚合操作，包括計算多個列的數(shù)值總和。
性能調(diào)節(jié)選項
Spark SQL當(dāng)中提供多種不同性能調(diào)節(jié)選項，例如codegen、內(nèi)存設(shè)置、批量大小與壓縮編碼等等。
總結(jié)
在多種數(shù)據(jù)處理流程當(dāng)中，Spark SQL與Python、Scala或者Java代碼相結(jié)合都能夠帶來便捷而強大的實際效果。另外，Spark SQL亦能夠利用模式識別能力充分發(fā)揮該引擎的性能優(yōu)勢。
原文鏈接：https://dzone.com/articles/what-is-spark-sql
【51CTO.com獨家譯稿，合作站點轉(zhuǎn)載請注明來源】
