新服務(wù)為使用標(biāo)準(zhǔn)SQL分析Amazon S3中的數(shù)據(jù)提供了方便

憑借Amazon Athena，Atlassian、納斯達(dá)克和新聞集團(tuán)以及其他很多客戶僅需幾秒鐘就可獲得查詢結(jié)果

[[178282]]

今天開始全面上市

美國西雅圖，2016年11月30日 –亞馬遜(NASDAQ：AMZN)旗下公司Amazon Web Services, Inc.(AWS)今天宣布，推出無服務(wù)器查詢服務(wù)Amazon Athena，該服務(wù)為使用標(biāo)準(zhǔn)SQL在Amazon S3(Amazon Simple Storage Service)中直接分析數(shù)據(jù)提供了方便?？蛻魞H需在AWS管理控制臺(tái)(AWS Management Console)中點(diǎn)擊幾下，就可將Amazon Athena指向其存儲(chǔ)在Amazon S3中的數(shù)據(jù)，用標(biāo)準(zhǔn)SQL進(jìn)行查詢，并在幾秒鐘內(nèi)獲得查詢結(jié)果。有了Amazon Athena，就無需管理和微調(diào)集群，也無需設(shè)置或管理基礎(chǔ)設(shè)施了，而且客戶只需為已發(fā)生的查詢付費(fèi)。Amazon Athena可自動(dòng)擴(kuò)展，執(zhí)行并行查詢，因此可以快速獲得查詢結(jié)果，甚至在面對(duì)大型數(shù)據(jù)集和進(jìn)行復(fù)雜查詢時(shí)也一樣。

由于Amazon Redshift、Amazon EMR等AWS數(shù)據(jù)分析服務(wù)的出現(xiàn)，各種規(guī)模的公司都能夠進(jìn)行PB級(jí)數(shù)據(jù)分析了。憑借Amazon Redshift，客戶可以對(duì)海量結(jié)構(gòu)化數(shù)據(jù)進(jìn)行復(fù)雜查詢，并實(shí)現(xiàn)超快速的查詢性能。就非結(jié)構(gòu)化數(shù)據(jù)而言，憑借Amazon EMR，客戶能夠橫跨可動(dòng)態(tài)擴(kuò)展的集群，使用Apache Spark、Presto、Hive、Pig等流行的分布式框架，快速、經(jīng)濟(jì)地處理和分析大量數(shù)據(jù)。盡管這些服務(wù)可擴(kuò)展性足夠高、威力足夠大，可以應(yīng)對(duì)大型、復(fù)雜的大數(shù)據(jù)應(yīng)用，但是很多客戶還是希望無需啟動(dòng)、配置和管理Hadoop集群或數(shù)據(jù)倉庫，就能夠非?？焖俚夭樵兇鎯?chǔ)在Amazon S3中的數(shù)據(jù)(例如Web日志、點(diǎn)擊數(shù)據(jù)流和原始的事件文件)?，F(xiàn)在，憑借Amazon Athena，分析存儲(chǔ)在Amazon S3中的數(shù)據(jù)就如同編寫SQL查詢一樣簡便。Amazon Athena運(yùn)用全面支持標(biāo)準(zhǔn)SQL的Presto框架，并支持各種標(biāo)準(zhǔn)數(shù)據(jù)格式，包括CSV、JSON、ORC和Parquet。此外，Amazon Athena不僅非常適合快速、專門的查詢，實(shí)現(xiàn)了與Amazon QuickSight的集成以方便實(shí)現(xiàn)虛擬化，而且能夠處理復(fù)雜數(shù)據(jù)分析，包括大型連接、窗口功能和陣列。Amazon Athena利用多個(gè)可用區(qū)(Availability Zones)中的計(jì)算資源執(zhí)行查詢，并將Amazon S3用作底層數(shù)據(jù)存儲(chǔ)系統(tǒng)，由于數(shù)據(jù)冗余地存儲(chǔ)在多個(gè)地點(diǎn)和每個(gè)地點(diǎn)的多個(gè)設(shè)備中，所以該服務(wù)的可用性和耐用性很高。

AWS公司數(shù)據(jù)庫、數(shù)據(jù)分析和人工智能事業(yè)部副總裁Raju Gulabani表示：“過去幾年來，AWS開發(fā)出了全套大數(shù)據(jù)服務(wù)，客戶可用這些服務(wù)完成從流數(shù)據(jù)、PB級(jí)數(shù)據(jù)倉庫到Spark和Hadoop作業(yè)的實(shí)時(shí)分析，而且所有分析都具備快速、可擴(kuò)展和經(jīng)濟(jì)實(shí)惠的特點(diǎn)。Amazon S3是幾十萬客戶的主要數(shù)據(jù)存儲(chǔ)系統(tǒng)，保存了幾十億至幾萬億個(gè)數(shù)據(jù)對(duì)象。客戶經(jīng)常問我們，能否讓任何人都不用擔(dān)心服務(wù)器和集群的分區(qū)或管理問題，就能夠方便地查詢其存儲(chǔ)在Amazon S3中的數(shù)據(jù)?，F(xiàn)在客戶們可以做到這一點(diǎn)了。使用Amazon Athena是零管理的，任何人，只要會(huì)編寫SQL查詢，就能分析其存儲(chǔ)在Amazon S3中的數(shù)據(jù)。Amazon QuickSight和Amazon Athena實(shí)現(xiàn)了緊密集成，因此客戶甚至無需編寫SQL查詢，就可虛擬化其Amazon Athena查詢結(jié)果。

新聞集團(tuán)首席技術(shù)官Paul Cheesbrough表示：“我們是AWS的長期客戶，用Amazon Redshift、Amazon EMR等服務(wù)支持我們?nèi)镜臄?shù)據(jù)分析。我們是Amazon Athena的早期客戶，該服務(wù)快速、簡便易用和經(jīng)濟(jì)實(shí)惠的特點(diǎn)已得到證實(shí)。我們的工程師和分析師團(tuán)隊(duì)使用該服務(wù)后給出了積極的反饋信息，他們尤其贊賞的是，通過Amazon Athena能夠直接查詢Amazon S3，我們一想到使用這項(xiàng)服務(wù)的前景，就倍感振奮。”

LiveIntent是一家平臺(tái)提供商，為針對(duì)電子郵件渠道的市場營銷和廣告提供平臺(tái)，每個(gè)月通過1300個(gè)頂級(jí)發(fā)布商發(fā)送的電子郵件，幫助逾1100個(gè)品牌商向1.45億人提供市場營銷和廣告信息。LiveIntent公司工程部執(zhí)行副總裁Eric Raab表示：“LiveIntent平臺(tái)每天收集處理數(shù)億個(gè)事件的信息。我們不斷要求自己改進(jìn)和擴(kuò)展平臺(tái)，以提供更快速、更經(jīng)濟(jì)的數(shù)據(jù)訪問，這樣的數(shù)據(jù)訪問又會(huì)轉(zhuǎn)化成更深入、更快速地洞察我們客戶的能力。在我們評(píng)估的解決方案中，Amazon Athena速度快、價(jià)格優(yōu)，因此我們決定馬上采用該服務(wù)。我們很喜歡Amazon Athena的零管理特色，以及無需加載就能夠在Amazon S3中直接查詢多種格式數(shù)據(jù)的能力。”

DataXu公司幫助營銷人員利用數(shù)據(jù)了解市場營銷投資怎樣才能轉(zhuǎn)化成可盈利的客戶關(guān)系。該公司工程副總裁Yekesa Kosuru表示：“我們每秒鐘處理超過300萬個(gè)報(bào)價(jià)申請，因此每天總共接收3PB數(shù)據(jù)。即使經(jīng)過壓縮和刪減，每天仍會(huì)產(chǎn)生超過180TB的日志數(shù)據(jù)。我們一聽說Amazon Athena，就馬上采用了該服務(wù)，我們喜歡Amazon Athena的簡便性、高速度和按查詢量付費(fèi)的定價(jià)模式。Amazon Athena使我們能夠查詢存儲(chǔ)在Amazon S3上的全部數(shù)據(jù)集，而無需管理基礎(chǔ)設(shè)施。因?yàn)闆]有任何東西需要管理，只需按查詢量付費(fèi)，所以我們正在全公司范圍內(nèi)積極部署Amazon Athena。”

Gunosy是日本領(lǐng)先的新聞收集應(yīng)用提供商。該公司數(shù)據(jù)科學(xué)家Yosuke Abe表示：“Amazon Athena令我們印象深刻，甚至在預(yù)覽階段，Amazon Athena的速度就比我們一直在使用的系統(tǒng)快，即使該系統(tǒng)直接在Amazon S3中查詢數(shù)據(jù)，因此我們盡快開始了Amazon Athena的使用。我們正在積極向AWS遷移工作負(fù)載，以將Amazon Athena置于我們分析平臺(tái)的核心位置。”

Inrix是一家領(lǐng)先的實(shí)時(shí)交通信息提供商，為企業(yè)、公共機(jī)構(gòu)和媒體服務(wù)。該公司工程經(jīng)理Harsh Shah表示：“我們公司每天接收數(shù)TB道路網(wǎng)絡(luò)和運(yùn)動(dòng)數(shù)據(jù)，并用數(shù)百條Amazon EMR數(shù)據(jù)管道處理這些數(shù)據(jù)。我們將Amazon S3用作未處理、處理中和已處理數(shù)據(jù)集的存儲(chǔ)庫。我們的數(shù)據(jù)科學(xué)家需要切割和分析這些數(shù)據(jù)，為針對(duì)道路網(wǎng)絡(luò)進(jìn)行預(yù)測性分析建立數(shù)學(xué)模型。我們的數(shù)據(jù)工程師需要從已處理數(shù)據(jù)向處理中數(shù)據(jù)逐級(jí)深入，以發(fā)現(xiàn)和消除數(shù)據(jù)質(zhì)量問題。我們抓住了試用Amazon Athena的機(jī)會(huì)，喜歡上了該服務(wù)的高速度、易用性和靈活性。憑借Amazon Athena，我們的任何開發(fā)人員都能夠利用SQL，查詢我們存儲(chǔ)在Amazon S3上的所有數(shù)據(jù)，而且不用擔(dān)心基礎(chǔ)設(shè)施問題或是否了解大數(shù)據(jù)處理系統(tǒng)。通過Amazon Athena，我們已經(jīng)迅速將Amazon S3變成了我們的數(shù)據(jù)湖。”

Japan Taxi是一款交通應(yīng)用，每月有200萬活躍用戶。Japan Taxi公司首席技術(shù)官Kazuhiri Iwata表示：“能夠?qū)?shù)據(jù)放入Amazon S3中，并通過Amazon Athena服務(wù)、利用標(biāo)準(zhǔn)SQL查詢這些數(shù)據(jù)，這種體驗(yàn)非常好。有了Amazon Athena，我們就不必加載數(shù)據(jù)了，因?yàn)橥ㄟ^該服務(wù)可以立即查詢數(shù)據(jù)?，F(xiàn)在我們的任何開發(fā)人員都能夠以低成本和高分辨率查詢數(shù)據(jù)，我們能夠讓每一位有需求的人簡便地訪問我們的數(shù)據(jù)。由于Amazon Athena采用開源格式，所以我們還能夠針對(duì)相同的數(shù)據(jù)使用Amazon EMR等其他解決方案，因而很容易實(shí)現(xiàn)互操作性。此外，由于Amazon Athena不需要管理，所以我們能夠立即開始使用該服務(wù)。”

mParticle公司幫助移動(dòng)應(yīng)用開發(fā)人員收集數(shù)據(jù)并理解數(shù)據(jù)的含義。該公司首席技術(shù)官M(fèi)ichael Katz表示：“我們公司收集和處理大量數(shù)據(jù)。我們希望所有客戶都能夠用SQL等簡便的語言處理原始數(shù)據(jù)。我們一聽說Amazon Athena就立即采用了該服務(wù)，因?yàn)槟軌蚶脴?biāo)準(zhǔn)SQL快速分析大量數(shù)據(jù)對(duì)我們很有吸引力。通過Amazon Athena，我們能夠立即啟動(dòng)工作，按查詢量付費(fèi)，并快速完成查詢。我們喜歡這種ANSI-SQL兼容性，以及既能夠查詢文本也能夠查詢列式存儲(chǔ)格式數(shù)據(jù)的能力。”

納斯達(dá)克采用的技術(shù)支撐著50個(gè)國家逾70個(gè)市場，以及全球1/10的證券交易量。納斯達(dá)克公司首席設(shè)計(jì)師Nate Sammons表示：“以創(chuàng)新愿景和變革傳統(tǒng)為基礎(chǔ)，我們總是尋找在我們所有市場上提高效率、增強(qiáng)業(yè)務(wù)洞察力的新途徑。由于數(shù)據(jù)對(duì)我們的業(yè)務(wù)成功至關(guān)重要，所以對(duì)于能夠分析我們存儲(chǔ)在Amazon Redshift、Amazon S3以及其他存儲(chǔ)系統(tǒng)中的數(shù)據(jù)的新工具，我們始終抱有濃厚興趣。我們希望擴(kuò)展我們的Amazon Redshift數(shù)據(jù)倉庫，建立一個(gè)安全、經(jīng)濟(jì)的長期數(shù)據(jù)存儲(chǔ)系統(tǒng)。由于ANSI-SQL兼容性和高速性能，所以我們選擇了Amazon S3作為存儲(chǔ)系統(tǒng)，選擇了Presto作為查詢和分析系統(tǒng)的組成部分。由于使用Amazon Athena就不再需要集群，而且通過該服務(wù)，我們所有分析師都能夠快速查詢Amazon S3中的數(shù)據(jù)，所以我們預(yù)計(jì)Amazon Athena將幫助我們進(jìn)一步實(shí)現(xiàn)上述想法。”

JW Player是全世界流行的視頻播放器之一，JW Player公司也是領(lǐng)先的數(shù)字和移動(dòng)視頻解決方案提供商。JW Player在超過200萬個(gè)網(wǎng)站上運(yùn)行，面向OTT、手機(jī)、平板電腦、臺(tái)式電腦等各種設(shè)備，月觀看人數(shù)超過130億次。JW Player公司工程副總裁Rick Okin表示：“我們使用組合平臺(tái)支撐JW數(shù)據(jù)分析狀態(tài)顯示板(JW Analytics Dashboard)，通過橫跨大型數(shù)據(jù)集的數(shù)據(jù)分析衡量內(nèi)容的效果。我們每天定期接收超過40億個(gè)事件的信息，并不斷尋找能夠簡化大型數(shù)據(jù)集處理、同時(shí)降低成本和復(fù)雜性的解決方案。Amazon Athena為我們提供了一種簡便易用、快速、經(jīng)濟(jì)且無需管理的解決方案。令我們欣喜的是，我們無需擔(dān)心集群或數(shù)據(jù)倉庫問題，只需將數(shù)據(jù)放在S3中、使用Apache Parquet等開源格式以實(shí)現(xiàn)與其余數(shù)據(jù)棧的互操作性、運(yùn)行SQL查詢即可。”

Tableau公司幫助人們查看和理解數(shù)據(jù)。該公司首席開發(fā)官Andrew Beers表示：“我們的使命是，盡可能讓更多人獲得數(shù)據(jù)，這樣人們就可以根據(jù)所獲信息采取行動(dòng)，改變世界。我們與AWS合作很長時(shí)間了，我們的解決方案與Amazon Redshift、Amazon EMR和Amazon RDS實(shí)現(xiàn)了原生集成。宣布支持Amazon Athena也令我們倍感振奮。憑借Tableau解決方案和Amazon Athena，客戶可以經(jīng)濟(jì)地以互動(dòng)方式虛擬化其存儲(chǔ)在Amazon S3中的所有數(shù)據(jù)，而且無需管理基礎(chǔ)設(shè)施。”

客戶可以通過AWS管理控制臺(tái)使用Amazon Athena。Amazon Athena已開始在美國東部地區(qū)(弗吉尼亞州北部)和美國西部地區(qū)(俄勒岡州)提供，并將在未來幾個(gè)月擴(kuò)展至美國其余地區(qū)。

關(guān)于 Amazon Web Services

近10年來，Amazon Web Services(AWS)一直是世界上服務(wù)和應(yīng)用廣泛的云服務(wù)平臺(tái)。通過位于美國、澳大利亞、巴西、中國、德國、愛爾蘭、日本、韓國、新加坡以及印度等 14 個(gè)不同區(qū)域的38個(gè)可用區(qū)(AZ)，AWS向客戶提供70多項(xiàng)功能全面的服務(wù)，包括計(jì)算、存儲(chǔ)、數(shù)據(jù)庫、分析、移動(dòng)、物聯(lián)網(wǎng)(IoT)和企業(yè)應(yīng)用等。AWS的服務(wù)獲得了全球上百萬客戶的青睞，包括發(fā)展迅速的初創(chuàng)公司、大型企業(yè)和政府機(jī)構(gòu)。通過AWS的服務(wù)，客戶能夠有效地強(qiáng)化自身基礎(chǔ)設(shè)施，提高敏捷度并降低成本?！　?/p>

關(guān)于亞馬遜公司(Amazon.com)

亞馬遜公司(Amazon.com)成立于1995年7月。公司秉承四大原則：顧客至尚而不是專注于競爭對(duì)手;對(duì)創(chuàng)新發(fā)明充滿熱情;追求卓越運(yùn)營;進(jìn)行長遠(yuǎn)的思考。公司開創(chuàng)了諸多創(chuàng)新服務(wù)，包括客戶評(píng)價(jià)、一鍵下單、個(gè)性化推薦、Prime會(huì)員服務(wù)、亞馬遜配送、亞馬遜云計(jì)算服務(wù)、Kindle直接出版( Kindle Direct Publishing)、Kindle、Fire tablets以及 Fire TV 等。