驅(qū)動(dòng)AWS QuickSight應(yīng)對大數(shù)據(jù)挑戰(zhàn)的創(chuàng)新技術(shù)
眼下,我們生活在眾多網(wǎng)站、聯(lián)網(wǎng)設(shè)備和移動(dòng)應(yīng)用程序生成海量數(shù)據(jù)的時(shí)代。在這種數(shù)據(jù)密集型環(huán)境下,做出關(guān)鍵的業(yè)務(wù)決策勢必需要從這些數(shù)據(jù)獲得寶貴的洞察力,比如開展?fàn)I銷和銷售活動(dòng)、物流規(guī)劃、財(cái)務(wù)分析以及廣告定位等決策。然而,收集、存儲(chǔ)和處理數(shù)據(jù)的數(shù)據(jù)基礎(chǔ)設(shè)施主要面向廣大的開發(fā)人員和IT專業(yè)人士(比如Amazon Redshift、Amazon DynamoDB和Amazon EMR),不僅技術(shù)專業(yè)人士需要獲取洞察力,不懂技術(shù)的業(yè)務(wù)用戶也需要獲取洞察力。
為了能夠?yàn)榭蛻籼峁┳畛錾臄?shù)據(jù)存儲(chǔ)方案,這些年來我們構(gòu)建了幾種創(chuàng)新的數(shù)據(jù)庫解決方案,比如Amazon RDS、Amazon RDS for Aurora、Amazon DynamoDB和Amazon Redshift。許多客戶在使用這些解決方案收集和存儲(chǔ)海量數(shù)據(jù),這點(diǎn)不足為奇。不過,從這種類繁多的數(shù)據(jù)源獲取可付諸行動(dòng)的洞察力這個(gè)過程并非易事。傳統(tǒng)上,許多公司只好購買許多復(fù)雜的工具來發(fā)現(xiàn)數(shù)據(jù)集、購買抽取/轉(zhuǎn)換/加載(ETL)工具來準(zhǔn)備分析,購買另外的工具來分析和提供可視化的交互式儀表板。
如今,我迫不及待地想與各位介紹一種全新的服務(wù):Amazon QuickSight,旨在簡化從種類繁多的數(shù)據(jù)源獲取洞察力的過程,以便快速、輕松、低成本地獲取洞察力。QuickSight是一種非???、云驅(qū)動(dòng)的商業(yè)智能服務(wù),成本卻只有傳統(tǒng)商業(yè)智能解決方案的十分之一。
大數(shù)據(jù)挑戰(zhàn)
近幾年來,AWS提供了一系列全面服務(wù),幫助客戶收集、存儲(chǔ)和處理越來越多的數(shù)據(jù)量。如今,成千上萬家公司在使用亞馬遜網(wǎng)絡(luò)服務(wù)(AWS)來滿足其在大數(shù)據(jù)方面的要求:既有強(qiáng)生、三星和飛利浦這樣的大企業(yè),也有網(wǎng)飛(Netflix)和Adobe這樣的老牌科技公司,還有Airbnb、Yelp和Foursquare這樣的創(chuàng)新初創(chuàng)公司。
每天都有大量的數(shù)據(jù)從在AWS基礎(chǔ)設(shè)施上運(yùn)行的客戶應(yīng)用軟件生成,使用Amazon Kinesis之類的服務(wù)來收集和流式傳輸,存儲(chǔ)在AWS關(guān)系數(shù)據(jù)源中(比如Amazon RDS、Amazon Aurora和Amazon Redshift)、NoSQL數(shù)據(jù)源(比如Amazon DynamoDB)以及基于文件的數(shù)據(jù)源(比如Amazon S3)。客戶還使用眾多不同的工具,包括Amazon EMR for Hadoop、Amazon Machine Learning、AWS Data Pipeline和AWS Lambda,處理及分析數(shù)據(jù)。
收集、存儲(chǔ)和處理的數(shù)據(jù)與業(yè)務(wù)用戶每天做出的關(guān)鍵決策之間存在固有的缺口。簡而言之,對企業(yè)組織的最終用戶而言,數(shù)據(jù)并不總是隨時(shí)可用、易于訪問。大多數(shù)業(yè)務(wù)用戶繼續(xù)在努力解答重要的業(yè)務(wù)問題,比如“我的主要客戶是哪些,他們在購買什么?”,“我開展的營銷活動(dòng)效果怎樣?”,以及“為什么我盈利最多的區(qū)域沒出現(xiàn)業(yè)務(wù)增長?”雖然商業(yè)智能解決方案面市已有幾十年了,但是客戶告訴我們,彌補(bǔ)這個(gè)缺口需要投入大量的時(shí)間、IT人力和資金。
傳統(tǒng)的商業(yè)智能解決方案通常需要數(shù)據(jù)工程師組成的團(tuán)隊(duì)花幾個(gè)月時(shí)間來構(gòu)建復(fù)雜的數(shù)據(jù)模型,綜合數(shù)據(jù),然后才能生成第一份報(bào)表。這種解決方案缺少交互式數(shù)據(jù)探查和可視化功能,大多數(shù)業(yè)務(wù)用戶只好使用現(xiàn)成報(bào)表和預(yù)先選擇的查詢。
內(nèi)部部署型商業(yè)智能工具還要求公司配置和維護(hù)復(fù)雜的硬件基礎(chǔ)設(shè)施,并支付昂貴的軟件許可證、維護(hù)費(fèi)和支持費(fèi),而支持費(fèi)每年每個(gè)用戶可能高達(dá)數(shù)千美元。為了適應(yīng)數(shù)量更多的用戶,并支持社交媒體、互聯(lián)網(wǎng)、移動(dòng)、物聯(lián)網(wǎng)、廣告技術(shù)和電子商務(wù)等工作負(fù)載帶來的激增數(shù)據(jù)量,這些工具需要投資興建更多的基礎(chǔ)設(shè)施,以保持合理的查詢性能。實(shí)施和擴(kuò)展商業(yè)智能解決方案成本高、難度大,這讓大多數(shù)公司很難在整個(gè)企業(yè)組織普遍使用商業(yè)智能。
Amazon QuickSight應(yīng)運(yùn)而生
QuickSight是一種從頭開始構(gòu)建的云驅(qū)動(dòng)的商業(yè)智能服務(wù),旨在應(yīng)對大數(shù)據(jù)在速度、復(fù)雜性和成本等方面的幾大挑戰(zhàn)。有了QuickSight,貴公司的業(yè)務(wù)用戶只要借助易于使用的用戶界面,就能做到分散在眾多不同大數(shù)據(jù)源(比如關(guān)系數(shù)據(jù)源、NoSQL數(shù)據(jù)源和流式數(shù)據(jù)集)的數(shù)據(jù)觸手可及,而成本只有傳統(tǒng)商業(yè)智能解決方案的十分之一。很容易從QuickSight開始入手。下面就介紹QuickSight的一些核心功能。QuickSight讓你很容易在短短幾分鐘內(nèi),完成安裝、連接至數(shù)據(jù)源,并構(gòu)建可視化類型。
QuickSight凝聚了大量的創(chuàng)新技術(shù),讓業(yè)務(wù)用戶可以迅速獲得第一洞察力。下面是驅(qū)動(dòng)QuickSight的幾大創(chuàng)新技術(shù)。
SPICE:讓QuickSight功能如此強(qiáng)大的主要組件之一是超高速并行內(nèi)存計(jì)算引擎(SPICE)。SPIC是一項(xiàng)從頭開始構(gòu)建的新技術(shù),由當(dāng)初開發(fā)了DynamoDB、Amazon Redshift和Amazon Aurora等技術(shù)的同一個(gè)團(tuán)隊(duì)開發(fā)。SPICE讓QuickSight能夠擴(kuò)展至數(shù)TB分析數(shù)據(jù)的環(huán)境,對大多數(shù)可視化查詢而言提供了毫秒級的響應(yīng)時(shí)間。如果你用QuickSigh處理某個(gè)數(shù)據(jù)源,數(shù)據(jù)會(huì)自動(dòng)被吸納到SPICE中,以獲得最佳的分析查詢性能。SPICE結(jié)合使用了列存儲(chǔ)、借助最新硬件創(chuàng)新實(shí)現(xiàn)的內(nèi)存技術(shù)、機(jī)器碼生成和數(shù)據(jù)壓縮,讓用戶得以對龐大數(shù)據(jù)集執(zhí)行交互式查詢,并且迅速獲得響應(yīng)。SPICE支持豐富的運(yùn)算,從而幫助客戶在探查數(shù)據(jù)時(shí)獲取寶貴的洞察力,沒必要為配置和管理基礎(chǔ)設(shè)施而操心。SPICE可自動(dòng)復(fù)制數(shù)據(jù),確保高可用性和高性能。這樣一來,企業(yè)組織就能擴(kuò)展至數(shù)千個(gè)用戶:他們都能針對一系列廣泛的AWS數(shù)據(jù)源,執(zhí)行快速的交互式查詢。除了驅(qū)動(dòng)QuickSight外,我們還讓AWS商業(yè)智能合作伙伴能夠與SPICE整合起來,那樣使用我們合作伙伴工具的客戶可以借助已經(jīng)很熟悉的用戶界面,迅速直觀地顯示數(shù)據(jù)。
自動(dòng)發(fā)現(xiàn):商業(yè)智能和數(shù)據(jù)分析面臨的挑戰(zhàn)之一就是,發(fā)現(xiàn)數(shù)據(jù),并篩選數(shù)據(jù)以便分析。這需要IT部門建立數(shù)據(jù)目錄,并且借助分析引擎和工具確保數(shù)據(jù)可以發(fā)現(xiàn)。用戶登錄進(jìn)入到QuickSight后,它會(huì)自動(dòng)發(fā)現(xiàn)客戶可以訪問的所有數(shù)據(jù)源,并分析它們,不需要數(shù)據(jù)庫配置和安裝等操作。比如說,客戶可以直觀地顯示其在Amazon Redshift集群上的數(shù)據(jù),只要選一張表,然后進(jìn)入到可視化顯示,最多只要點(diǎn)擊三下。為了做到這一點(diǎn),我們構(gòu)建了一項(xiàng)活動(dòng)元數(shù)據(jù)目錄服務(wù),它為客戶可以訪問的所有數(shù)據(jù)源(比如Amazon Redshift、RDS、S3、Amazon EMR和DynamoDB)編制了一份目錄。
AutoGraph:選擇合適的可視化類型并非易事,背后有許多學(xué)問和門道。比如說,最佳可視化取決于諸多因素:用戶選擇的數(shù)據(jù)字段類型(比如“是時(shí)間、號碼還是字符串”),數(shù)據(jù)基數(shù)(比如“該字段只有4個(gè)獨(dú)特的值還是有100萬個(gè)值?”),以及用戶試圖可視化的數(shù)據(jù)字段數(shù)量。雖然QuickSight支持多種圖形類型(比如條形圖、線形圖、散布圖、箱形圖和餅形圖等),但我們試圖簡化的其中一個(gè)方面是,使用一種名為AutoGraph的技術(shù),自動(dòng)為所選擇的數(shù)據(jù)選擇合適可視化的功能。有了該技術(shù),用戶選擇好想要可視化顯示的哪些數(shù)據(jù)字段后,QuickSight就會(huì)為它們自動(dòng)選擇合適的可視化類型。
建議:數(shù)據(jù)的絕對數(shù)量可能大得驚人;許多用戶只想探查其數(shù)據(jù),了解值得關(guān)注的特點(diǎn)。比如說,針對Amazon Redshift集群中銷售數(shù)據(jù)的最常見查詢可能是,“一段時(shí)間后,涵蓋不同類別的總體銷售額會(huì)出現(xiàn)怎樣的增長?”借助QuickSight,我們開發(fā)了一種引擎,可以為有意義的分析提供建議,用戶選擇所要分析的數(shù)據(jù)源時(shí)可能對此有興趣。引擎通過分析數(shù)據(jù)源的元數(shù)據(jù)、最常訪問的查詢以及另外幾個(gè)參數(shù)來提供建議。我們認(rèn)為,這為用戶無需做大量工作,獲取寶貴的洞察力提供了一種簡單方法。
協(xié)作和共享實(shí)時(shí)分析結(jié)果:用戶們常常想要對數(shù)據(jù)進(jìn)行交叉分析,并以一種安全的方式共享分析結(jié)果。有了QuickSight,用戶就能構(gòu)建一個(gè)“故事板”(storyboard)――故事板里面有多種分析,加以適當(dāng)?shù)淖⑨?,然后與企業(yè)組織中的其他人共享。不像傳統(tǒng)工具,它們能夠共享實(shí)時(shí)分析結(jié)果,而不是只能共享靜態(tài)圖像,那樣接收方同樣能從共享的故事板中獲取洞察力。我們還為眾多企業(yè)提供了與活動(dòng)目錄集成的功能,那樣客戶就能使用其現(xiàn)有的登錄信息(credential),共享洞察力。
我在本文中只著重介紹了QuickSight的幾個(gè)重大創(chuàng)新。想了解關(guān)于這款產(chǎn)品的詳細(xì)信息,請?jiān)L問AWS博客、 QuickSight詳情頁面和常見問題解答(FAQ)頁面。
評價(jià)
正如我在前面所述,亞馬遜和AWS 的許多創(chuàng)新(包括QuickSight)源自于客戶反饋。我們積極聽取客戶的痛點(diǎn),處理基礎(chǔ)設(shè)施、數(shù)據(jù)管理和數(shù)據(jù)分析等各方面無差別的繁重任務(wù)。不斷聽取客戶反饋,迅速迭代產(chǎn)品功能,這個(gè)戰(zhàn)略已成為一個(gè)良性循環(huán),對我們來說一直屢試不爽。QuickSight同樣從類似的根基起家;在發(fā)布的最終階段,我有幸聽自客戶的這類積極反饋。我們聽到納斯達(dá)克(Nasdaq)和Intuit等客戶給予了好評。
納斯達(dá)克讓其客戶能夠從容地規(guī)劃、優(yōu)化和實(shí)現(xiàn)業(yè)務(wù)愿景,并使用久經(jīng)考驗(yàn)的技術(shù),提供透明度和洞察力,馳騁于如今的全球資本市場。其技術(shù)驅(qū)動(dòng)著50個(gè)國家的100多個(gè)市場、 清算機(jī)構(gòu)和中央證券存管機(jī)構(gòu),所以生成了大量數(shù)據(jù)。納斯達(dá)克公司的首席架構(gòu)師Nate Simmons告訴我們,他們始終對分析存儲(chǔ)在Amazon Redshift、Amazon S3及其他數(shù)據(jù)源中的數(shù)據(jù)的新工具饒有興趣。對他來說,數(shù)據(jù)量和使用日益增長的同時(shí),擁有超高速性能對他的用戶來說至關(guān)重要。基于預(yù)覽QuickSight的情況,他們發(fā)現(xiàn),SPICE內(nèi)存運(yùn)算引擎結(jié)合易于使用的用戶界面,很適合其使用場合。
同樣,Intuit公司的公有云主管Troy Otillio告訴我們,從初期預(yù)覽QuickSight的情況來看,他們認(rèn)為這項(xiàng)服務(wù)會(huì)挑戰(zhàn)現(xiàn)狀。他提到,該產(chǎn)品對業(yè)務(wù)用戶來說界面直觀,對需要一種超高速性能、易于使用的工具的營銷人員來說更是如此。
【新聞來源:www.stratoscale.com|云頭條編譯(未經(jīng)授權(quán)謝絕轉(zhuǎn)載)】