谷歌目前正著力推動(dòng)一套Java SDK,旨在將其與Google Cloud Dataflow托管服務(wù)加以整合,從而將對(duì)流數(shù)據(jù)的實(shí)時(shí)分析能力作為這套平臺(tái)的拓展支持組成部分。
[[125343]]
谷歌公司正力圖將其Google Cloud Dataflow平臺(tái)拓展至其它語(yǔ)言及環(huán)境當(dāng)中。
谷歌目前正著力推動(dòng)一套Java SDK,旨在將其與Google Cloud Dataflow托管服務(wù)加以整合,從而將對(duì)流數(shù)據(jù)的實(shí)時(shí)分析能力作為這套平臺(tái)的拓展支持組成部分。
通過以開源形式進(jìn)行共享,這套SDK能夠充當(dāng)基礎(chǔ)、幫助Dataflow獲得與其它語(yǔ)言及執(zhí)行環(huán)境相適應(yīng)的能力,谷歌公司軟件工程師Sam McVeety在最近的一份公告當(dāng)中指出。“我們已經(jīng)積累到了豐富的經(jīng)驗(yàn),了解到該如何將數(shù)據(jù)轉(zhuǎn)化為情報(bào)、同時(shí)讓原本的FlumeJava編程模型(以Cloud Dataflow為基礎(chǔ))繼續(xù)在谷歌公司內(nèi)部得以發(fā)展。”
谷歌方面希望能夠在對(duì)Dataflow服務(wù)進(jìn)行拓展之外,同時(shí)將流數(shù)據(jù)與批處理模式加以結(jié)合從而實(shí)現(xiàn)進(jìn)一步創(chuàng)新。“隨著數(shù)據(jù)規(guī)模的不斷增長(zhǎng),編程語(yǔ)言與執(zhí)行模式的數(shù)量也在持續(xù)提升,”McVeety表示。“我們目前正在為該SDK打造一款面向Python的第三套版本,旨在為開發(fā)人員提供更多可行性選項(xiàng)并保證Dataflow能夠訪問更多類型的應(yīng)用程序。可重復(fù)使用的編程模式可以稱得上幫助開發(fā)人員提升工作效率的核心利器。Cloud Dataflow SDK的出現(xiàn)則恰好為批量與流數(shù)據(jù)處理任務(wù)帶來了一套統(tǒng)一化執(zhí)行模式。”
對(duì)于其它環(huán)境,McVeety指出現(xiàn)代開發(fā)、特別是在云環(huán)境當(dāng)中的開發(fā)工作主要涉及異構(gòu)服務(wù)與多種機(jī)制間的相互組合。“隨著Storm、Spark以及日益擴(kuò)展的Hadoop家族的不斷成熟,開發(fā)人員不得不面對(duì)由編程模式斷層帶來的嚴(yán)峻挑戰(zhàn)。我們希望幫助開發(fā)人員擺脫疲于奔命的負(fù)面態(tài)勢(shì),通過支持可作用于多種環(huán)境的執(zhí)行與服務(wù)方案為大家?guī)砀嗖渴鹌脚_(tái)選項(xiàng)。”
Google Cloud Dataflow平臺(tái)于今年六月首次公布,其定位在于為數(shù)據(jù)處理任務(wù)提供一套托管服務(wù)模型。盡管目前尚處于alpha測(cè)試階段且僅向特定“白名單”用戶(新用戶必須通過申請(qǐng)方能接入該服務(wù))開放,但Cloud Dataflow能夠切實(shí)簡(jiǎn)化執(zhí)行流程、幫助用戶在無需分神于底層數(shù)據(jù)管道及處理基礎(chǔ)設(shè)施維護(hù)的前提下將精力集中在真正的分析工作身上。我們此前曾經(jīng)發(fā)布過一篇Cloud Dataflow分析文章,其中指出該項(xiàng)目雖然還稱不上Hadoop家族中的殺手級(jí)項(xiàng)目、但卻能夠幫助Google Cloud用戶迎來更為豐富的應(yīng)用程序備選方案。
英文:http://www.infoworld.com/article/2861450/application-development/google-hitches-cloud-data-analysis-service-to-java-sdk.html