本文的目的是為微軟大數(shù)據(jù)提供一個(gè)情景提要，作為在創(chuàng)建詳細(xì)的宣傳信息和其他市場(chǎng)宣傳品之前，提供快速的信息的宣傳截至。新的TDM宣傳頁已經(jīng)完成制作并提供出來以幫助解決方案銷售專員(SSP)、基礎(chǔ)平臺(tái)專家(PPS)、以及其他面向客戶人員，來介紹微軟大數(shù)據(jù)應(yīng)用相關(guān)的成功案例。最終將形成一個(gè)全新的銷售宣傳手冊(cè)，來幫助我們的客戶深入了解這一領(lǐng)域并從中收益。

數(shù)據(jù)新世界

[[87640]]

所以大數(shù)據(jù)有什么了不起的呢?大數(shù)據(jù)在IT產(chǎn)業(yè)已經(jīng)成為一個(gè)熱門話題，因?yàn)樗婕皩?duì)今天的商業(yè)一個(gè)重要的挑戰(zhàn)話題。數(shù)據(jù)世界正在不斷變化，而且客戶面臨的挑戰(zhàn)是不斷增加的數(shù)據(jù)容量、種類和速度。數(shù)據(jù)存儲(chǔ)的容量成倍增長，要?dú)w功于新數(shù)據(jù)源的出現(xiàn)，如RFID、網(wǎng)絡(luò)和社交媒體。根據(jù)IDC的數(shù)據(jù)，在2020年全球數(shù)據(jù)的容量將達(dá)到35 ZB(即35萬億TB)，比2009年增加了44倍!數(shù)據(jù)類型或數(shù)據(jù)種類存儲(chǔ)也越來越多樣化。多數(shù)分析師認(rèn)為，高達(dá)85%的新數(shù)據(jù)都是非結(jié)構(gòu)化的數(shù)據(jù)，如文本、網(wǎng)絡(luò)日志、視頻、

照片。同時(shí)，捕獲數(shù)據(jù)的速度不斷增加，客戶希望能夠做出基于數(shù)據(jù)流的實(shí)時(shí)決策。例如一個(gè)大型零售商有一個(gè)RFID流的庫存水平，并且希望能夠在數(shù)小時(shí)之內(nèi)做出庫存補(bǔ)充和定價(jià)的決策。

隨著數(shù)據(jù)的容量、多樣性、和速度呈現(xiàn)爆炸式的增長，存儲(chǔ)和處理數(shù)據(jù)在軟件和硬件兩方面的成本顯著降低。在硬件方面，過去幾十年計(jì)算和存儲(chǔ)能力呈現(xiàn)指數(shù)級(jí)的增長，硬件的成本也因此幾乎降低為零。現(xiàn)在，您可以花費(fèi)不到100美元即可完成1TB容量的存儲(chǔ)的采購。與十年前的價(jià)格相比，整整降低了100倍。在軟件方面，新興的技術(shù)，如Hadoop和MapReduce等，可以幫助客戶在基于行業(yè)標(biāo)準(zhǔn)的硬件環(huán)境當(dāng)中建立大型分布式存儲(chǔ)和計(jì)算機(jī)群，顯著改變數(shù)據(jù)處理和分析的經(jīng)濟(jì)效益。這些改進(jìn)帶來了計(jì)算機(jī)歷史上首次存儲(chǔ)和處理數(shù)據(jù)的成本低于從這些數(shù)據(jù)當(dāng)中獲得的預(yù)期價(jià)值。例如，組織可以選擇存儲(chǔ)數(shù)年的網(wǎng)絡(luò)日志數(shù)據(jù)，即使它們并不知道將來這些數(shù)據(jù)可以被用以何種用途，而在過去，它們并不會(huì)將這些數(shù)據(jù)保存一個(gè)月以上。這種“解決一切”的方法和不斷改變的經(jīng)濟(jì)影響正在迎來新一輪的機(jī)器學(xué)習(xí)和先進(jìn)分析的研究熱潮，如神經(jīng)網(wǎng)絡(luò)、基因算法、圖像分析、以及TB級(jí)的數(shù)據(jù)分析和預(yù)測(cè)模型等應(yīng)用領(lǐng)域，正在引領(lǐng)客戶來不斷尋求一系列新的業(yè)務(wù)相關(guān)的問題答案。

這些新的問題包含了社交網(wǎng)絡(luò)分析、如我們的品牌和產(chǎn)品定位是怎樣的?我的在線競(jìng)爭(zhēng)策略如何更加有效?我應(yīng)該聯(lián)系誰?我該如何進(jìn)行優(yōu)化以吸引正確的目標(biāo)讀者?需要連接到實(shí)時(shí)數(shù)據(jù)反饋的問題、如一個(gè)大型的運(yùn)輸公司需要使用實(shí)施的天氣資訊和交通狀況數(shù)據(jù)，來優(yōu)化他們的運(yùn)送和交付線路，以實(shí)現(xiàn)更好的交付時(shí)間、降低運(yùn)輸成本;需要先進(jìn)分析的問題、如金融公司通過機(jī)器學(xué)習(xí)來構(gòu)建更好的超越了簡(jiǎn)單的業(yè)務(wù)規(guī)則的反欺詐檢測(cè)算法，通過引用支付頻率和地點(diǎn)、以及包括針對(duì)個(gè)人定制的購買模型等，帶來更好的客戶體驗(yàn)。

這些趨勢(shì)第一次將企業(yè)的財(cái)務(wù)表現(xiàn)和它們的投資通過一個(gè)現(xiàn)代的信息管理系統(tǒng)建立直接的關(guān)聯(lián)。這些新的需求挑戰(zhàn)傳統(tǒng)的數(shù)據(jù)管理技術(shù)，并且需要一個(gè)新的解決方案來幫助組織有效地管理、優(yōu)化、并從任意數(shù)據(jù)當(dāng)中獲得內(nèi)在的業(yè)務(wù)洞察。

微軟為所有的數(shù)據(jù)提供了一個(gè)端到端的平臺(tái)，并提供了最容易使用的工具來分析這些數(shù)據(jù)。微軟的數(shù)據(jù)平臺(tái)可以無縫地從任意地點(diǎn)(包括本地服務(wù)器或云端)、管理任意大小(GBàTBàPB)的所有數(shù)據(jù)(包括關(guān)系型、非關(guān)系型、以及流數(shù)據(jù))，通過將世界的數(shù)據(jù)連接到一起，豐富現(xiàn)有的數(shù)據(jù)集合，并幫助用戶通過Microsoft Office和SharePoint等用戶熟悉、易于使用的工具，從這些數(shù)據(jù)當(dāng)中獲得洞察力。

現(xiàn)在，客戶可以通過我們行業(yè)領(lǐng)先的數(shù)據(jù)庫產(chǎn)品—SQL Server 2012、SQL Server Parallel Data Warehouse應(yīng)用系統(tǒng)、行業(yè)排名第一的數(shù)據(jù)集市—Azure Marketplace數(shù)據(jù)集市等來管理他們的關(guān)系型數(shù)據(jù)，以及用戶熟悉的商業(yè)智能工具，如PowerPivot for Excel和Power View for SharePoint等來管理它們的關(guān)系型數(shù)據(jù)。此外，我們支持新的功能，如通過SQL Server StreamInsight提供的流數(shù)據(jù)支持功能，我們將包含一個(gè)新的在Windows Azure平臺(tái)上的基于Hadoop分布式平臺(tái)和Windows Server來處理PB級(jí)的非結(jié)構(gòu)化的數(shù)據(jù)，幫助您實(shí)現(xiàn)您的基于SQL Server的關(guān)系型數(shù)據(jù)庫當(dāng)中的數(shù)據(jù)、以及在Hadoop當(dāng)中的非結(jié)構(gòu)化的數(shù)據(jù)的快速移動(dòng)。

從任意地方管理任意大小的任意數(shù)據(jù)數(shù)據(jù)管理的需求已經(jīng)從傳統(tǒng)的關(guān)系型數(shù)據(jù)存儲(chǔ)演變成為關(guān)系型數(shù)據(jù)和非關(guān)系數(shù)據(jù)存儲(chǔ)并存的時(shí)代，現(xiàn)代信息管理平臺(tái)要能夠支持所有類型的數(shù)據(jù)。SQL Server在支持非傳統(tǒng)和非結(jié)構(gòu)數(shù)據(jù)類型，如 XML、blobs 和file-streams上面，已經(jīng)有很長的歷史。我們將沿著這條道路繼續(xù)努力，SQL Server也將提供在企業(yè)內(nèi)部服務(wù)器和云上的企業(yè)級(jí)Hadoop支持。

除了支持所有類型的數(shù)據(jù)、支持從非關(guān)系型數(shù)據(jù)存儲(chǔ)(如Hadoop)移出和移入數(shù)據(jù)以外、現(xiàn)在關(guān)系型的數(shù)據(jù)倉庫也是大數(shù)據(jù)客戶使用模式之一。例如，Yahoo，作為Hadoop應(yīng)用領(lǐng)域的先驅(qū)之一，將其網(wǎng)絡(luò)日志信息存儲(chǔ)在一個(gè)6PB的Hadoop集群當(dāng)中，并集成了一個(gè)24TB的SQL Server Analysis Services Cube來支持常用的商業(yè)智能分析工具，如Excel和PowerPivot等來進(jìn)行數(shù)據(jù)分析。為了支持這一常用的使用模式，我們提供了存儲(chǔ)在Hadoop和現(xiàn)有的SQL Server數(shù)據(jù)倉庫環(huán)境—如SQL Server Parallel Data Warehouse—等之間的支持高速數(shù)據(jù)移動(dòng)的連接器。

在我們推出我們的基于Hadoop的產(chǎn)品時(shí)，我們把Windows的可靠性、可管理性、和易用性融入到Hadoop環(huán)境當(dāng)中。我們將重點(diǎn)關(guān)注通過集成Active Directory實(shí)現(xiàn)產(chǎn)品的安全增強(qiáng)，通過與System Center集成，減少打包和軟件分發(fā)時(shí)間，從而簡(jiǎn)化運(yùn)營管理并大大減少安裝和配置部署時(shí)間。這些功能改進(jìn)將使得IT能夠在整個(gè)Hadoop集群當(dāng)中采用一致的安全策略，并通過System Center所提供的一個(gè)單一的面板來管理它們。對(duì)于我們?cè)赪indows Azure平臺(tái)上提供的基于Hadoop的服務(wù)，我們將會(huì)繼續(xù)降低服務(wù)部署的門檻，為客戶提供以服務(wù)的方式使用大數(shù)據(jù)的功能，通過基于Web的門戶來簡(jiǎn)化Hadoop集群的設(shè)置和配置。微軟將會(huì)成為業(yè)界唯一一家同時(shí)提供了在企業(yè)內(nèi)部服務(wù)器上和云端部署可擴(kuò)展的大數(shù)據(jù)解決方案的廠商，所有的產(chǎn)品均部署在一個(gè)通用的平臺(tái)上，提供了用戶熟悉的、功能強(qiáng)大的商業(yè)智能工具。

最后，我們不僅提供基于開源的Hadoop的軟件產(chǎn)品，而且承諾反饋我們的更新到Hadoop社區(qū)。微軟承諾對(duì)Apache Hadoop API提供100%的兼容性，所以所有基于Apache Hadoop編寫的應(yīng)用程序?qū)⒛軌蛟赪indows平臺(tái)上運(yùn)行。通過與Hortonworks密切協(xié)作，微軟已經(jīng)正式提交了在Windows Azure和Windows Server上提供基于Hadoop的軟件方案的實(shí)現(xiàn)方案，并將其作為Apache基礎(chǔ)代碼變更的一部分。此外，我們也在同更多的功能進(jìn)行協(xié)作，如Hive Connectivity，以及由微軟和Hortonworks聯(lián)合開發(fā)的JavaScript庫，并將其作為Apache Software Foundation貢獻(xiàn)的一部分。

通過與全世界數(shù)據(jù)連接在一起提供增強(qiáng)的功能

[[87641]]

從未像今天這樣有如此豐富的外部可用的和有價(jià)值的信息，涵蓋了以下這些不同的應(yīng)用領(lǐng)域：

l 個(gè)人數(shù)據(jù)：由我或者我的伙伴創(chuàng)建的數(shù)據(jù)，有相關(guān)的任務(wù)需求;

l 組織數(shù)據(jù)：是在整個(gè)組織范圍內(nèi)維護(hù)和管理的數(shù)據(jù);

l 社區(qū)數(shù)據(jù)：是來自組織外部的數(shù)據(jù)，如采集的分享到公用的公共領(lǐng)域的第三方的數(shù)據(jù)集，如data.gov或社交網(wǎng)絡(luò)數(shù)據(jù);

世界數(shù)據(jù)：這是在全球舞臺(tái)上的所有其它數(shù)據(jù)，例如來至傳感器的數(shù)據(jù)或日志文件，

l 以及已經(jīng)出現(xiàn)的技術(shù)，如支持大數(shù)據(jù)的Hadoop。

借助外部數(shù)據(jù)來豐富您的數(shù)據(jù)，能夠以一種過去不可能的方式來幫助您回答新的問題并提供新的價(jià)值。例如Klout，一個(gè)快速成長的創(chuàng)業(yè)公司，旨在幫助每個(gè)人了解和利用他們的社會(huì)影響。他們使用來自13個(gè)不同社交網(wǎng)絡(luò)的數(shù)據(jù)，每天處理30億的消息，來衡量和排列用戶的影響力。在幾年前，Klout整個(gè)商業(yè)模式根本不存在，因?yàn)樗麄儧]有辦法將他們的數(shù)據(jù)連接到世界數(shù)據(jù)。通過將您需要的外部數(shù)據(jù)整合到您的數(shù)據(jù)平臺(tái)，來豐富您的數(shù)據(jù)源，從而讓您能發(fā)現(xiàn)、整合和優(yōu)化您的數(shù)據(jù)。

l 發(fā)現(xiàn)數(shù)據(jù)：今天，在組織內(nèi)部很難找到合適的數(shù)據(jù)，更何況在外部。一個(gè)典型的分析師花太多的時(shí)間從成千上萬信息來源搜尋正確的數(shù)據(jù)，對(duì)生產(chǎn)力產(chǎn)生負(fù)面的影響。我們將從整個(gè)世界范圍內(nèi)搜尋，根據(jù)用戶是誰、從事怎樣的工作將其所需的信息提供給用戶。

我們提供專門的工具，來發(fā)現(xiàn)組織內(nèi)部和外部數(shù)據(jù)。Azure代號(hào)為“Data Explorer”的實(shí)驗(yàn)室，旨在幫助客戶通過自動(dòng)提議，來發(fā)現(xiàn)相關(guān)數(shù)據(jù)集，例如，如果一個(gè)分析師建立一個(gè)為中小型客戶細(xì)分模型，并選擇客戶數(shù)據(jù)集，該工具就可以自動(dòng)推薦相關(guān)數(shù)據(jù)集，如Dunn和Bradstreet提供有用的信用信息。另一個(gè)代號(hào)為“Data Hub”的實(shí)驗(yàn)室，旨在幫助組織創(chuàng)建一個(gè)私有的專屬數(shù)據(jù)市場(chǎng)，提升組織內(nèi)部的數(shù)據(jù)發(fā)現(xiàn)、共享和分析的模式。Azure Marketplace數(shù)據(jù)集市能夠發(fā)現(xiàn)和共享外部防火墻和第三方數(shù)據(jù)源。

l 聯(lián)合數(shù)據(jù)：通過Azure Marketplace，我們幫助客戶連接到數(shù)據(jù)、智能挖掘算法和在防火墻以外的人。通過聯(lián)合信息從社交媒體網(wǎng)站，如Twitter和Facebook，客戶可以解鎖關(guān)于他們客戶的價(jià)值信息，加強(qiáng)客戶關(guān)系和增加收入。基于云的實(shí)驗(yàn)室代號(hào)為“Social Analytics”的項(xiàng)目讓客戶集成設(shè)計(jì)媒體數(shù)據(jù)到商業(yè)應(yīng)用程序。此外，Windows Azure Marketplace從受信任的第三方供應(yīng)商，如：D&B、United Nations、US Census Bureau等等，提供成千上萬的數(shù)據(jù)集。它還提供第一和第三方應(yīng)用程序和挖掘模式，客戶可以從他們的數(shù)據(jù)集當(dāng)中獲得新的業(yè)務(wù)洞察。

優(yōu)化外部數(shù)據(jù)：我們使得客戶將原始數(shù)據(jù)轉(zhuǎn)換為有意義的業(yè)務(wù)洞察，通過企業(yè)信息管理功能和先進(jìn)的分析優(yōu)化數(shù)據(jù)。通過SQL Server Integration Services(IS)、以及SQL Server Data Quality Services(DQS)數(shù)據(jù)清洗和SQL Server Master Data Services(MDS)數(shù)據(jù)管理等功能組件，SQL Server提供了強(qiáng)大的數(shù)據(jù)轉(zhuǎn)換功能。在先進(jìn)分析當(dāng)中，我們提供了SQL Server Analysis Services(SSAS)數(shù)據(jù)挖掘工具和支持常用第三方工具和l 框架，如‘R’ 和Mahout。

為所有用戶提供的可操作的洞察

[[87642]]

毋庸置疑，大數(shù)據(jù)的真正價(jià)值是提供關(guān)于新數(shù)據(jù)的新的業(yè)務(wù)洞察，包括之前丟失或存檔的非結(jié)構(gòu)化的數(shù)據(jù)。早期的大數(shù)據(jù)適配器只實(shí)現(xiàn)了這樣一種功能，如，麥肯錫指出一家全球型的飲料公司降低其庫存，并提高了其在核心市場(chǎng)的預(yù)測(cè)精度達(dá)5個(gè)百分點(diǎn)，而實(shí)現(xiàn)這一目標(biāo)是在其庫存計(jì)劃當(dāng)中整合了天氣數(shù)據(jù)(如某天的溫度、降雨量、以及日照時(shí)間等)。

要全面實(shí)現(xiàn)這一價(jià)值，企業(yè)需要驅(qū)動(dòng)所有的用戶采用正確的工具，而不只是只有BI專家或數(shù)據(jù)科學(xué)家進(jìn)行組織協(xié)作，這些正確的工具應(yīng)當(dāng)能夠在所有的設(shè)備上運(yùn)行，以支持所有的用戶。通過熟悉的工具如PowerPivot for Excel和Power View for SharePoint，我們使得所有的用戶能夠在所有結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)上進(jìn)行分析和制定決策。通過Hive Add-in for Excel和Hive ODBC Driver，我們幫助所有的終端用戶實(shí)現(xiàn)了到Hadoop當(dāng)中的數(shù)據(jù)的簡(jiǎn)單和直接的訪問。

對(duì)于開發(fā)人員而言，我們降低了產(chǎn)品所要求的技術(shù)集的門檻、通過編寫運(yùn)行MapReduce作業(yè)的基于JavaScript的第一級(jí)類語言，簡(jiǎn)化了Hadoop的編程

結(jié)論

數(shù)據(jù)世界正在經(jīng)歷大的變革，客戶的期望也在相應(yīng)地變化。我們同時(shí)為存儲(chǔ)在內(nèi)部服務(wù)器上和云端的結(jié)構(gòu)化的、非結(jié)構(gòu)化的、以及流數(shù)據(jù)，提供了最完整的和可擴(kuò)展的數(shù)據(jù)存儲(chǔ)功能?？蛻艨梢酝ㄟ^發(fā)現(xiàn)、優(yōu)化和連接到位于組織外部的數(shù)據(jù)、設(shè)備、和人員，來豐富現(xiàn)有的數(shù)據(jù)集，并幫助所有的用戶通過熟悉的Excel和SharePoint等工具，從大數(shù)據(jù)當(dāng)中獲得新的業(yè)務(wù)洞察。

特別地，微軟的大數(shù)據(jù)解決訪問提供了一個(gè)最好的端到端的平臺(tái)，幫助用戶通過我們行業(yè)領(lǐng)先的SQL Server 2012、SQL Server Parallel Data Warehouse應(yīng)用系統(tǒng)來從任意地方來管理任意大小的任意數(shù)據(jù)，SQL Server StreamInsight實(shí)現(xiàn)了對(duì)流數(shù)據(jù)的管理，新的功能如我們?cè)赪indows Azure和Windows Server上的基于Hadoop的分布式解決方案實(shí)現(xiàn)了對(duì)PB級(jí)的非結(jié)構(gòu)化的數(shù)據(jù)的處理。通過業(yè)界第一個(gè)數(shù)據(jù)集市—Azure Marketplace數(shù)據(jù)集市—連接世界的數(shù)據(jù)從而豐富您的數(shù)據(jù)。通過用戶熟悉的工具，如PowerPivot for Excel、以及Power View for SharePoint等，幫助用戶從任意地點(diǎn)利用任意設(shè)備來為所有用戶釋放可操作的業(yè)務(wù)洞察。