市場研究機構(gòu)IDC的調(diào)研結(jié)果顯示，到2020年，全球數(shù)據(jù)容量將達到35 ZB（即35萬億TB），比2009年增加44倍，且數(shù)據(jù)的類型和種類將更加復(fù)雜化。多數(shù)分析師認為，其中有高達85%的新數(shù)據(jù)都是非結(jié)構(gòu)化的數(shù)據(jù)，例如文本、網(wǎng)絡(luò)日志、視頻、照片、地理信息等。數(shù)據(jù)的世界正在不斷變化，企業(yè)面臨的挑戰(zhàn)是不斷增加的數(shù)據(jù)容量、種類和速度，我們究竟該如何面對這個數(shù)據(jù)新世界呢？

 

 

隨著數(shù)據(jù)的爆炸式增長，存儲和處理數(shù)據(jù)在軟件和硬件兩方面的成本顯著降低。計算機的計算與存儲能力呈指數(shù)增長，現(xiàn)在只要500元就能買到1TB的存儲容量，硬件成本只相當于十年前的1/100，幾乎已經(jīng)可以忽略不計。在軟件方面，如Hadoop和MapReduce等新興的技術(shù)，可以幫助客戶在基于行業(yè)標準的硬件環(huán)境當中建立大型分布式存儲和計算機群，顯著改變數(shù)據(jù)處理和分析的經(jīng)濟效益。這些改進讓計算機歷史上首次出現(xiàn)了存儲和處理數(shù)據(jù)的成本低于從這些數(shù)據(jù)當中獲得的預(yù)期價值的情況。現(xiàn)在企業(yè)可以選擇存儲數(shù)年的網(wǎng)絡(luò)日志數(shù)據(jù)，即使并不知道將來這些數(shù)據(jù)可以被用于何種用途，而在過去，企業(yè)不會將這些數(shù)據(jù)保存一個月以上。

 

數(shù)據(jù)量的激增讓企業(yè)客戶開始關(guān)注更多與業(yè)務(wù)相關(guān)的問題，例如如何通過分析社交網(wǎng)絡(luò)決定企業(yè)的品牌和產(chǎn)品定位？如何讓企業(yè)的線上競爭策略更加高效？如何才能更準確地吸引目標用戶？這些新的需求對傳統(tǒng)的數(shù)據(jù)管理技術(shù)提出了挑戰(zhàn)，今天的企業(yè)需要一個新的解決方案來幫助自身更有效地管理、優(yōu)化各類數(shù)據(jù)，并從中獲得有價值的業(yè)務(wù)洞察。

 

 

微軟大數(shù)據(jù)解決方案可以無縫地從任意地點（包括本地服務(wù)器或云端）管理任意大小（GB、TB、PB）所有類型（結(jié)構(gòu)化、非結(jié)構(gòu)化以及實時數(shù)據(jù)）的數(shù)據(jù)，通過將全世界的數(shù)據(jù)連接到一起，豐富現(xiàn)有的數(shù)據(jù)集合，再幫助用戶通過熟悉、易于使用的工具，獲得數(shù)據(jù)洞察力。

 

具體地說，客戶可以通過采用SQL Server 2012、SQL Server Parallel Data Warehouse應(yīng)用系統(tǒng)、Azure Marketplace數(shù)據(jù)集市等方案來管理數(shù)據(jù)及用戶。同時，還可以使用熟悉的商業(yè)智能工具，如PowerPivot for Excel和Power View for SharePoint等來管理它們。此外，如通過SQL Server StreamInsight提供的流數(shù)據(jù)支持的新功能，微軟將包含基于Hadoop分布式平臺的全新Windows Azure HDInsight服務(wù)和Windows Server來處理PB級的非結(jié)構(gòu)化數(shù)據(jù)，幫助企業(yè)實現(xiàn)基于SQL Server的數(shù)據(jù)庫管理以及在Hadoop當中的非結(jié)構(gòu)化的數(shù)據(jù)的快速移動。

 

 

數(shù)據(jù)管理的需求已經(jīng)從傳統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)存儲，演變成為結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)存儲并存的時代，現(xiàn)代信息管理平臺必須支持所有類型的數(shù)據(jù)。SQL Server支持非傳統(tǒng)和非結(jié)構(gòu)數(shù)據(jù)類型已經(jīng)有很長的歷史，現(xiàn)在SQL Server也提供了在企業(yè)內(nèi)部服務(wù)器和云上的企業(yè)級Hadoop支持。

 

微軟新近推出的HDInsight是一種適合企業(yè)使用的、基于HDP的Hadoop服務(wù)，可用于Windows Server和Windows Azure平臺，Windows的可靠性、可管理性、和易用性已經(jīng)融入到Hadoop環(huán)境當中。通過減少打包和軟件分發(fā)時間，簡化運營管理并大大減少安裝和配置部署時間。這些功能改進將使得IT部門能夠在整個Hadoop集群中采用一致的安全策略，并通過System Center簡便的管理它們。此外，對于基于云環(huán)境的Windows Azure HDInsight服務(wù)，微軟將繼續(xù)降低服務(wù)部署的門檻，為客戶提供以服務(wù)的方式使用大數(shù)據(jù)的功能，通過基于Web的門戶來簡化Hadoop集群的設(shè)置和配置。對于企業(yè)用戶來說，微軟所提供在企業(yè)內(nèi)部服務(wù)器上和云端部署可擴展大數(shù)據(jù)的解決方案，可將所有的產(chǎn)品均部署在一個通用的平臺上，并使用自身熟悉的、功能強大的商業(yè)智能工具。

在開源的角度上，微軟承諾對Apache Hadoop API提供100%的兼容性，所有基于Apache Hadoop編寫的應(yīng)用程序?qū)⒛軌蛟赪indows平臺上運行。通過與Hortonworks密切協(xié)作，微軟已經(jīng)正式提交了在Windows Azure和Windows Server上提供基于Hadoop的軟件方案的實現(xiàn)方案，并將其作為Apache基礎(chǔ)代碼變更的一部分。

 

 

今天數(shù)據(jù)的價值信息已經(jīng)涵蓋了包括個人數(shù)據(jù)、企業(yè)數(shù)據(jù)、社區(qū)數(shù)據(jù)乃至世界數(shù)據(jù)等不同的應(yīng)用領(lǐng)域。為了讓企業(yè)更好的發(fā)現(xiàn)內(nèi)部和外部數(shù)據(jù)，微軟建立了代號為“Data Explorer”的Azure實驗室，旨在幫助客戶通過自動提議，來發(fā)現(xiàn)相關(guān)數(shù)據(jù)集。另一個代號為“Data Hub”的實驗室，旨在幫助企業(yè)或組織創(chuàng)建一個私有的專屬數(shù)據(jù)市場，提升組織內(nèi)部的數(shù)據(jù)發(fā)現(xiàn)、共享和分析的模式。

 

通過使用Windows Azure Marketplace中的應(yīng)用程序和智能挖掘算法，用戶還能發(fā)現(xiàn)更多的數(shù)據(jù)挖掘模式。例如Windows Azure Marketplace的DataMarket可以實現(xiàn)防火墻外部和第三方數(shù)據(jù)源的發(fā)現(xiàn)與共享。Windows Azure Marketplace提供第一和第三方應(yīng)用程序和挖掘模式，客戶可以從他們的數(shù)據(jù)集當中獲得新的業(yè)務(wù)洞察。

 

在優(yōu)化外部數(shù)據(jù)方面，大數(shù)據(jù)解決方案可以通過SQL Server Integration Services（IS）、SQL Server Data Quality Services（DQS）數(shù)據(jù)清洗和SQL Server Master Data Services（MDS）數(shù)據(jù)管理等功能組件將原始數(shù)據(jù)轉(zhuǎn)換為可靠一致的數(shù)據(jù)，再通過通過SQL Server Analysis Services（SSAS）的高級分析來實現(xiàn)數(shù)據(jù)的精煉。微軟大數(shù)據(jù)解決方案支持Mahout等常用的第三方工具和框架，通過Hadoop的數(shù)據(jù)流，還可支持以C++, C#, Python, Ruby和Pearl來編寫定制的挖掘算法。

 

 

毋庸置疑，大數(shù)據(jù)的真正價值是提新業(yè)務(wù)的洞察。要全面實現(xiàn)這一價值，企業(yè)需要驅(qū)動所有的用戶采用正確的工具，而不只是只有商業(yè)智能（BI）專家或數(shù)據(jù)科學(xué)家進行組織協(xié)作，這些正確的工具應(yīng)當能夠在所有的設(shè)備上運行，以支持所有的用戶。

 

微軟大數(shù)據(jù)解決方案使客戶能夠通過大家非常熟悉的由Hive add-in for Excel生成的Excel界面，也可以經(jīng)由企業(yè)熟悉的BI工具，如SQL Server Analysis Services（SSAS）、PowerPivot以及通過Hive Open Database Connectivity (ODBC) 驅(qū)動生成的Power View來分析Hadoop中的非結(jié)構(gòu)化數(shù)據(jù)。

 

對于開發(fā)人員而言，通過集成.NET和新的JavaScript庫，微軟簡化了Hadoop中的編程。開發(fā)者可以在JavaScript中使用新的JavaScript庫來輕松編寫MapReduce程序，然后通過一個簡單的瀏覽器來部署他們的JavaScript代碼。

 

 

數(shù)據(jù)世界正在經(jīng)歷大變革，商業(yè)需求也在相應(yīng)地變化。微軟大數(shù)據(jù)解決方案提供了一個最好的端到端的平臺，幫助企業(yè)在任意地方來管理任意大小的任意數(shù)據(jù)。為存儲在內(nèi)部服務(wù)器上和云端的結(jié)構(gòu)化的、非結(jié)構(gòu)化的、以及實時數(shù)據(jù)，提供了最完整的和可擴展的數(shù)據(jù)存儲功能?？蛻艨梢酝ㄟ^發(fā)現(xiàn)、優(yōu)化和連接到位于組織外部的數(shù)據(jù)、設(shè)備、和人員，來豐富現(xiàn)有的數(shù)據(jù)集，幫助所有用戶通過熟悉的Excel和SharePoint等工具，從大數(shù)據(jù)當中獲得新的業(yè)務(wù)洞察，實現(xiàn)快速發(fā)展，完成商業(yè)變革。