大數(shù)據(jù)的定義

大數(shù)據(jù)，又稱巨量資料，指的是所涉及的數(shù)據(jù)資料量規(guī)模巨大到無法通過人腦甚至主流軟件工具，在合理時(shí)間內(nèi)達(dá)到擷取、管理、處理、并整理成為幫助企業(yè)經(jīng)營(yíng)決策更積極目的的資訊。

[[257672]]

大數(shù)據(jù)的特點(diǎn)

數(shù)據(jù)量大、數(shù)據(jù)種類多、要求實(shí)時(shí)性強(qiáng)、數(shù)據(jù)所蘊(yùn)藏的價(jià)值大。在各行各業(yè)均存在大數(shù)據(jù)，但是眾多的信息和咨詢是紛繁復(fù)雜的，我們需要搜索、處理、分析、歸納、總結(jié)其深層次的規(guī)律。

大數(shù)據(jù)的采集

科學(xué)技術(shù)及互聯(lián)網(wǎng)的發(fā)展，推動(dòng)著大數(shù)據(jù)時(shí)代的來臨，各行各業(yè)每天都在產(chǎn)生數(shù)量巨大的數(shù)據(jù)碎片，數(shù)據(jù)計(jì)量單位已從從Byte、KB、MB、GB、TB發(fā)展到PB、EB、ZB、YB甚至BB、NB、DB來衡量。大數(shù)據(jù)時(shí)代數(shù)據(jù)的采集也不再是技術(shù)問題，只是面對(duì)如此眾多的數(shù)據(jù)，我們?cè)鯓硬拍苷业狡鋬?nèi)在規(guī)律。

大數(shù)據(jù)的挖掘和處理

大數(shù)據(jù)必然無法用人腦來推算、估測(cè)，或者用單臺(tái)的計(jì)算機(jī)進(jìn)行處理，必須采用分布式計(jì)算架構(gòu)，依托云計(jì)算的分布式處理、分布式數(shù)據(jù)庫(kù)、云存儲(chǔ)和虛擬化技術(shù)，因此，大數(shù)據(jù)的挖掘和處理必須用到云技術(shù)。

大數(shù)據(jù)的應(yīng)用

大數(shù)據(jù)可應(yīng)用于各行各業(yè)，將人們收集到的龐大數(shù)據(jù)進(jìn)行分析整理，實(shí)現(xiàn)資訊的有效利用。舉個(gè)本專業(yè)的例子，比如在奶?；?qū)用鎸ふ遗c產(chǎn)奶量相關(guān)的主效基因，我們可以首先對(duì)奶牛全基因組進(jìn)行掃描，盡管我們獲得了所有表型信息和基因信息，但是由于數(shù)據(jù)量龐大，這就需要采用大數(shù)據(jù)技術(shù)，進(jìn)行分析比對(duì)，挖掘主效基因。例子還有很多。

大數(shù)據(jù)的意義和前景

總的來說，大數(shù)據(jù)是對(duì)大量、動(dòng)態(tài)、能持續(xù)的數(shù)據(jù)，通過運(yùn)用新系統(tǒng)、新工具、新模型的挖掘，從而獲得具有洞察力和新價(jià)值的東西。以前，面對(duì)龐大的數(shù)據(jù)，我們可能會(huì)一葉障目、可見一斑，因此不能了解到事物的真正本質(zhì)，從而在科學(xué)工作中得到錯(cuò)誤的推斷，而大數(shù)據(jù)時(shí)代的來臨，一切真相將會(huì)展現(xiàn)在我么面前。

大數(shù)據(jù)發(fā)展戰(zhàn)略

傳統(tǒng)的數(shù)據(jù)方法，不管是傳統(tǒng)的 OLAP技術(shù)還是數(shù)據(jù)挖掘技術(shù)，都難以應(yīng)付大數(shù)據(jù)的挑戰(zhàn)。首先是執(zhí)行效率低。傳統(tǒng)數(shù)據(jù)挖掘技術(shù)都是基于集中式的底層軟件架構(gòu)開發(fā)，難以并行化，因而在處理 TB級(jí)以上數(shù)據(jù)的效率低。其次是數(shù)據(jù)分析精度難以隨著數(shù)據(jù)量提升而得到改進(jìn)，特別是難以應(yīng)對(duì)非結(jié)構(gòu)化數(shù)據(jù)。在人類全部數(shù)字化數(shù)據(jù)中，僅有非常小的一部分(約占總數(shù)據(jù)量的1%)數(shù)值型數(shù)據(jù)得到了深入分析和挖掘(如回歸、分類、聚類)，大型互聯(lián)網(wǎng)企業(yè)對(duì)網(wǎng)頁索引、社交數(shù)據(jù)等半結(jié)構(gòu)化數(shù)據(jù)進(jìn)行了淺層分析(如排序)，占總量近60%的語音、圖片、視頻等非結(jié)構(gòu)化數(shù)據(jù)還難以進(jìn)行有效的分析。

所以大數(shù)據(jù)分析技術(shù)的發(fā)展需要在兩個(gè)方面取得突破，一是對(duì)體量龐大的結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)進(jìn)行高效率的深度分析，挖掘隱性知識(shí)，如從自然語言構(gòu)成的文本網(wǎng)頁中理解和識(shí)別語義、情感、意圖等;二是對(duì)非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行分析，將海量復(fù)雜多源的語音、圖像和視頻數(shù)據(jù)轉(zhuǎn)化為機(jī)器可識(shí)別的、具有明確語義的信息，進(jìn)而從中提取有用的知識(shí)。