自拍偷在线精品自拍偷,亚洲欧美中文日韩v在线观看不卡

大數據處理一定需要Hadoop嗎?

大數據 Hadoop
Google強大的搜尋引擎每天處理龐大的搜尋數據,靠的是數十萬的伺服器同時作工。然而一般企業(yè)并無法使用Google所用的內部搜尋引擎工具,所以,擁有處理大數據工具的分散式運算平臺Hadoop應運而生。

Google強大的搜尋引擎每天處理龐大的搜尋數據,靠的是數十萬的伺服器同時作工。然而一般企業(yè)并無法使用Google所用的內部搜尋引擎工具,所以,擁有處理大數據工具的分散式運算平臺Hadoop應運而生。

[[130733]]

但問題是Hadoop使用上有難度,數據處理公司Cloudera決心要解決這個問題。

過去的公司企業(yè)仰賴傳統(tǒng)的關聯式資料庫和數據倉儲就可應付所需,然而,今日電子商務、社交媒體和行動運算不斷成長使得資料量暴增,許多企業(yè)便開 始使用Hadoop等的工具處理數據?,F在,Cloudera現在p更針對Hadoop平臺推出類Google的搜尋引擎:Cloudera Search。

搜尋引擎讓Hadoop更平易近人

Cloudera希望客戶能在Hadoop壯大之前就將資料儲存進去,并將之整合入平臺。但使用Hadoop平臺與資料互動必須要懂得MapReduce運算技術,也就是說你得會寫Java語言,這對許多使用者來說并不方便。

雖然Hadoop已經推出許多工具讓使用上更便利,但Cloudera希望更進一步建立一個Hadoop的搜尋引擎。產品經理澤德勒維斯基 (Charles Zedlewski)說:「數萬開發(fā)者可能知道怎么用MapReduce,執(zhí)行SQL指令,但會使用搜尋引擎的人有數十億人?!?/p>

Cloudera Search能夠與Hadoop分散式檔案系統(tǒng)(HDFS)或資料庫系統(tǒng)Hbase整合,使用者可以輸入搜尋字串后就找到一串搜尋結果。這項搜尋工具是以Apache Solr搜尋器為基礎。

市場研究公司RedMonk分析師歐葛瑞迪(Stephen O’Grady)表示:「每多一項數據處理工具對Hadoop都有好處……從寫MapReduce程式到支援SQL語法的Hive或Pig等套件,每項工具都讓數據處理更有效率?!?/p>

所有大數據都該放入Hadoop嗎?

這對改善Hadoop可用性的確幫助不少,但問題是:客戶是否真的有需要將它們所有的數據都放入Hadoop?微軟今年稍早發(fā)表一份報告,主張 大多數的公司只需要增加叢集伺服器的使用數量,不須嘗試用單臺伺服器處理數據,報告指出,甚至雅虎和臉書兩家最需要數據處理效能的公司,也是透過增加伺服 器叢集解決效能問題。

但許多公司正面臨數據不斷增長的問題,一開始就加入Hadoop是不錯的選擇,RedMonk過去也是Hadoop的使用者,但最近轉用BigQuery等其他的Google資料庫工具,原因是他們的數據在量上本質就比較小,而且成長的速度也沒有分析師原本預測得快。

但歐葛瑞迪說:「如果我們能夠更快速地獲得數據,就一定會使用Hadoop!」

責任編輯:王雪燕 來源: OPEN資訊
相關推薦

2011-12-08 09:56:14

Hadoop

2012-05-31 14:37:10

Hadoop大數據

2015-05-05 11:18:18

大數據Hadoop技術處理

2011-09-01 15:12:43

SQL ServerHadoop

2013-09-03 09:09:30

大數據

2017-05-05 09:53:34

Hadoop大數據處理

2018-01-22 08:33:28

SparkHadoop計算

2017-05-11 11:00:11

大數據Hadoop數據處理

2017-05-11 17:36:50

2013-12-27 16:15:11

Hadoop大數據處理

2013-12-30 10:40:12

大數據處理大數據Hadoop

2018-12-07 14:50:35

大數據數據采集數據庫

2020-11-02 15:56:04

大數據數據庫技術

2019-12-11 14:32:49

分布式大數據系統(tǒng)

2017-01-19 17:57:47

大數據

2021-07-20 15:37:37

數據開發(fā)大數據Spark

2017-07-21 14:22:17

大數據大數據平臺數據處理

2013-11-01 09:33:56

VMware李嚴冰hadoop

2012-09-20 11:23:18

Hadoop云計算

2021-03-29 22:58:34

大數據Java編程語言
點贊
收藏

51CTO技術棧公眾號