本節(jié)向大家介紹一下有關(guān)Hadoop云計(jì)算的問題，No Comments Google和Amazon已經(jīng)走在了云計(jì)算商業(yè)化的前面,在他們后面則是一群開源的云計(jì)算項(xiàng)目。這讓我們多了一些選擇,可以考慮... ，我們一起來看一下Hadoop云計(jì)算的具體介紹簡(jiǎn)介，首先看一下Hadoop的概念。
Hadoop 簡(jiǎn)介

Hadoop 是一個(gè)開源的可運(yùn)行于大規(guī)模集群上的分布式并行編程框架，由于分布式存儲(chǔ)對(duì)于分布式編程來說是必不可少的，這個(gè)框架中還包含了一個(gè)分布式文件系統(tǒng) HDFS( Hadoop Distributed File System )。也許到目前為止，Hadoop 還不是那么廣為人知，其***的版本號(hào)也僅僅是 0.16，距離 1.0 似乎都還有很長(zhǎng)的一段距離，但提及 Hadoop 一脈相承的另外兩個(gè)開源項(xiàng)目 Nutch 和 Lucene ( 三者的創(chuàng)始人都是 Doug Cutting ),那絕對(duì)是大名鼎鼎。Lucene 是一個(gè)用 Java 開發(fā)的開源高性能全文檢索工具包，它不是一個(gè)完整的應(yīng)用程序，而是一套簡(jiǎn)單易用的 API 。在全世界范圍內(nèi)，已有無數(shù)的軟件系統(tǒng)，Web 網(wǎng)站基于 Lucene 實(shí)現(xiàn)了全文檢索功能，后來 Doug Cutting 又開創(chuàng)了***個(gè)開源的 Web 搜索引擎(http://www.nutch.org/) Nutch, 它在 Lucene 的基礎(chǔ)上增加了網(wǎng)絡(luò)爬蟲和一些和 Web 相關(guān)的功能，一些解析各類文檔格式的插件等，此外，Nutch 中還包含了一個(gè)分布式文件系統(tǒng)用于存儲(chǔ)數(shù)據(jù)。從 Nutch 0.8.0 版本之后，Doug Cutting 把 Nutch 中的分布式文件系統(tǒng)以及實(shí)現(xiàn) MapReduce 算法的代碼獨(dú)立出來形成了一個(gè)新的開源項(xiàng) Hadoop。Nutch 也演化為基于 Lucene 全文檢索以及 Hadoop 分布式計(jì)算平臺(tái)的一個(gè)開源搜索引擎。

Hadoop云計(jì)算

基于Hadoop,你可以輕松地編寫可處理海量數(shù)據(jù)的分布式并行程序，并將其運(yùn)行于由成百上千個(gè)結(jié)點(diǎn)組成的大規(guī)模計(jì)算機(jī)集群上。從目前的情況來看，Hadoop 注定會(huì)有一個(gè)輝煌的未來："云計(jì)算"是目前灸手可熱的技術(shù)名詞，全球各大 IT 公司都在投資和推廣這種新一代的計(jì)算模式，而 Hadoop 又被其中幾家主要的公司用作其"云計(jì)算"環(huán)境中的重要基礎(chǔ)軟件，如:雅虎正在借助 Hadoop 開源平臺(tái)的力量對(duì)抗 Google, 除了資助 Hadoop 開發(fā)團(tuán)隊(duì)外，還在開發(fā)基于 Hadoop 的開源項(xiàng)目 Pig, 這是一個(gè)專注于海量數(shù)據(jù)集分析的分布式計(jì)算程序。Amazon 公司基于 Hadoop 推出了 Amazon S3 ( Amazon Simple Storage Service )，提供可靠，快速，可擴(kuò)展的網(wǎng)絡(luò)存儲(chǔ)服務(wù)，以及一個(gè)商用的云計(jì)算平臺(tái) Amazon EC2 ( Amazon Elastic Compute Cloud )。在 IBM 公司的云計(jì)算項(xiàng)目--"藍(lán)云計(jì)劃"中，Hadoop 也是其中重要的基礎(chǔ)軟件。Google 正在跟IBM合作，共同推廣基于 Hadoop云計(jì)算。
 

【編輯推薦】

1. 學(xué)習(xí)筆記 Hadoop集群如何搭建
2. Hadoop0.20.2集群配置入門指導(dǎo)手冊(cè)
3. Hadoop文件系統(tǒng)如何快速安裝？
4. Hadoop集群搭建過程中相關(guān)環(huán)境配置詳解
5. Hadoop完全分布模式安裝實(shí)現(xiàn)詳解