專為Mac本跟蹤Hadoop任務(wù)的應(yīng)用
先把感謝送給Etsy開發(fā)者Brad Greenlee (@bgreenlee)。他開發(fā)的針對(duì)JobTracer的Mac OS應(yīng)用非常棒!
JobTracker.app是一個(gè)針對(duì)Hadoop JobTracker的Mac菜單欄應(yīng)用。它提供了對(duì)Mapreduce 任務(wù)啟動(dòng)、完成、失敗的通知,可以通過它輕松訪問這些任務(wù)的詳細(xì)頁面。
當(dāng)我在Etsy進(jìn)行Apache Hadoop 的開發(fā)工作時(shí),我發(fā)現(xiàn)為了查看任務(wù)的執(zhí)行進(jìn)度,我不得不不斷的查看Jobtracker頁面,這占據(jù)了非常多的時(shí)間(話說譯者堅(jiān)決同意)。當(dāng)時(shí)我們嘗試著去解決這個(gè)問題,寫了一個(gè)Scalding 工作流監(jiān)聽器,將已經(jīng)完成和失敗的任務(wù)發(fā)布給IRC,但是這個(gè)有點(diǎn)煩。所以我寫了這個(gè)JobTracker.app。
安裝和使用
你可以從GitHub項(xiàng)目頁面下載二進(jìn)制文件。解壓之后將它放到你的應(yīng)用文件夾里。
運(yùn)行時(shí),菜單欄會(huì)多出一個(gè)小帽子的圖標(biāo),如下圖:
點(diǎn)擊它就會(huì)看到下面的菜單。
首先你必須在Preferences里輸入你的JobTracker URL地址:
默認(rèn)情況下,它會(huì)跟蹤所有任務(wù)。很可能你不希望這樣,所以將你的用戶名和其他你想查看的用戶名輸入到”Usernames to track”文本框中,多個(gè)使用英文逗號(hào)隔開即可。
注意應(yīng)用僅在Etsy內(nèi)部使用的Hadoop版本測(cè)試過。這個(gè)APP使用了有點(diǎn)可怕的方式獲取JobTracker數(shù)據(jù)(通過解析JobTracker頁面,因?yàn)楫?dāng)前除了通過Java程序還沒有API去訪問JobTracker),在不同的版本上應(yīng)用可能會(huì)失敗。如果你想使用它但沒有成功,在GitHub上提交一個(gè)issue,我會(huì)為你解決。
未來發(fā)展
待開發(fā)的特性列表中,下步將會(huì)是同時(shí)跟蹤多個(gè)集群。如果你有任何請(qǐng)求,請(qǐng)聯(lián)系應(yīng)用作者。
英文原文: Cloudera,編譯:ImportNew - Royce Wong