今天我犯了一個(gè)BUG。在我讀寫(xiě)文件的時(shí)候，Hadoop拋異常說(shuō)文件系統(tǒng)已經(jīng)關(guān)閉。

2013-05-20 17:39:00,153 ERROR com.sunchangming.searchlog.CopyAppLogs: err on 2013051918_api_access_65.gz 
java.io.IOException: Filesystem closed 
at org.apache.hadoop.hdfs.DFSClient.checkOpen(DFSClient.java:319) 
at org.apache.hadoop.hdfs.DFSClient.getFileInfo(DFSClient.java:1026) 
at org.apache.hadoop.hdfs.DistributedFileSystem.getFileStatus(DistributedFileSystem.java:524) 
at org.apache.hadoop.fs.FileSystem.exists(FileSystem.java:768) 
at com.sunchangming.searchlog.CopyAppLogs.copyFile(CopyAppLogs.java:51) 
at com.sunchangming.searchlog.CopyAppLogs.access$000(CopyAppLogs.java:18) 
at com.sunchangming.searchlog.CopyAppLogs$1.run(CopyAppLogs.java:194) 
at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:471) 
at java.util.concurrent.FutureTask$Sync.innerRun(FutureTask.java:334) 
at java.util.concurrent.FutureTask.run(FutureTask.java:166) 
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145) 
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615) 
at java.lang.Thread.run(Thread.java:722)

然后我就查，為什么呢。我剛剛用final FileSystem dfs = FileSystem.get(getConf()); 得到它啊。

后來(lái)發(fā)現(xiàn)，我是一個(gè)多線程的程序。FileSystem.get(getConf())返回的可能是一個(gè)cache中的結(jié)果，它并不是每次都創(chuàng)建一個(gè)新的實(shí)例。這就意味著，如果每個(gè)線程都自己去get一個(gè)文件系統(tǒng)，然后使用，然后關(guān)閉，就會(huì)有問(wèn)題。因?yàn)槟銈冴P(guān)閉的可能是同一個(gè)對(duì)象。而別人還在用它！

所以***是在main函數(shù)中就創(chuàng)建好filesystem對(duì)象然后在不同函數(shù)之間來(lái)回傳遞吧。在main函數(shù)用用try…finally關(guān)閉它。

多線程程序中，如果你確保在你的get和close之間不會(huì)有別人調(diào)用get，也沒(méi)問(wèn)題。