Linux漢字亂碼解決辦法(數(shù)據(jù)庫插入、服務(wù)器上傳)
51CTO編輯注：本文來自阿里巴巴數(shù)據(jù)倉庫部門的團(tuán)隊對外宣傳和技術(shù)溝通博客alidw.com。
在Linux下，你有沒有這樣的經(jīng)歷，文本文件里面的漢字顯示都是正常的，可一插到數(shù)據(jù)庫里就變成了亂碼；文件名在本機(jī)顯示都很正常，一傳到服務(wù)器上顯示的都變成亂碼了，最近就差點被這個問題搞死，***還算小有收獲，這里寫一下心得：
1，首先要知道文件自己的編碼方式，就是文件是以utf8還是以gbk等編碼方式存儲的，因為這是根本。以xxx.dat文件為例
用vi命令打開xxx.dat文件
在命令行模式：輸入set fileencoding 這時會在終端的底部顯示文件的編碼方式，顯示的結(jié)果如果是cp936(等同于gbk)或者utf8等，那說明文件的編碼方式已經(jīng)被正確判斷出來了，如果是latin1，我們就可能要設(shè)定VI的fileencodings這個環(huán)境變量的值，打開vimrc這個文件，RHEL的這個文件在/etc目錄下、Ubuntu在/etc/vim目錄下；或者你也可以建一個~/.vimrc文件
然后把里面merge成：set fileencodings=ucs-bom,utf-8,cp936,gb18030,big5,euc-jp,euc-kr,latin1 然后重新vi xxx.dat
PS:我們打開文件的時候， VIM 按順序使用 fileencodings 中的編碼進(jìn)行嘗試解碼， 如果成功的話， 就使用該編碼方式進(jìn)行解碼， 并將 fileencoding 設(shè)置為這個值， 如果失敗的話， 就繼續(xù)試驗下一個編碼。而latin1 是一種非常寬松的編碼方式， 任何一種編碼方式得到的文本， 用 latin1 進(jìn)行解碼， 都不會發(fā)生解碼失敗 —— 當(dāng)然， 解碼得到的結(jié)果自然也就是理所當(dāng)然的“亂碼”
2，下一個比較重要的就是LANG這個環(huán)境變量了(關(guān)于這個變量的含義和作用自己百度，可以搜出一堆)
假如xxx.dat是以utf8編碼，往數(shù)據(jù)庫里插的時候，我們就需要把LANG這個環(huán)境變量設(shè)成LANG=zh_CN.utf8，如果xxx.dat是以cp936、LANG就需要設(shè)成LANG=zh_CN.gbk
這樣在插入的時候，就不需要用程序?qū)ξ募淖址M(jìn)行轉(zhuǎn)換，可以直接插入
PS：用locale -a命令查看可以把LANG設(shè)成哪些值，locale -m 查看系統(tǒng)支持哪些字符集，假如locale -a沒有你所需要的值，比如zh_CN.gbk，那就需要手動安裝，安裝方法也很簡單
a. sudo cp /var/lib/locales/supported.d/local /var/lib/locales/supported.d/local.old【可選，備份】
b. sudo cp /usr/share/i18n/SUPPORTED /var/lib/locales/supported.d/local
編輯/var/lib/locales/supported.d/local去掉大多數(shù)不用的行(locales)
c. sudo dpkg-reconfigure locales
編輯/etc/environment文件，設(shè)置一下要用的LANG
也可以用locale-gen命令設(shè)置默認(rèn)的locale，如sudo locale-gen zh_CN.UTF-8
3，還有一個同事，LANG環(huán)境變量（這里要注意環(huán)境變量生效的范圍）也已經(jīng)改過了，把windows的文件重新傳到了Linux服務(wù)器上，通過網(wǎng)頁瀏覽，文件名仍然是亂碼，這是因為LANG還未在apache服務(wù)器上生效，重啟一下apache服務(wù)就可以了。
原文：http://www.alidw.com/?p=1643
【編輯推薦】
