shell-mysql

　　(1)腳本背景:

　　由于要在Linux上，遠(yuǎn)程讀取mysql的表的數(shù)據(jù)，然后做一定清洗后，把數(shù)據(jù)上傳至Hadoop集群中，使用Java寫(xiě)吧，感覺(jué)太麻煩了，得在Win上開(kāi)發(fā)好，還得打成jar包， 上傳到Linux上，如果那里出了問(wèn)題，還得重復(fù)這樣，非常不方便，那就用shell寫(xiě)一個(gè)吧，也不需要什么jdbc驅(qū)動(dòng)包，只需要在Linux上裝個(gè)MySQL的 客戶端即可，用一行yum命令即可搞定，所以就花了點(diǎn)時(shí)間，封裝了一個(gè)小腳本

　　(2)功能介紹:

　　直接在Linux下使用shell腳本遠(yuǎn)程分頁(yè)讀取MySQL表的數(shù)據(jù)的一個(gè)小腳本，已測(cè)過(guò)讀取600萬(wàn)+的數(shù)據(jù) 效率與jdbc相差無(wú)幾

　　(3)腳本介紹:

　　主要有三個(gè)腳本構(gòu)成

　　1，page.sh 這是一主腳本，里面定義了分頁(yè)的條件，大家看下便知

　　2，f.sh 一個(gè)小包裝的腳本吧，里面會(huì)用sed去掉表頭一些信息

　　3，port.sh 分頁(yè)讀取數(shù)據(jù)的執(zhí)行腳本

　　(4)如何使用?

　　使用非常簡(jiǎn)單，需要改下page.sh里面的查詢字段，以及分頁(yè)查詢的數(shù)量，默認(rèn)是10000，然后執(zhí)行sh page.sh databaseName tableName傳入數(shù)據(jù)庫(kù)名和表名即可

　　Github項(xiàng)目地址

#***個(gè)參數(shù)表名 
#第二個(gè)參數(shù)是start 
#第三個(gè)參數(shù)是offset 
#分頁(yè)讀取數(shù)據(jù)后，刪除***行表頭，并寫(xiě)入一個(gè)文件中，文件名與表名一樣 
sh port.sh $1 $2 $3  | sed '1d' >> tables/$1 
 
#刪除無(wú)用的html字符 
#sed -i 's/<[^>]*>//g;/^$/d'  tables/$1    
#刪除無(wú)用的一些特殊符號(hào) 
#sed -i 's/[a-zA-Z\.():;><-]//g' tables/$1  

#登陸mysql，負(fù)責(zé)查詢某個(gè)表數(shù)據(jù)總量 
MYSQL=`which mysql` 
count=`$MYSQL -hmysqlhost --default-character-set=utf8   -P3306 -uname -ppwd  <<EOF   
use $1; 
select    count(1)  from $2  ; 
EOF`  
 
#得到某一個(gè)表的總數(shù)量 
count=`echo "$count" | sed '1d' ` 
#定義一個(gè)每頁(yè)讀取的***數(shù)量 
pageSize=10000 
#計(jì)算總共的分頁(yè)數(shù) 
totalPage=0; 
#判斷總數(shù)量，求模是否等于0，等于0，就是相除多少頁(yè) 
temp=` echo "$count%$pageSize" | bc ` 
if [ 0 -eq $temp ] ;then 
totalPage=`echo  "$count/$pageSize" | bc` 
else 
#否則，就是相除后+1，作為總的分頁(yè)數(shù) 
totalPage=`echo  "$count/$pageSize+1" | bc` 
fi 
 
echo "總數(shù)量：$count 每頁(yè)讀取數(shù)量：$pageSize  分頁(yè)數(shù)量：$totalPage" 
 
#把總頁(yè)數(shù)減一，方便分頁(yè)處理，因?yàn)楹竺嬖鄣南聵?biāo)從0開(kāi)始 
totalPage=`echo "$totalPage-1" | bc ` 
#echo "處理后：$totalPage" 
 
#for循環(huán)遍歷總頁(yè)數(shù) 
for page in `seq 0 $totalPage` 
do 
#計(jì)算每頁(yè)的偏移量 
offset=`echo "$page*$pageSize" | bc ` 
echo "當(dāng)前處理到第$page頁(yè),分頁(yè)信息： limit $offset $pageSize  " 
###***個(gè)參數(shù)表名 
###第二個(gè)參數(shù)偏移量 
###第三個(gè)參數(shù)每頁(yè)讀取數(shù)據(jù) 
#調(diào)用f.sh獲取數(shù)據(jù) 
sh f.sh $1 $offset $pageSize  
done 
 
 
 
#sed -i 's/<[^>]*>//g;/^$/d'  tables/$1 
 
#sed -i 's/[a-zA-Z\.():;><-]//g' tables/$1 

#連接mysql 
#        -h主機(jī)地址                                                             -u用戶名 -p密碼 
 
#下面的語(yǔ)句，是登陸到數(shù)據(jù)庫(kù)后，使用某個(gè)數(shù)據(jù)庫(kù)，然后根據(jù)條件查詢表 
MYSQL=`which mysql` 
 
 $MYSQL -hmysqlhost --default-character-set=utf8   -P3306 -uname -ppwd  <<EOF   
 
 
use db_conform; 
 
 
select    concat_ws('#',ifNull(id,''),ifNULL(title,''),ifNULL(replace(replace(replace(content ,'\n','' ), '\r' , '' ),'#','' ) ,''),ifNULL(doc_no,'')) from $1 limit $2 , $3   ; 
 
 
 
 
EOF 
 
 
 
#echo $query