MongoDB 查詢超時(shí)異常的原因及解決辦法
在對(duì)超過(guò)百萬(wàn)條記錄的集合進(jìn)行聚合操作。
- DBObject match=(DBObject)JSON.parse("{$match:{logType:{'$in':[5,9]}}}");
- DBObject group=(DBObject)JSON.parse("{$group:{'_id':'$domainUrl','count':{'$sum':1}}}");
- AggregationOutput output = logCollection.aggregate(match,group);
偶爾會(huì)發(fā)生Read timed out 異常。
- com.mongodb.MongoException$Network: Read operation to server /192.168.10.202:27017 failed on database adLogTable
- at com.mongodb.DBTCPConnector.innerCall(DBTCPConnector.java:253)
- at com.mongodb.DB.command(DB.java:261)
- at com.mongodb.DB.command(DB.java:243) ...
- Caused by: java.net.SocketTimeoutException: Read timed out
- at java.net.SocketInputStream.socketRead0(Native Method)
- at java.net.SocketInputStream.read(SocketInputStream.java:152)
通過(guò)多次測(cè)試，發(fā)現(xiàn)執(zhí)行一次聚合平均時(shí)間為5s，超過(guò)5s時(shí)就會(huì)報(bào)錯(cuò)！
然后查看MongoDB的配置信息：
- socket-timeout="5000" //5s
socket-timeout的默認(rèn)配置為0，也就是沒(méi)有限制。
沒(méi)有超時(shí)限制，系統(tǒng)出了問(wèn)題也不容易發(fā)現(xiàn)，應(yīng)該根據(jù)實(shí)際情況，給出合理的超時(shí)時(shí)間。
通過(guò)多次測(cè)試發(fā)現(xiàn)最長(zhǎng)執(zhí)行時(shí)間為6秒，就把超時(shí)時(shí)間設(shè)置成了10000。
- socket-timeout="10000" //10s
注意：MongoDB在與Spring整合時(shí)，如果要配置多個(gè)MongDB源，只會(huì)啟用***一個(gè)<mongo:options>配置。
應(yīng)該把參數(shù)配置信息存儲(chǔ)在properties文件中。
- <mongo:mongo host="${mongodb.ip}" id="mongo202" port="${mongodb.port}">
- <mongo:options connections-per-host="200"
- threads-allowed-to-block-for-connection-multiplier="100"
- connect-timeout="1000"
- max-wait-time="1000"
- auto-connect-retry="true"
- socket-keep-alive="true"
- socket-timeout="10000"
- slave-ok="true"
- write-number="1"
- write-timeout="0"
- write-fsync="true" />
- </mongo:mongo>
通過(guò)Java API獲取配置參數(shù)
- DBCollection logCollection = mongoTemplate.getCollection(collName);
- MongoOptions mongoOptions = logCollection.getDB().getMongo().getMongoOptions();
- System.out.println(mongoOptions.getSocketTimeout());
***一點(diǎn)： ConnectionTimeOut和SocketTimeOut的區(qū)別：
一次完整的請(qǐng)求包括三個(gè)階段：
- 建立連接
- 數(shù)據(jù)傳輸
- 斷開(kāi)連接
如果與服務(wù)器(這里指數(shù)據(jù)庫(kù))請(qǐng)求建立連接的時(shí)間超過(guò)ConnectionTimeOut，就會(huì)拋 ConnectionTimeOutException，即服務(wù)器連接超時(shí)，沒(méi)有在規(guī)定的時(shí)間內(nèi)建立連接。
如果與服務(wù)器連接成功，就開(kāi)始數(shù)據(jù)傳輸了。
如果服務(wù)器處理數(shù)據(jù)用時(shí)過(guò)長(zhǎng)，超過(guò)了SocketTimeOut，就會(huì)拋出SocketTimeOutExceptin，即服務(wù)器響應(yīng)超時(shí)，服務(wù)器沒(méi)有在規(guī)定的時(shí)間內(nèi)返回給客戶端數(shù)據(jù)。
