數(shù)據(jù)搬磚，我竟然沒動手！
本文轉(zhuǎn)載自微信公眾號「Python技術(shù)」，作者派森醬。轉(zhuǎn)載本文請聯(lián)系Python技術(shù)公眾號。
自從我們的 Python技術(shù) 作為遷移后，大家留言互動好不熱鬧，感謝大家一如既往地支持，我將再接再厲，為大家提供更多更有用的文章。
今天我來分享一個遷移過程的幕后小故事，有料，有趣，來聽聽吧。
并不絲滑
遷移公眾號，是一個騰訊提供的業(yè)務，就是將原公號主體切換到另一個公號上，然后收回原公號。
其中大部分是騰訊來完成的，但還有些工作，需要自己處理，比如遷移公號的 關(guān)鍵字消息回復。
雖然事情不大，但很重要，做不好，讀者就會找不見源碼，影響大家學習效率。
但單操作起來還是比較費勁的，因為需要同時登錄兩個公眾號，打開兩個頁面，來回切換著操作，很不方便，而且容易搞錯。
怎么辦，求神拜佛肯定是沒有用的，不過有位大神還真得去拜拜 —— Python!
提取數(shù)據(jù)
既然網(wǎng)頁上能看到，那么就一定能用爬蟲獲取到。
咱們故伎重演，瀏覽器中按下 F12，進入魔法世界。
你知道百度的校招啟事就藏在這里嗎?
別說是我告訴你的
第一步，先清空請求記錄，刷新頁面，然后從第一條請求記錄開始分析。
實際上就是看看請求的返回值，是否包含了，頁面上列表中的數(shù)據(jù)。
幸運的是第一條就是，不過呢，數(shù)據(jù)不是直接給的，而是返回了一個大 js 腳本，當頁面加載后，運算出的。
分析請求
需要勾上 Perserve Log 否則有用頁面切換可能看不見請求記錄
這個不是困難，將js復制出來，提取其中關(guān)鍵字回復的信息整理一下就可以了。
問題是，每頁只顯示十條，有二十多頁，復雜的成本有點高呀。
得想想辦法，觀察了一下網(wǎng)址，其中有兩個參數(shù)，一個是 count，另一個是 offset，很熟悉呀，不和分頁參數(shù)是一回事兒嗎?
分析請求
改一下試試，將 count 改為 1000，offset 改為 0，意思是從第一行開始，獲取一千條，按下回車 ……
搞定!
仔細檢查，確實返回了所有記錄，因為總共也沒有一千行。
現(xiàn)在可以蠻干了，因為就干一次。
復制出來，用文本編輯器(最好支持列編輯)簡單處理一下，得到一個 json
json
所以方法需要靈活應用，如果能直接通過程序獲取最好，如果不行，手動輔助也是可以的。
分析寫入
接下來，才是重頭戲，如何將這些數(shù)據(jù)寫入。
進入新公眾號的管理后臺，新建一個關(guān)鍵字回復，分析下請求，此時別忘記，打開開發(fā)者工具(瀏覽器上按 F12)。
一般提交類請求都是第一個，看一下果然是，不過肉眼看不清具體數(shù)據(jù)，怎么辦?
還記得前面好多次提到的將請求復制為 curl bash 嗎?對就用它，在請求上右鍵，選擇 Copy as cURL(bash)
copy cURL
放在哪里呢?當然不是放在文本文件里了，除非你是想做一下暫存。
我們直接粘貼到 https://curl.trillworks.com/ 里，可以直接獲得 轉(zhuǎn)化好的 Python 代碼。
然后將 Python 代碼復制到文件中，執(zhí)行看看效果，果然，新增了一條記錄。
數(shù)據(jù)處理
下面分析請求數(shù)據(jù)， 與剛才 json 文件中的做對比，一般名稱很相近，所以容易找出來。
字段相同，可能是來自同一個架構(gòu)設計，不太可能出自不同的團隊開發(fā)，哈哈，我竟然看的這么深!
這樣邊找邊寫，等找完，代碼也就完成了，像這樣：
- data = {
- 'replytype': 'smartreply',
- 'ruleid': '0',
- 'rulename': kw['rule_name'], # 規(guī)則名
- 'allreply': kw['reply_all'], # 全回復
- 'replycnt': kw['reply_cnt'], # 回復數(shù)量
- 'keywordcnt': len(kw['keyword_list']), # 關(guān)鍵字數(shù)量
- 'keyword0': kw['keyword_list'][0]['content'], # 關(guān)鍵字
- 'matchmode0': kw['keyword_list'][0]['match_mode'], # 匹配模式
- 'type0': kw['reply_list'][0]['reply_type'], # 消息類型
- 'fileid0': 'undefined',
- 'content0': kw['reply_list'][0]['content'], # 回復內(nèi)容
- 'token': '105xxxx502',
- 'lang': 'zh_CN',
- 'f': 'json',
- 'ajax': '1'
- }
- kw 就是從 json 中讀取到的每一行回復數(shù)據(jù)
- token 是登錄憑證，如果不傳或錯誤，會創(chuàng)建失敗，說明騰訊還是做了很多防護的
集成
現(xiàn)在將各部分的代碼組合起來。
首先是解析 json 的代碼：
- with open("keyword.js", 'r', encoding='utf-8') as word:
- d = json.load(word)
超級簡單，利用 json 庫將 keyword.js 文件中的內(nèi)容轉(zhuǎn)化為 Python List 對象
然后是數(shù)據(jù)組合，代碼已經(jīng)在上面展示了。
最后發(fā)送請求：
- add(data)
- print('處理完成，休息2秒...')
- time.sleep(2)
- add 方法是將 Python 請求代碼做了下封裝，便于調(diào)用，其中將動態(tài)的部分用，通過參數(shù) data 替換
- time.sleep(2) 是一種友好，休息 2 秒鐘，以免驚醒反爬神獸(友情提醒：驚醒反爬機制一點都不好玩)
好了，這樣搞定了，寫代碼用了一個多小時，跑完不到兩分鐘。
收尾
美中不足的是，代碼只照顧了大多數(shù)的一條消息的回復(代碼中直接獲取的數(shù)組中第一個元素， 如 kw['reply_list'][0])，還有幾條回復是多條消息，照顧不上。
如果要照顧，可能的話 80% 以上的時間，以兼容 20% 不到的情況，不劃算。
怎么辦?涼拌!—— 直接手動添加。
哈哈，我很樂意做這一點手工活兒。
總結(jié)
類似這樣的方式，用在其他的地方，完全是可以的，比如之前的約馬程序，訓練營運營數(shù)據(jù)提取 等等，都是一樣的套路：
- 分析瀏覽器的請求，推薦使用 Chrome 瀏覽器
- 將請求復制為 cURL bash 命令
- 粘貼到 CURL to Python 中提取 Python 代碼
- 修改 Python 代碼，以動態(tài)處理數(shù)據(jù)
就這么簡單，Get 到了嗎?
那，趕緊找個地方試試吧。
每天進步一點點，生活更美好，比心!
