作者：李曉飛

來源：Python 技術(shù)

今天我來分享一個遷移過程的幕后小故事，有料，有趣，來聽聽吧。

并不絲滑

遷移公眾號，是一個騰訊提供的業(yè)務(wù)，就是將原公號主體切換到另一個公號上，然后收回原公號。

其中大部分是騰訊來完成的，但還有些工作，需要自己處理，比如遷移公號的 關(guān)鍵字消息回復(fù)。

雖然事情不大，但很重要，做不好，讀者就會找不見源碼，影響大家學(xué)習(xí)效率。

但單操作起來還是比較費(fèi)勁的，因為需要同時登錄兩個公眾號，打開兩個頁面，來回切換著操作，很不方便，而且容易搞錯。

怎么辦，求神拜佛肯定是沒有用的，不過有位大神還真得去拜拜 —— Python！

提取數(shù)據(jù)

既然網(wǎng)頁上能看到，那么就一定能用爬蟲獲取到。

咱們故伎重演，瀏覽器中按下 F12，進(jìn)入魔法世界。

你知道百度的校招啟事就藏在這里嗎？

別說是我告訴你的

第一步，先清空請求記錄，刷新頁面，然后從第一條請求記錄開始分析。

實際上就是看看請求的返回值，是否包含了，頁面上列表中的數(shù)據(jù)。

幸運(yùn)的是第一條就是，不過呢，數(shù)據(jù)不是直接給的，而是返回了一個大 js 腳本，當(dāng)頁面加載后，運(yùn)算出的。

分析請求

需要勾上 Perserve Log 否則有用頁面切換可能看不見請求記錄

這個不是困難，將js復(fù)制出來，提取其中關(guān)鍵字回復(fù)的信息整理一下就可以了。

問題是，每頁只顯示十條，有二十多頁，復(fù)雜的成本有點(diǎn)高呀。

得想想辦法，觀察了一下網(wǎng)址，其中有兩個參數(shù)，一個是 count，另一個是 offset，很熟悉呀，不和分頁參數(shù)是一回事兒嗎？

分析請求

改一下試試，將 count 改為 1000，offset 改為 0，意思是從第一行開始，獲取一千條，按下回車 ……

搞定！

仔細(xì)檢查，確實返回了所有記錄，因為總共也沒有一千行。

現(xiàn)在可以蠻干了，因為就干一次。

復(fù)制出來，用文本編輯器（最好支持列編輯）簡單處理一下，得到一個 json

json

所以方法需要靈活應(yīng)用，如果能直接通過程序獲取最好，如果不行，手動輔助也是可以的。

分析寫入

接下來，才是重頭戲，如何將這些數(shù)據(jù)寫入。

進(jìn)入新公眾號的管理后臺，新建一個關(guān)鍵字回復(fù)，分析下請求，此時別忘記，打開開發(fā)者工具（瀏覽器上按 F12）。

一般提交類請求都是第一個，看一下果然是，不過肉眼看不清具體數(shù)據(jù)，怎么辦？

還記得前面好多次提到的將請求復(fù)制為 curl bash 嗎？對就用它，在請求上右鍵，選擇 Copy as cURL(bash)

copy cURL

放在哪里呢？當(dāng)然不是放在文本文件里了，除非你是想做一下暫存。

我們直接粘貼到 https://curl.trillworks.com/ 里，可以直接獲得 轉(zhuǎn)化好的 Python 代碼。

然后將 Python 代碼復(fù)制到文件中，執(zhí)行看看效果，果然，新增了一條記錄。

數(shù)據(jù)處理

下面分析請求數(shù)據(jù)， 與剛才 json 文件中的做對比，一般名稱很相近，所以容易找出來。

字段相同，可能是來自同一個架構(gòu)設(shè)計，不太可能出自不同的團(tuán)隊開發(fā)，哈哈，我竟然看的這么深！

這樣邊找邊寫，等找完，代碼也就完成了，像這樣：

data = {
  'replytype': 'smartreply',
  'ruleid': '0',
  'rulename': kw['rule_name'], # 規(guī)則名
  'allreply': kw['reply_all'], # 全回復(fù)
  'replycnt': kw['reply_cnt'], # 回復(fù)數(shù)量
  'keywordcnt': len(kw['keyword_list']), # 關(guān)鍵字?jǐn)?shù)量
  'keyword0': kw['keyword_list'][0]['content'], # 關(guān)鍵字
  'matchmode0': kw['keyword_list'][0]['match_mode'], # 匹配模式
  'type0': kw['reply_list'][0]['reply_type'], # 消息類型
  'fileid0': 'undefined',
  'content0': kw['reply_list'][0]['content'], # 回復(fù)內(nèi)容
  'token': '105xxxx502',
  'lang': 'zh_CN',
  'f': 'json',
  'ajax': '1'
}

• kw 就是從 json 中讀取到的每一行回復(fù)數(shù)據(jù)
• token 是登錄憑證，如果不傳或錯誤，會創(chuàng)建失敗，說明騰訊還是做了很多防護(hù)的

集成

現(xiàn)在將各部分的代碼組合起來。

首先是解析 json 的代碼：

with open("keyword.js", 'r', encoding='utf-8') as word:
    d = json.load(word)

超級簡單，利用 json 庫將 keyword.js 文件中的內(nèi)容轉(zhuǎn)化為 Python List 對象

然后是數(shù)據(jù)組合，代碼已經(jīng)在上面展示了。

最后發(fā)送請求：

add(data) print('處理完成，休息2秒...') time.sleep(2)

• add 方法是將 Python 請求代碼做了下封裝，便于調(diào)用，其中將動態(tài)的部分用，通過參數(shù) data 替換
• time.sleep(2) 是一種友好，休息 2 秒鐘，以免驚醒反爬神獸（友情提醒：驚醒反爬機(jī)制一點(diǎn)都不好玩）

好了，這樣搞定了，寫代碼用了一個多小時，跑完不到兩分鐘。

收尾

美中不足的是，代碼只照顧了大多數(shù)的一條消息的回復(fù)（代碼中直接獲取的數(shù)組中第一個元素， 如 kw['reply_list'][0]），還有幾條回復(fù)是多條消息，照顧不上。

如果要照顧，可能的話 80% 以上的時間，以兼容 20% 不到的情況，不劃算。

怎么辦？涼拌！—— 直接手動添加。

哈哈，我很樂意做這一點(diǎn)手工活兒。

總結(jié)

類似這樣的方式，用在其他的地方，完全是可以的，比如之前的約馬程序，訓(xùn)練營運(yùn)營數(shù)據(jù)提取 等等，都是一樣的套路：

1. 分析瀏覽器的請求，推薦使用 Chrome 瀏覽器
2. 將請求復(fù)制為 cURL bash 命令
3. 粘貼到 CURL to Python 中提取 Python 代碼
4. 修改 Python 代碼，以動態(tài)處理數(shù)據(jù)

就這么簡單，Get 到了嗎？

那，趕緊找個地方試試吧。

每天進(jìn)步一點(diǎn)點(diǎn)，生活更美好，比心！