作者：Python進階者

來源：Python爬蟲與數(shù)據(jù)挖掘

frida rpc算法轉發(fā)

前言

Hello，大家好，我是碼農(nóng)星期八。

本章來給大家介紹一個爬蟲利器，嗯。。。，app協(xié)議還原利器更合適，當然，自己用的話是利器，別人用是折磨

因為它需要依賴模擬器或手機。對于環(huán)境來說是有些麻煩的！

這個東西我們一般稱它為frida rpc算法轉發(fā)

為什么使用rpc算法轉發(fā)

我們都知道現(xiàn)在開發(fā)app主流的方案是Java，一些中大廠app是Java+C++，C++最后生成的是so，是arm匯編。

一般分析arm匯編才是最難的，所以中大廠會更傾向把重要加密放在so中，來增強爬蟲或者破解的難度?。?！

但是如果使用rpc的話，你就不太需要分析繁瑣的Java層和so層的加密了！

你需要通過frida主動調(diào)用Java層或so層的方法，然后拿到被加密的內(nèi)容，然后其他的操作不是就可以為所欲為了？

環(huán)境

pixel2 v10(已root) Magisk v23.0 Charles v4.6.2 Drony v1.3.154 Python v3.8.6 frida v14.2.18 

rpc轉發(fā)案例

本次使用的app是嘟嘟牛，百年只剛嘟嘟牛，哈哈哈

抓包

通過抓包發(fā)現(xiàn)，走的接口是
http://api.dodovip.com/api/user/login

提交的是一個Encrypt:xxxx，返回的是一串字符串，這？？？啥玩意？？？

所以我們要模擬這個請求，必定要捋清這個請求和響應是怎么生成的！

分析

app拖入jadx中

搜索關鍵字Encrypt

主要加密邏輯在這一塊,

分析不是這一章的重點，相關hook代碼，稍微研究一下就懂了！

Java.perform(function () { function printMap2(map) { return Java.cast(map, Java.use("java.util.HashMap"));
    } // Java.use("com.dodonew.online.http.RequestUtil").encodeDesMap.overload('java.lang.String', 'java.lang.String', 'java.lang.String').implementation = function (data, desKey, desIV) { console.log("RequestUtil encodeDesMap is call") console.log("data:", data) console.log("desKey:", desKey)//65102933 console.log("desIV:", desIV)//32028092 let result = this.encodeDesMap(data, desKey, desIV) console.log("RequestUtil encodeDesMap result:", result) return result
    }


    Java.use("com.dodonew.online.http.RequestUtil").paraMap.overload('java.util.Map', 'java.lang.String', 'java.lang.String').implementation = function (addMap, append, sign) { console.log("RequestUtil paraMap is call") console.log("addMap:", addMap) console.log("addMap:", printMap2(addMap)) console.log("append:", append) console.log("sign:", sign) let result = this.paraMap(addMap, append, sign) console.log("RequestUtil paraMap result:", result) return result
    }

    Java.use("com.dodonew.online.http.RequestUtil").decodeDesJson.implementation = function (json, desKey, desIV) { console.log("RequestUtil decodeDesJson is call") console.log("json:", json) console.log("desKey:", desKey) console.log("desIV:", desIV) let result = this.decodeDesJson(json, desKey, desIV) console.log("RequestUtil decodeDesJson result:", result) return result
    }


})

整理

根據(jù)上述hook，整理出來主動調(diào)用應該是這樣調(diào)用的，一個加密，一個解密。

//請求加密 function callparaMap(username, userPwd, timeStamp) { let result = "";
    Java.perform(function () { let map = Java.use("java.util.HashMap").$new();
        map.put("timeStamp", timeStamp)
        map.put("loginImei", "Androidnull")
        map.put("equtype", "ANDROID")
        map.put("userPwd", userPwd)
        map.put("username", username) // let r1 = Java.use("com.dodonew.online.http.RequestUtil").paraMap(map, "sdlkjsdljf0j2fsjk", "sign") // console.log("r1:", r1) // result = Java.use("com.dodonew.online.http.RequestUtil").encodeDesMap(r1, "65102933", "32028092") // console.log("r2:", r2) }) return result;

} //響應加密 function calldecodedesjson(data) { let result = "";
    Java.perform(function () {
        result = Java.use("com.dodonew.online.http.RequestUtil").decodeDesJson(data, "65102933", "32028092") // console.log("decode:", decode) }) return result;
}

搭建服務

既然上述已經(jīng)把邏輯捋清楚了，并且也已經(jīng)寫好的主動調(diào)用的js代碼。

那么就來了，如何和python結合到一起，跑成一個web，這樣爬蟲只需要響應的參數(shù)拿到返回值即可。

代碼

from fastapi import FastAPI
import uvicorn
import frida

jsCode = """
    function callparamap(username, userPwd, timeStamp) {
        let result = "";
        Java.perform(function () {
            let map = Java.use("java.util.HashMap").$new();
            map.put("timeStamp", timeStamp)
            map.put("loginImei", "Androidnull")
            map.put("equtype", "ANDROID")
            map.put("userPwd", userPwd)
            map.put("username", username)
            //
            let r1 = Java.use("com.dodonew.online.http.RequestUtil").paraMap(map, "sdlkjsdljf0j2fsjk", "sign")
            // console.log("r1:", r1)
            //
            result = Java.use("com.dodonew.online.http.RequestUtil").encodeDesMap(r1, "65102933", "32028092")
            // console.log("r2:", r2)
        })
        return result;
    
    }
    
    function calldecodedesjson(data) {
        let result = "";
        Java.perform(function () {
            result = Java.use("com.dodonew.online.http.RequestUtil").decodeDesJson(data, "65102933", "32028092")
            // console.log("decode:", decode)
        })
        return result;
    }
    rpc.exports = {
        encrypt: callparamap,
        decode: calldecodedesjson,
    };
""" # 準備工作 # process = frida.get_device_manager().add_remote_device('192.168.3.68:27042').attach("com.dodonew.online") process = frida.get_usb_device().attach('com.dodonew.online')
script = process.create_script(jsCode)
print('[*] Running 小肩膀')
script.load()

app = FastAPI() # http://127.0.0.1:8080/getencrypt?username=18903916120&password=1111×tamp=1647662720061 @app.get("/getencrypt")
async def getencrypt(username, password, timestamp):
    result = script.exports.encrypt(username, password, timestamp) return {"data": result}


from pydantic import BaseModel class Item(BaseModel): data: str


@app.post("/getdecode")
async def getdecode(item: Item):
    result = script.exports.decode(item.data) return {"data": result} if __name__ == '__main__':
    uvicorn.run(app, port=8080)

運行

構造請求

代碼

import requests
import time
import json

dt = time.time() * 1000 # 請求加密 url = f"http://127.0.0.1:8080/getencrypt?username=18903916120&password=1111×tamp={dt}" r1 = requests.get(url)
print(r1.json()) # 登錄 url = "http://api.dodovip.com/api/user/login" headers = { "Content-Type": "application/json;charset=utf-8" }
data = { "Encrypt": r1.json().get("data")
}
print(data)
r = requests.post(url=url, headers=headers, data=json.dumps(data))
print(r.text) # 拿到請求解密 data = { "data": r.text
}
url = "http://127.0.0.1:8080/getdecode" r = requests.post(url=url,headers=headers, data=json.dumps(data))
print(r.text)

運行

總結

這個app還是很簡單的，但是應該用到了倆加密，如果要是硬剛代碼的話，還是需要研究研究的。

但是如果使用rpc這種轉發(fā)方案的話，你就可以發(fā)現(xiàn)幾行代碼就完事了！

但是缺陷也是明顯的，需要依賴電腦和手機，如果只是采集數(shù)據(jù)的話，應該還是挺合適的！

如果在操作過程中有任何問題，記得下面留言，我們看到會第一時間解決問題。

越努力,越幸運。

我是碼農(nóng)星期八，如果覺得還不錯，記得動手點贊一下哈。