1.爬虫为什么要学习app脱壳技术？
2.饿了麽APP逆向及爬虫实现详参
3.Python网络爬虫-APP端爬虫
4.通过Frida创建API进行爬取内容——记一次爬取某视频App直播源的虫源虫软过程

爬虫为什么要学习app脱壳技术？

       爬虫，正常来说，码爬码不需要，虫源虫软不涉及，码爬码app脱壳技术。虫源虫软

       估计你是码爬码android 广告sdk源码说，安卓app方面的虫源虫软爬虫，在抓包期间，码爬码可能遇到，虫源虫软app加壳了，码爬码要破解后，虫源虫软才能反编译，码爬码破解，虫源虫软搞懂内部实现逻辑。码爬码才能继续抓包和分析。虫源虫软所以：要学习app脱壳技术。

       此处不给帖地址，请自己用（google）搜：

       安卓应用的安全和破解

       即可找到我的教程：

       供参考。

饿了麽APP逆向及爬虫实现详参

       一、引言

       本文将着重剖析饿了么APP的逆向过程，以及遇到问题的解决方案，让我们一起了解其运行机制。

       二、逆向基础

       逆向分析旨在揭示APP内部逻辑，便于修改或模拟操作。所需工具和技术包括但不限于抓包工具和逆向工程工具。关于抓包的详细步骤，可以参考我的前一篇文章。

       三、实战需求

       目标是通过还原饿了么接口获取附近的商家信息，但因需要登录，首先需要逆向登录过程。

       四、抓包与登录接口

       使用PacketCapture，狙击指标源码图解选择饿了么APP，启动后可能会遇到证书验证问题。解决方法可以参考我之前的文章。

       登录过程通过抓包揭示如下：

       五、参数解析

       在抓包中，关键参数如x-eleme-requestid、x-deviceinfo和deadpool相关参数需要特别关注。x-eleme-requestid是UUID生成的，x-deviceinfo需解密为设备基本信息，deadpool参数则可能包含构造header的线索。

       六、参数逆向

       以x-eleme-requestid为例，通过jadx进行逆向，找到生成算法并实现模拟。x-deviceinfo则是base编码，需要解码后构造一致的设备信息。

       七、难题与解决方案

       遇到deadpool参数的复杂hashmap，可能需要在手机中设置HTTP服务，动态计算返回。由于篇幅原因，关于FPX比赛的后续内容将在后续章节讲述。

       八、结论

       最近有不实文章抄袭，作者伪造原创声明。感谢吾爱上的朋友们识破并支持。如有转发或转载，请告知并注明原作者。

Python网络爬虫-APP端爬虫

       一、环境安装

       1.1 模拟器安装

       借助模拟器进行APP端调试，通过下载安装可实现。推荐使用夜神模拟器（yeshen.com/）或网易MuMu模拟器（mumu..com/）。

       1.2 SDK安装

       提供多种下载渠道，人脸识别源码公式首选官网下载（developer.android.com/s...）或第三方下载平台（androiddevtools.cn/）。使用SDK Manager.exe安装工具，选择需要的工具，如Build-tools和特定Android版本，同时勾选Extras中的选项，最后点击Install安装。注意，安装过程可能持续数小时。配置环境变量，设置ANDROID_HOME为sdk安装目录，并将平台工具和工具路径添加到Path环境变量中。

       1.3 Fiddler安装

       直接从官网下载安装（telerik.com/download/fi...）以获取 的请求是可以被正常解码的，而这条请求也正包含了我们需要的直播源信息。多尝试几次，并分析一下请求的参数，从直觉上来看，最重要的就是cKey这个值。

       再使用ApiPost，反复测试大概猜出了defn、cnlid、livepid等几个参数代表的意义，也得知了platform、sdtfrom、appVer、encryptVer、cmd、cnlid、cKey等几个值为必填，所幸的是必填项里，也只有cKey是动态的，所以接下来我们就要看看怎么获取这个cKey值。

       使用Frida Hook获取cKey。如果是持仓趋势指标源码在网页端，那直接用开发者工具进行断点调试就可以了。但是如果是App端该如何呢？不论如何从逻辑上来讲，总归的思路是需要反编译App。查了些资料，反编译Android App比iOS App要方便些，所以便从Android入手。使用jadx反编译App，映入眼帘的都是a、b、c、d、e、f、g啥的。虽然不懂，但很明显已经是被混淆过的，可能这个已经是App的标配了吧，还好jadx有反混淆功能。反混淆之后，至少一切稍微可读性高了些。找到cKey相关的方法，既然请求的关键字是cKey，那么代码中总归是有和cKey相关的字眼吧？尝试全局搜索一下。能找到很多，甚至可以找到名为 com.tencent.qqlive.tvkplayer.vinfo.ckey 的包，但说实话到目前为止还没什么思路。再尝试搜索下抓包到的域名“liveinfo.ysp.cctv.cn”，这次相对目标就明确了一些，进去看一看。虽然不太懂Java，但看包名（com.tencent.qqlive.tvkplayer.tools.config）以及这段的大概意思应该是建立了一个索引，其他地方只要引用“zb_cgi_host”便代表着要对这条url搞点什么事。再继续搜索“zb_cgi_host”，redis源码哈希表这就有意思了，确实搜索到了有地方在使用“zb_cgi_host”，看大概得意思就是判断是使用主地址还是备用地址，随手向下一翻，就看到了一个HashMap，简单理解这个就是Python里的字典，类似于键值对。下面建立了一个cKey的键值对，跟着这个赋值，我们进去 Ce.ma() 看看。这里的代码没有进行混淆，意思也很明显了，我们跟进去再看看。来到 com.tencent.qqlive.tvkplayer.vinfo.ckey.CKeyFacade 这个类下面。这大段的代码，对于毫无经验的我来说，看着确实有些吃力，但其实可以借助chatGPT的力量来进行分析，直接让GPT告诉你答案就行。所以跟着GPT的指引，我们去看一下GenCKey函数。这里说明了这是一个原生方法，简单理解就是这个方法是包含在App引用的so库中，也确实在资源文件里找到了libckeygenerator.so文件，用IDA反编译后，确实也能找到一个GenCKey的方法。那么是否可以调用libckeygenerator.so文件里的GenCKey方法呢？从理论上来说应该是可以的，但这里面会涉及到处理器架构不同、so依赖等问题。我也尝试过在树莓派上调用、在手机里调用以及用 AndroidNativeEmu库来调用，均遇到了不同的问题……奈何水平及知识储备不足，只能放弃这个方法。使用Frida Hook getCKey方法，后续又在查资料的时候，了解到了Frida这个神器，它可以hook App在运行中使用的方法，并进行修改。那么我们是否可以用它做点什么呢？答案当然是肯定的，Frida功能很强大，作为初学者我也只能针对这个案例去逐步了解Frida。Frida的原理很简单，其实就是会在手机上运行一个server，然后可以在电脑上使用frida与之进行沟通。沟通的方式有两种，一种就是直接命令行用命令把JavaScript脚本发送到手机上，另外一种方式就是用Python脚本将JavaScript脚本发送到手机上。（目前我只了解这两种方式）。所以我们分别需要“服务端”与“客户端”。服务端在Frida的Github页面上直接下载对应的frida-server就行。在下载之前，可以使用adb命令查一下手机的cpu架构。将下载的文件解压出来，得到可执行文件，并复制到手机里运行。为了方便，我将下载的可执行文件重命名为frida-server。如果没有报错那么frida server就已经启动了。客户端可以使用Python的pip工具来安装，安装 frida 和 frida-tools。如果服务端和客户端都准备完毕了，那么就可以用一个简单的命令来使用frida。其中 frida-ps 是frida的工具之一， -U 指的是使用USB连接的设备。通过该命令，就可以看到手机中当前正在运行的进程。一切都准备好了，我们结合前面反编译的结果，来准备一个hook脚本。根据之前的分析结果，我们猜测cKey是由 com.tencent.qqlive.tvkplayer.vinfo.ckey.CKeyFacade 类下面的 getCKey 方法生成的，这个方法接受9个参数，并返回1个字符串，这个返回的字符串很可能就是我们需要的cKey。那么这9个参数分别是什么呢？有两种方式，一种方式使通过jadx一点点去分析，另外一种方式就是通过Frida Hook getCKey方法，来直接看下这9个参数都是什么。根据以上，我们准备一个脚本，并命名为test.js。脚本中 getCkey 中的 overload() 里的参数如果不知道怎么填，可以先不填。然后Frida会报错，报错信息中会包括几种可能的参数，选择对应的复制进去即可。然后我们可以将脚本注入程序中，试一下。其中“某视频”为进程名，可以通过 frida-ps -U 来查看进程（不知道为什么有的时候进程是包名，有的时候是中文的App名……）。如果没什么报错，那就说明Frida已经注入成功了，接着在手机上刷新下页面，或者切换直播流试试。紧接着，我们就可以看到控制台中有log输出了，得到了我们想要的东西，并且这输出的内容很可能就是我们需要的cKey。同时我们也可以多试几次以及根据反编译的结果分别得出这输入的9个参数分别是什么。

       到此为止，我们已经通过Frida Hook了getCKey方法，获得了其输入以及输出。其实jadx可以直接生成frida脚本，找到最开始找到的那个名为 ma() 的那个方法，鼠标右键，复制为frida片段。要注意的是，ma() 这个是jadx反混淆后的方法名，实际上App运行的时候这个方法名为 a() ，jadx在注释中也会注明原方法名，并且在自动生成的 frida片段 中也都进行了替换。但实际上运行这个脚本会发现，没有什么输出。其实是因为这个方法的输出是一个hashMap，我们需要把代码片段再加工一下，使控制台可以输出hashMap里的内容。如此，我们便可以获得所有的请求参数，然后进行分析了。那么，是否能获取到服务器响应的内容呢？回到jadx，来继续碰碰运气。试想一下，从逻辑上讲，直播源的请求与解析应该属于同一个模块，我们现在找到了请求的代码，那么解析的代码应该就在请求的代码附近。还是 com.tencent.qqlive.tvkplayer.vinfo.pc.Cd 这个类，我们找到这个类的文件位置。然后在同文件夹下翻一翻，很幸运地，我们翻到了 Ce 这个类，在这个类里，我们又看到了类似于json解析的日志输出。那么，我们有理由相信 com.tencent.qqlive.tvkplayer.vinfo.pc.Ce.ma 方法的作用就是解析响应json字符串的。根据以上的内容，我们替换成反混淆前的方法名，整理成脚本变为：到此为止，我们已经通过使用Frida Hook了请求和响应，现在我们就可以很方便地进行分析了。通过同样的方法，我们也可以获得请求直播源地址时所有参数的含义了。

       上面的所有案例中，Frida都是通过被动调用的方式来执行的，那么它可以主动调用对应的方法吗？这样就可以直接使用Frida创建一个api来获取cKey，然后使用Python来进行更多操作。Frida官方也提供了这样一个案例：简单说，就是通过frida提供的 rpc.exports ，来导出方法，以方便python可以随时调用。Python脚本远程调用Frida在实际应用的环境中，手机一直用USB连着电脑似乎也不太靠谱，而Frida也提供了远程调用的方式。让frida-server监听0.0.0.0那么之前注入脚本的命令也变成了在python中调用的方式，也变成了甚至也可以在虚拟机或者树莓派等设备中安装安卓系统作为专门的api服务器非实体Android系统若在树莓派中的Android系统，主要有两种选择。其他方案也可以参考大佬分享的安卓容器化部署方案：不管使用哪种方式，都需要自动启动应用以及frida，可以使用 Script Manager 来实现。

       最后可以将上述所有的整理成脚本即可根据自己的需求去获取各个直播流的地址了。WaterRequests.py config.py getCkey.js m3u8.j2 main.py

       最早在测试的时候，发现每个直播流的地址有效期大概是4小时左右，但后面开始批量获取直播流地址的时候每个直播流地址的有效期时间变得很短，大概十几分钟就失效了，猜测有可能和请求参数里的guid短时间内发送大量请求有关，但这些现在已经不重要了，更重要的是通过这次实践了解到的App爬虫思路。在我以往的应用中，一般只是爬取网页端的内容，所以下意识会认为如果要爬取App里的内容，需要分析大量的网络请求，甚至要破解各种加密算法。但通过这次实践，了解到了Frida神器，便完全可以换一种思路来爬取App中的内容，让App自己来成为核心算法的API服务器，借助这些api再去爬取App的内容，这样便可以省去很大一部分精力。另外，众所周知，某视频App本质上是由鹅厂的团队来开发的，所以在反编译过程中看到了大量的鹅厂使用的算法和框架。之所以Charles抓包的时候请求和响应都是乱码，也是因为其使用是jce协议，也就是使用的腾讯tars框架。在 com.tencent.videolite.android.datamodel.cctvjce 能看到大量的请求和响应的结构体，所有的请求数据都会经过这些结构体进行序列化成二进制流与服务器沟通，响应数据也同样经过结构体的反序列化后呈现在App中。