1.如何使用Fiddler调试线上JS代码
2.抖音抖音小视频采集，码分你爱的码分**姐信息都在这里！
3.爬虫工具--fiddler
4.爬无止境：用Python爬虫省下去**院的码分钱，下载VIP**，码分我刑啦
5.如何利用fiddler连接手机抓包APP
6.使用Fiddler和逍遥模拟器对手机app抓包

如何使用Fiddler调试线上JS代码

       ä»Šå¤©åˆ†äº«ä¸€ä¸‹å¦‚何用Fiddler来修改并调试线上的JS代码.

       ä»¥åšå®¢å›­é¦–页为例子,码分用我本地的一个js文件来替换它的一个js.

       æŸ¥çœ‹é¦–页源码发现一个js,就拿它开刷了.

       1、打开fiddler,捕获博客园的首页请求. 找到“aggsite.js”的请求.

       2、这里有个技巧,可以通过 “select”命令来筛选js请求. 在下面的命令框输入“select script”回车即可. 如下图.

       3、接着把这个请求拖动到“AutoResponder”面板.

       æ‹–动之前记得先勾上 “Enable automatic responses”和 “Permit passthrough for unmatched requests”.

       4、然后在Rule Editor的第二下拉框选择 “Find a file”来选择本地的JS文件, 选择后点 Save.

       è¿™é‡Œæˆ‘用本地的“test fiddler.js”来替换博客园首页的“aggsite.js”.

       /share/video/...（视频id号）。

       在查看分享的码分obv与股价背离指标源码视频页面时，我们可以利用右键查看视频的码分源代码。

       通过源代码，码分可以详细获取到视频作者和视频的码分详细信息等，比如：

       上述信息均可以从分享的码分视频链接源代码里提取出来。

       执行程序后，码分我们能清楚地看到视频名称和作者的码分详细信息。

       有趣的码分是，原本对其他人不透明的码分视频播放数据，在前端代码中也有所展示，码分包括作者信息、视频详情、视频封面、视频链接、视频宽度、视频高度、视频ID、作者头像、PageUrl等一个视频的完整信息。

       下图展示了我采集到的部分视频数据。

       通过分析分享视频的URL构造，我们可以发现它非常简单，大阳线放量源码由douyin.com、share、video和视频ID（如）四个部分组成。前三部分是固定的，唯一变化的是视频ID。按照正常的爬虫逻辑，我们只需用脚本不断递增该ID，即可遍历所有视频。

       在实际操作过程中，抖音对视频ID进行了加密处理，简单递增视频ID构造的URL访问显然是不可行的。

       但通过Fiddler抓包获取的抖音数据，字段值和命名方式能揭示出许多细节。

爬虫工具--fiddler

       一、抓包工具

       1.1 浏览器自带抓包功能，通过右键审查元素，点击network，点击请求，右边栏展示请求详细信息：request、headers、response。以搜狗浏览器为例，任意点击加载选项，查看get参数。

       1.2 Fiddler，一个HTTP协议调试代理工具。协议系统源码它能记录并检查电脑和互联网之间的所有HTTP通信，收集所有传输的数据，如cookie、html、js、css文件，作为中介连接电脑与网络。

       二、Fiddler的使用

       2.1 下载并安装Fiddler，访问官网下载页面，填写信息后下载安装包，按照常规步骤进行安装。

       2.2 配置Fiddler，打开工具选项，选择HTTPS捕获、解密HTTPS流量等功能，完成配置后重启Fiddler。

       三、Fiddler的使用

       3.1 在Fiddler中查看JSON、CSS、JS格式的数据。停止抓取：文件菜单中选择捕获，取消勾选。点击请求，右边选择inspectors。

       3.2 HTTP请求信息：Raw显示请求头部详细信息，nuxt 源码讲解Webforms显示参数，如query_string、formdata。

       3.3 HTTP响应信息：首先点击**条解码，Raw显示响应所有信息，Headers显示响应头，Json显示接口返回内容。

       3.4 左下黑色框输入指令，用于过滤特定请求，如清除所有请求、选择特定格式请求等。

       四、Urllib库初识

       4.1 Urllib库用于模拟浏览器发送请求，是Python内置库。

       4.2 字符串与字节之间的转化：字符串转字节使用Encode（），字节转字符串使用Decode（），默认编码为utf-8。

       4.3 urllib.request属性：urlopen（url）返回响应对象位置，urlretrieve（url, filename）下载文件。

       4.4 urllib.parse构建url：quote编码中文为%xxxx形式，unquote解码%xxxx为中文，urlencode将字典拼接为query_string并编码。

       五、响应处理

       5.1 read（）读取响应内容，返回字节类型源码，geturl（）获取请求的美国前端源码url，getheaders（）获取头部信息列表，getcode（）获取状态码，readlines（）按行读取返回列表。

       六、GET方式请求

       6.1 无错误代码，但打开Fiddler时可能会报错，因为Fiddler表明Python访问被拒绝，需要添加头部信息，如伪装User-Agent为浏览器。

       七、构建请求头部

       7.1 认识请求头部信息，如Accept-encoding、User-agent。了解不同浏览器的User-agent信息，伪装自己的User-agent以通过反爬机制。

       8.1 构建请求对象，使用urllib.request.Request(url=url, headers=headers)。完成以上步骤，实现基于Fiddler和Urllib库的网络数据抓取与请求操作。

爬无止境：用Python爬虫省下去**院的钱，下载VIP**，我刑啦

       实现对各大视频网站vip**的下载，因为第三方解析网站并没有提供下载的渠道，因此想要实现**的下载。

       首先，通过使用Fiddler抓包，我找到了一个随机**链接的post请求。通过分析，我了解到提交post请求的url包含了要下载的**的url，只是因为url编码为了ASCII码，所以需要使用urllib进行解析。vkey是动态变化的，隐藏在post请求前的get请求返回页面中。服务器返回的信息中，前几天是**的下载链接，现在变成了一个m3u8文件。在m3u8文件中，我发现了一个k/hls/index.m3u8的链接，通过将该链接与原url拼接，可以得到ts文件下载链接。将ts文件下载后拼接即可完成下载。

       获取vkey的步骤涉及对get请求的分析，发现其与post请求中的vkey相同。通过编写代码获取vkey后，就可以完成ts文件的下载。

       在代码实现中，我首先使用urllib编码输入链接，以便在后续的post请求中使用。然后使用会话发送get请求，获取网页源码，并使用正则表达式匹配vkey。需要注意的是，get请求中的verify参数设置为False，以跳过SSL认证，尽管这可能引发警告。

       在获取vkey后，我制作了用于提交post请求的表单，并发送了post请求。结果是m3u8文件，我使用代码下载了该文件。最后，我使用了一个参考的下载**的代码来完成ts文件的下载。

       为了使代码更加美观，我使用了PyQt5将代码包装起来，并添加了一些功能。由于WebEngineView无法播放Flash，因此中间的浏览器功能较为有限，主要是为了美观。我分享了程序界面，希望能激发更多人对爬虫技术的兴趣。

如何利用fiddler连接手机抓包APP

       为了连接手机并使用Fiddler进行抓包操作，请遵循以下步骤。首先，设置笔记本的热点。打开笔记本的WIFI热点，输入命令“netsh wlan set hostednetwork mode=allow ssid=XinLinTongXue key=”来设置网络名称和密码。接着，在“网络共享中心”中更改适配器设置，确保本地连接可以共享Internet连接，并重新打开“命令提示符”以启动热点。设置完成后，网络连接会显示设置好的热点。

       接下来，配置Fiddler。启动Fiddler，并设置其允许抓取移动端的包，并指定端口号。重启Fiddler后，通过命令提示符查询本地连接的IP地址（例如：..1.），然后将此IP地址应用到手机连接的热点设置中。确保手机可以正常连接网络后，输入地址“...:/re...”进行数据篡改等操作。新建学校名称并拦截修改，然后在电脑端查看结果，以确认已成功修改。

       在操作中，可能会遇到连接问题。切换模式后，若仍无法连接网络，尝试关闭手机WiFi，重新连接。若问题仍未解决，重启Fiddler也是一种可行的解决方案。

       为了帮助学习，特别提供了G的学习资料，包括项目实战资源。为了获取这些资源，请关注并私信关键词。同时，了解为什么需要关注的原因：私信回复会确保您能够查看到回复内容。

       为了丰富学习体验，还提供了包含大型电商项目、全套软件测试自动化测试教学视频、G教程资料（视频教程、PPT和项目源码）、全套软件测试自动化测试大厂面经、Python自动化测试及性能测试等内容的学习资料。通过这些资源，您将能够深入了解软件测试领域的知识和实践。

使用Fiddler和逍遥模拟器对手机app抓包

       本文旨在教你如何使用Fiddler和逍遥模拟器对手机应用进行网络抓包，以便获取其内部的网络请求数据。首先，由于手机app与网页不同，不能直接查看源码，因此需要借助工具如Fiddler和模拟器来实现抓包。

       步骤一：从逍遥模拟器官网下载并安装模拟器，推荐同时安装多开器以方便管理。选择位模拟器，因为之后安装的应用为位。启动模拟器后，安装Xposed Installer.apk，并通过install.bat激活Xposed框架，确保电脑已安装adb且模拟器运行中。

       第二步：禁用SSL并安装JustTrustMe.apk，进入Xposed模块管理，启用JustTrustMe以抓取加密数据。在Fiddler中，配置HTTPS选项并记录端口号，便于后续抓包。

       接下来，进入安卓模拟器设置，将网络设置为代理模式，填写电脑的IP地址（通过命令提示符获取）和Fiddler的端口号。完成这些步骤后，Fiddler将开始捕获模拟器的网络请求，你可以借此分析数据，如爬取股票软件开盘信息。

       最后，如果你需要获取文中所提及的所有软件，只需关注并回复公众号量化杂货铺的安卓模拟器获取。通过这种方式，你便掌握了手机app抓包的基本配置方法，期待你利用这些知识进行实际操作。