皮皮网

1.如何用 Flutter 实现混合开发？闲鱼公开源代码实例
2.好玩的闲鱼开源项目推荐
3.爬取闲鱼某关键字实时信息，商品详情信息更多我们共同开发的卖g码闲项目（咸鱼反爬更新，只能作为学习使用）

如何用 Flutter 实现混合开发？闲鱼公开源代码实例

       阿里妹导读：具有一定规模的源鱼卖源码 App 通常有一套成熟通用的基础库，尤其是合法阿里系 App，一般需要依赖很多体系内的闲鱼基础库。那么使用 Flutter 重新从头开发 App 的卖g码闲源码注销掉成本和风险都较高。所以在 Native App 进行渐进式迁移是源鱼卖源码 Flutter 技术在现有 Native App 进行应用的稳健型方式。

       今天我们来看看，合法闲鱼团队如何在这个实践过程中沉淀出一套独具特色的闲鱼混合技术方案。

       现状及思考

       闲鱼目前采用的卖g码闲混合方案是共享同一个引擎的方案。这个方案基于这样一个事实：任何时候我们最多只能看到一个页面，源鱼卖源码当然有些特定的合法场景你可以看到多个 ViewController ，但是闲鱼这些特殊场景我们这里不讨论。

       我们可以这样简单去理解这个方案：我们把共享的卖g码闲 Flutter View 当成一个画布，然后用一个 Native 的源鱼卖源码容器作为逻辑的页面。每次在打开一个容器的时候我们通过通信机制通知 Flutter View 绘制成当前的逻辑页面，然后将 Flutter View 放到当前容器里面。

       这个方案无法支持同时存在多个平级逻辑页面的情况，因为你在页面切换的时候必须从栈顶去操作，无法再保持状态的同时进行平级切换。举个例子：有两个页面A，B，当前B在栈顶。切换到A需要把B从栈顶 Pop 出去，此时B的状态丢失，如果想切回B，我们只能重新打开B之前页面的状态无法维持住。

       如在 pop 的过程当中，可能会把 Flutter 官方的 Dialog 进行误杀。而且基于栈的操作我们依赖对 Flutter 框架的一个属性修改，这让这个方案具有了侵入性的特点。

       新一代混合技术方案 FlutterBoost

       重构计划

       在闲鱼推进 Flutter 化过程当中，太古神王源码更加复杂的页面场景逐渐暴露了老方案的局限性和一些问题。所以我们启动了代号 FlutterBoost（向C++ Boost库致敬）的新混合技术方案。这次新的混合方案我们的主要目标有：

       跟老方案类似，新的方案还是采用共享引擎的模式实现。主要思路是由 Native 容器 Container 通过消息驱动 Flutter 页面容器 Container，从而达到 Native Container与 Flutter Container 的同步目的。我们希望做到 Flutter 渲染的内容是由 Naitve 容器去驱动的。

       简单的理解，我们想做到把 Flutter 容器做成浏览器的感觉。填写一个页面地址，然后由容器去管理页面的绘制。在 Native 侧我们只需要关心如果初始化容器，然后设置容器对应的页面标志即可。

       主要概念

       Native 层概念

       Dart 层概念

       关于页面的理解

       在 Native 和 Flutter 表示页面的对象和概念是不一致的。在 Native，我们对于页面的概念一般是 ViewController，Activity。而对于 Flutter 我们对于页面的概念是 Widget。我们希望可统一页面的概念，或者说弱化抽象掉 Flutter 本身的 Widget 对应的页面概念。换句话说，当一个 Native 的页面容器存在的时候， FlutteBoost 保证一定会有一个 Widget 作为容器的内容。所以我们在理解和进行路由操作的时候都应该以 Native 的容器为准， Flutter Widget 依赖于 Native 页面容器的状态。

       那么在 FlutterBoost 的概念里说到页面的时候，我们指的是 Native 容器和它所附属的 Widget。所有页面路由操作，打开或者关闭页面，实际上都是对 Native 页面容器的直接操作。无论路由请求来自何方，源码架构设计最终都会转发给 Native 去实现路由操作。这也是接入 FlutterBoost 的时候需要实现 Platform 协议的原因。

       另一方面，我们无法控制业务代码通过 Flutter 本身的 Navigator 去 push 新的 Widget。对于业务不通过 FlutterBoost 而直接使用 Navigator 操作 Widget 的情况，包括 Dialog 这种非全屏 Widget，我们建议是业务自己负责管理其状态。这种类型 Widget 不属于 FlutterBoost 所定义的页面概念。

       理解这里的页面概念，对于理解和使用 FlutterBoost 至关重要。

       与老方案主要差别

       前面我们提到老方案在 Dart 层维护单个 Navigator 栈结构用于 Widget 的切换。而新的方案则是在 Dart 侧引入了 Container 的概念，不再用栈的结构去维护现有的页面，而是通过扁平化 key-value 映射的形式去维护当前所有的页面，每个页面拥有一个唯一的 id。这种结构很自然的支持了页面的查找和切换，不再受制于栈顶操作的问题，之前的一些由于 pop 导致的问题迎刃而解。也不需要依赖修改 Flutter 源码的形式去进行页面栈操作，去掉了实现的侵入性。

       实际上我们引入的 Container 就是 Navigator 的，也就是说一个 Native 的容器对应了一个 Navigator。那这是如何做到的呢？

       多 Navigator 的实现

       Flutter 在底层提供了让你自定义 Navigator 的接口，我们自己实现了一个管理多个 Navigator 的对象。当前最多只会有一个可见的 Flutter Navigator，这个 Navigator 所包含的页面也就是我们当前可见容器所对应的页面。

       Native 容器与 Flutter 容器（Navigator）是一一对应的，生命周期也是同步的。当一个 Native 容器被创建的时候，Flutter 的一个容器也被创建，它们通过相同的股票止跌指标源码 id 关联起来。当 Native 的容器被销毁的时候，Flutter 的容器也被销毁。Flutter 容器的状态是跟随 Native 容器，这也就是我们说的 Native 驱动。由 Manager 统一管理切换当前在屏幕上展示的容器。

       我们用一个简单的例子描述一个新页面创建的过程：

       这就是一个新页面创建的主要逻辑，销毁和进入后台等操作也类似有 Native 容器事件去进行驱动。

       官方提出的混合方案

       基本原理

       Flutter 技术链主要由 C++ 实现的 Flutter Engine 和 Dart 实现的 Framework 组成（其配套的编译和构建工具我们这里不参与讨论）。Flutter Engine 负责线程管理，Dart VM 状态管理和 Dart 代码加载等工作。而 Dart 代码所实现的 Framework 则是业务接触到的主要 API，诸如 Widget 等概念就是在 Dart 层面 Framework 内容。

       一个进程里面最多只会初始化一个 Dart VM。然而一个进程可以有多个 Flutter Engine，多个 Engine 实例共享同一个 Dart VM。

       我们来看具体实现，在 iOS 上面每初始化一个 FlutterViewController 就会有一个引擎随之初始化，也就意味着会有新的线程（理论上线程可以复用）去跑 Dart 代码。Android 类似的 Activity 也会有类似的效果。如果你启动多个引擎实例，注意此时Dart VM 依然是共享的，只是不同 Engine 实例加载的代码跑在各自独立的 Isolate。

       官方建议

       引擎深度共享

       在混合方案方面，我们跟 Google 讨论了可能的一些方案。Flutter 官方给出的建议是从长期来看，我们应该支持在同一个引擎支持多窗口绘制的能力，至少在逻辑上做到 FlutterViewController 是共享同一个引擎的资源的。换句话说，我们希望所有绘制窗口共享同一个主 Isolate。

       但官方给出的长期建议目前来说没有很好的支持。

       多引擎模式

       我们在混合方案中解决的公众号刮刮卡源码主要问题是如何去处理交替出现的 Flutter 和 Native 页面。Google 工程师给出了一个 Keep It Simple 的方案：对于连续的 Flutter 页面（Widget）只需要在当前 FlutterViewController 打开即可，对于间隔的 Flutter 页面我们初始化新的引擎。

       例如，我们进行下面一组导航操作：

       我们只需要在 Flutter Page1 和 Flutter Page3 创建不同的 Flutter 实例即可。

       这个方案的好处就是简单易懂，逻辑清晰，但是也有潜在的问题。如果一个 Native 页面一个 Flutter 页面一直交替进行的话，Flutter Engine 的数量会线性增加，而 Flutter Engine 本身是一个比较重的对象。

       多引擎模式的问题

       因此，综合多方面考虑，我们没有采用多引擎混合方案。

       总结

       目前 FlutterBoost 已经在生产环境支撑着在闲鱼客户端中所有的基于 Flutter 开发业务，为更加负复杂的混合场景提供了支持，稳定为亿级用户提供服务。

       我们在项目启动之初就希望 FlutterBoost 能够解决 Native App 混合模式接入 Flutter 这个通用问题。所以我们把它做成了一个可复用的 Flutter 插件，希望吸引更多感兴趣的朋友参与到 Flutter 社区的建设。在有限篇幅中，我们分享了闲鱼在 Flutter 混合技术方案中积累的经验和代码。欢迎兴趣的同学能够积极与我们一起交流学习。

       扩展补充

       在两个 Flutter 页面进行切换的时候，因为我们只有一个 Flutter View 所以需要对上一个页面进行截图保存，如果 Flutter 页面多截图会占用大量内存。这里我们采用文件内存二级缓存策略，在内存中最多只保存 2-3 个截图，其余的写入文件按需加载。这样我们可以在保证用户体验的同时在内存方面也保持一个较为稳定的水平。

       页面渲染性能方面，Flutter 的 AOT 优势展露无遗。在页面快速切换的时候，Flutter 能够很灵敏的响应页面的切换，在逻辑上创造出一种 Flutter 多个页面的感觉。

       项目开始的时候我们基于闲鱼目前使用的 Flutter 版本进行开发，而后进行了 Release 1.0 兼容升级测试目前没有发现问题。

       只要是集成了 Flutter 的项目都可以用官方依赖的方式非常方便的以插件形式引入 FlutterBoost，只需要对工程进行少量代码接入即可完成接入。详细接入文档，请参阅 GitHub 主页官方项目文档。

好玩的开源项目推荐

       欢迎光临，今日为您推荐一系列趣味十足的开源项目，让工作之余也能享受科技带来的乐趣。

       项目一：Spleeter。一款音轨分离软件，只需输入一段命令，即可轻松分离音乐中的人声与乐器声，支持多种常见音频格式，由 Python 语言编写，并利用 TensorFlow 进行模型训练。

       项目地址：github.com/deezer/spleeter...

       项目二：FlutterBoost。由阿里系闲鱼团队开源的框架，提供快速便捷的原生应用与 Flutter 混合集成方案，最新版本为 v3.0-preview，目前仍持续维护中。

       项目地址：github.com/alibaba/flutterboost...

       项目三：Orika。一个基于字节码技术栈实现的高性能 Java 对象映射框架，以其简单易用、高效的特点成为众多映射框架中的佼佼者。

       项目地址：github.com/orika-mapper...

       项目四：hotkey。京东 APP 后台热数据探测开源框架，经过多次高压压测和京东 大促的考验，精确探测热门商品并快速推送到服务端，大幅减轻数据层查询压力，提升应用性能。

       项目地址：gitee.com/jd-platform-hotkey...

       项目五：PaddleOCR。基于飞桨的 OCR 工具库，提供超轻量级中文 OCR，支持中英文数字组合识别、竖排文本识别、长文本识别，同时包含多种文本检测、识别的训练算法。

       项目地址：gitee.com/paddlepaddle/...

       项目六：XXL-JOB。一个轻量级分布式任务调度平台，设计目标是开发迅速、学习简单、轻量级、易扩展，现已开放源代码，并在多家公司线上产品线中应用。

       项目地址：github.com/xuxueli/xxl-job...

       项目七：CIM。基于 Netty 框架的即时消息推送系统，支持多端接入，适用于移动应用、物联网、智能家居等领域。

       项目地址：gitee.com/farsunset/cim...

       项目八：DevSidecar。为开发者提供辅助的边车工具，通过本地代理将 HTTP 请求代理到加速通道，解决网站和库无法访问或访问速度慢的问题。

       项目地址：github.com/docmirror/devsidecar...

       项目九：Jsoup。一款 Java 的 HTML 解析器，可直接解析 URL 或 HTML 文本，提供简单易用的 API，支持 DOM、CSS 以及类似 jQuery 的操作方法。

       项目地址：github.com/jhy/jsoup...

       项目十：Knife4j。为 Java MVC 框架集成 Swagger 生成 API 文档的增强解决方案，前身是 swagger-bootstrap-ui，取名 knife4j，旨在小巧、轻量、功能强大。

       项目地址：github.com/xiaoymin/swagger-bootstrap-ui...

       项目十一：Arthas。阿里巴巴开源的 Java 诊断工具，支持 JDK 6+，适用于 Linux/Mac/Windows，提供命令行交互模式与丰富的 Tab 自动补全功能。

       项目地址：github.com/alibaba/arthas...

       项目十二：El-admin。基于 Spring Boot、Jpa、Spring Security、redis、Vue 的前后端分离的开源后台管理系统，采用 RBAC 权限控制方式，支持数据字典、数据权限管理与代码生成。

       项目地址：github.com/elunez/eladmin...

       项目十三：Halo。使用 Java 开发的开源博客系统，基于 Spring Boot 框架，通过一行命令即可完成安装。

       项目地址：github.com/halo-dev/halo...

       项目十四：Hutool。一个功能全面的 Java 工具类库，提供静态方法封装，降低学习成本，提高工作效率。

       项目地址：github.com/dromara/hutool...

       希望以上推荐能满足您的需求，若感兴趣，不妨前往 GitHub 上探索更多好玩的开源项目，每日都有更新！

爬取闲鱼某关键字实时信息，商品详情信息更多我们共同开发的项目（咸鱼反爬更新，只能作为学习使用）

       本文介绍了一个用于实时抓取闲鱼平台关键字实时信息的项目，旨在为学习者提供实用的开发案例。项目包含两大部分：多线程爬取与钉钉信息传输。

       首先，项目采用多线程技术，依据关键字数量启动线程。具体接口和使用方法可参考GitHub上的示例代码，实现小时自动采集。用户可自定义关键字和价格区间，灵活运用闲鱼API获取信息。

       其次，项目利用Python与钉钉API实现信息自动化推送。虽然官方文档主要针对web版开发，但API的通用性和丰富性使得Python版的开发同样可行。建议参考钉钉官方文档，探索如何高效地将数据推送至钉钉群。

       项目通过数据库存储和检索关键字，确保每次爬取的数据为最新。当获取到新的商品详情链接时，系统会自动判断数据库中是否已有该链接，若无则推送至钉钉群，并将数据插入数据库，实现信息的实时更新。

       为优化数据存储，项目可进一步调整数据库结构，提升数据查询效率。对于暂停与开始功能，通过修改数据库中关键字的存储状态实现。然而，这一方案并非理想选择，建议在实际应用中根据具体需求进行调整。

       项目采用异步爬取技术，显著提升闲鱼数据抓取速度与效率。在使用过程中，需注意合理配置资源，避免对平台服务器造成过大压力。对于后续更新，建议探索与MongoDB等数据库服务的集成，以增强数据存储和管理能力。

       总结而言，该项目提供了从多线程爬虫开发到信息自动化推送的全流程示例，适合对闲鱼数据抓取感兴趣的开发者深入学习与实践。通过合理利用技术手段与工具，开发者能够更高效地获取和利用闲鱼平台数据，实现个性化需求。