皮皮网

1.UE4源码剖析：MallocBinned（上）
2.Lua5.4 源码剖析——虚拟机2 之 闭包与UpValue
3.Odoo框架源码研读二：ORM框架与日志
4.集成测试和单元测试的源码研读区别

UE4源码剖析：MallocBinned（上）

       近期着手UE4项目开发，对UnrealEngine已久仰慕，源码研读终于得此机会深入探索。源码研读鉴于项目内存性能问题，源码研读决定从内存分配器着手，源码研读深入研读UE4源码。源码研读互爱筹源码虽个人水平有限，源码研读尚不能全面理解，源码研读但愿借此机会揭开源码神秘面纱，源码研读让新手朋友们不再感到陌生。源码研读

       UE4内存分配器位于硬件抽象层HAL（Hardware Abstraction Layer）中。源码研读具体装箱内存分配器代码位于VS项目目录：UE4/Source/Runtime/Core/Private/HAL/MallocBinned。源码研读

       分析从ApplePlatformMemory::BaseAllocator开始，源码研读可发现Mac平台的源码研读默认分配器为MallocBinned，iOS的源码研读默认分配器为MallocAnsi。以下将重点分析MallocBinned。

       一、确定对齐方式

       FScopeLock用于局部线程锁，确保线程同步。关于Alignment的确定，通常使用默认值。默认值取决于内存对齐方式，此处默认对齐为8字节。

       二、确定有足够空间来内存对齐

       代码中，SpareBytesCount用于确认空间足够。若分配内存小于8字节，则按Alignment大小匹配箱体；若大于8字节，则按Size + Alignment - sizeof(FFreeMem)匹配箱体。

       三、确定箱体大小

       根据Size的php webshell 源码大小，有三种不同的处理方式。k以下的内存分配采用装箱分配，PoolTable中包含个不同大小的池子。

       四、初始化内存池

       分析内存池初始化过程，主要工作包括：确定内存大小，分配内存块，设置内存池基本信息。

       五、内存装箱

       AllocateBlockFromPool从内存池中分配一个Block，实现内存装箱过程。

Lua5.4 源码剖析——虚拟机2 之 闭包与UpValue

       故事将由我们拥有了一段 Lua 代码开始，我们先用 Lua 语言写一段简单的打印一加一计算结果的 Lua 代码，并把代码保存在 luatest.lua 文件中：

       可执行的一个 Lua 文件或者一份单独的文本形式 Lua 代码，在 Lua 源码中叫做 "Chunk"。无论我们通过什么形式去执行，或者用什么编辑器去执行，最终为了先载入这段 Lua 的 Chunk 到内存中，无外乎会归结到以下两种方式：1）Lua 文件的载入：require 函数 或 loadfile 函数；2）Lua 文本代码块的载入：load 函数；这两种方式最终都会来到下面源码《lparse.c》luaY_parser 函数。该函数是解析器的入口函数，负责完成代码解析工作，最终会创建并返回一个 Lua 闭包（LClosure），见下图的红框部分：

       另外，上图中间有一行代码最终会调用到 statement 函数，statement 函数是 Chunk 解析的核心函数，它会一个一个字符地处理我们编写的 Lua 代码，完成词法分析和语法分析工作，想要了解字符处理整个状态流程的可以自行研读该部分源码，见源码《lparse.c》statement 函数部分代码：

       完成了解析工作之后，luaY_parser 函数会把解析的ftpclient下载源码所有成果放到 Lua 闭包（LClosure）对象之中，这些存储的内容能保证后续执行器能正常执行 Lua 闭包对应的代码。

       Lua 闭包由 Proto（也叫函数原型）与 UpValue（也叫上值）构成，见源码《lobject.h》LClosure 定义，我们下面将进行详细的讲解：

       UpValue 是 Lua 闭包数据相关的，在 Lua 的函数调用中，根据数据的作用范围可以把数据分为两种类型：1）内部数据：函数内部自己定义的数据，或者通过函数参数的形式传入的数据（在 Lua 中通过参数传入的数据本质上也是先赋值给一个局部变量）；2）外部数据：在函数的更外层进行定义，脱离了该函数后仍然有效的数据；外部数据在我们的 Lua 闭包中就是 UpValue，也叫上值。

       既然 Lua 支持函数嵌套，也知道了 UpValue 本质就是上层函数的内部数据。那么 UpValue 有必要存储于 Lua 闭包（LClosure）结构体当中吗？是为了性能考虑而做的一层指针引用缓存吗？回答：并不是基于性能的考虑，因为在实际的 Lua 运用场景中，函数嵌套的层数通常来说不会太多，个别函数多一层的查询访问判断不会带来过多的性能开销。需要在闭包当中存储 UpValue 主要原因是因为内存。Lua 作为一门精致小巧的脚本语言，设计初衷不希望占用过多的系统内存，它会尽量及时地清理内存中用不到的对象。在嵌套函数中，内层函数如果仍然有被引用处于有效状态，而外层函数已经没有被引用了已经无效了，此时 Lua 支持在保留内层函数的情况下，对外层函数进行清除，从而可以清理掉外层函数引用的非当前函数 UpValue 用途以外的大量数据内存。

       尽管外层函数被清除了，Lua 仍然可以保持内层函数用到的 UpValue 值的有效性。UpValue 如何能继续保持有效，我们在之前的基础教程《基本数据类型 之 Function》里面学习过，主要是aospa 源码编译因为 UpValue 有 open 与 close 两种状态，当外层函数被清除的时候，UpValue 会有一个由 open 状态切换到 close 状态的过程，会对数据进行一定的处理，感兴趣的同学可以回到前面复习一下。

       UpValue 有效性例子

       接下来我们举一个代码例子与一个图例，表现一下 UpValue 在退出外层函数后仍然生效的情况，看一下可以做什么样的功能需求，加深一下印象，请看代码与注释：

       上述代码在执行 OutFunc 函数后，外层的 globalFunc 函数变量完成了赋值，每次对它进行调用，都将可以对它引用的 UpValue 值即 outUpValue 变量进行正常加 1。

       函数的内部数据属于函数自身的内容，外部其它函数无法通过直接的方式访问其它函数的内部数据。函数自身的东西会存在于 LClosure 结构体的 Proto*p 字段中。Proto 全称 "Function Prototypes"，通常也可以叫做 "函数原型"，我们来看一下它的定义，见源码《lobject.h》Proto 结构体：

       结构体字段比较多，我们先不细看，后面用到哪个字段会再进行补充说明。函数的内部数据分为常量与变量（即函数局部变量），分别对应上图的如下字段：

       1）常量：TValue* k 为指针指向常量数组；int sizek 为函数内部定义的常量个数，也即常量数组 k 的元素个数。

       2）局部变量：LocVar* locvars 为指针指向局部变量数组；int sizelocvars 为函数定义的局部变量个数，也即局部变量数组 locvars 的元素个数。

       UpValue 的描述信息会存储在 Proto 结构体中的 Upvaldesc* upvalues 字段，解析器解析 Lua 代码的时候会生成这个 UpValue 描述信息，并用于生成指令，而执行器运行的kotlin源码编译时候可以通过该描述信息方便快速地构建出真正的 UpValue 数组。

       至此，我们知道了函数拥有 UpValue，有常量，有局部变量。外部数据 UpValue 也讲完，内部数据也讲完。接下来，我们开始学习函数运行的逻辑指令相关内容。

       函数逻辑指令存储于函数原型 Proto 结构体中，这些函数逻辑是由一行行的 Lua 代码构成的，代码会被解析器翻译成 Lua 虚拟机能识别的指令，我们把这些指令称为 "OpCode"，也叫 "操作码"。Proto 结构体存储 OpCode 使用的是下图中红框部分字段，见源码《lobject.h》Proto 结构体：

       至此，我们可以简单提前说一下 Lua 虚拟机的功能了，本质上来看，Lua 虚拟机的工作，就是为当前函数（或者当前一段 OpCode 数组）准备好数据，然后有序执行 OpCode 指令。

       对 OpCode 有了一定的认识了，接下来我们要补充一个 OpCode 相关的 Lua 闭包相关的内容，就是 Lua 闭包的运行环境。

       一个 Lua 文件在载入的时候会先创建出一个最顶层（Top level）的 Lua 闭包，该闭包默认带有一个 UpValue，这个 UpValue 的变量名为 "_ENV"，它指向 Lua 虚拟机的全局变量表，即_G 表，可以理解为_G 表即为当前 Lua 文件中代码的运行环境 (env)。事实上，每一个 Lua 闭包它们第一个 UpValue 值都是_ENV。

       ENV 的定义在我们之前提到的解析器相关函数 mainfunc 中，见源码《lparser.c》：

       如果想要设置这个载入后的初始运行环境不使用默认的 _G 表，除了直接在该文件代码中重新赋值_ENV 变量这种粗暴且不推荐的方式以外，通常是通过我们前面提到的加载 Lua 文件函数或加载 Lua 字符串代码函数传入 env 参数（Table 类型），就可以用自定义的 Table 作为当前 Lua 闭包的全局变量环境了，env 参数为上面两个函数的最末尾一个参数，'[' 与 ']' 字符中的内容表示参数可选，函数的定义摘自 Lua5.4 官网文档：

       所以我们可以在 Lua 代码通过 _ENV 访问当前环境：

       在 Lua 的旧版本中，变量的查询最多会分为 3 步：1）先从函数局部变量中进行查找；2）找不到的话就从 UpValue 中查找；3）还找不到就从全局环境默认 _G 表查找。而在 Lua5.4 中，把 UpValue 与全局 _G 表的查询统一为 UpValue 查询，并把一些操作判断提前到了解析器解析阶段进行，例如函数内部使用的某个 UpVaue 变量在代码解析的时候就可以通过 UpValue 描述信息知道存储于 Lua 闭包 upvals 数组的哪个下标位置，在执行器运行的时候只需要直接在数组拿取对应下标的这个 UpValue 数据即可。

       从 OpCode 的层面来看，Lua 除了支持通过一个 UpValue 数组下标访问一个 UpValue 变量，在把 _G 表合并到 UpValue 之后，Lua 为此实现了通过一个字符串 key 值从某个 Table 类型的 UpValue 中查询变量的操作。

       至此，我们了解了 Lua 闭包的结构与运行环境，以及 OpCode 的基本概念。接下来，我们将深入学习 OpCode，掌握 OpCode 就掌握了整个 Lua 虚拟机数据与逻辑的流向。

Odoo框架源码研读二：ORM框架与日志

       上一期我们带来了关于Odoo框架源码第一期内容（传动门➡《Odoo框架源码研读一：前后端交互》），让大家对Odoo整体结构和前后端交互有了更深刻的了解。

       而Odoo在实际开发的大多数场景都是基于它的ORM框架进行的，所以本期我们将带来Odoo框架源码的第二期内容——ORM和日志。

       一、ORM

       Odoo是通过Controller控制器，来控制前后台的交互。上一期我们详细的介绍了如何让请求顺利到达Controller控制器。

       那么当请求到达Controller后，又如何来实现后端的业务逻辑呢？这就不得不提到Odoo一个非常强大的类——Environment。

       通过_loca属性，Environment可以直接管理线程中的environments上下文状态，并且包装了ORM相关四个属性：

       而且Environment还提供了Model name和Model之间的映射，通过self.env[ModelName] 就可以直接调用Model的API ，非常强大。

       现在，再回头看Controller中的方法，可以看到，通过request.env[model]可以直接获取对应的Model对象，然后直接调用Model的方法。

       Odoo中一切都是基于Model编程。即使是前端的menu、action、view，都是也都有对应 Model，和业务数据无异。

       创建一个Model ，然后通过简单的视图配置，那么这个Model对应的CRUD基础功能就已经实现，这些都归功于Odoo对于Model的抽象。

       Odoo中的model分为三类：AbstractModel、Model、TransientModel；

       继承关系如下图 ⬇

       从源码中可以看出AbstractModel 是Model 和TransientModel的父类。而这个三者的区别也主要在_auto、_register、_abstract、_transient这四个属性上。

       由此可以AbstractModel是抽象类，不会在数据库创建表，Model和TransientModel 不是抽象类，会在数据库建表，但TransientModel建的是临时表，数据会被系统定期清除，这个可以在系统中设置清除频率。

       由于这种特性的不同，三个Model的用途也不相同。

       TransientModel由于存临时表的特性，多用来做wizard向导视图，存储临时缓存数据；

       Model多用于做业务的主要Model，AbstractModel多用来抽象做父类，由于不创建表的特性，有时也会用来做向导视图。

       新模块中的Model，根据功能需要去继承这三个类，由于这三个父类中丰富的API方法，新建 Model在创建完字段后，功能就已经基本完善，如果有定制化的逻辑，只需要重写父类的方法就可以了。

       Model中的Field不是Python的基础类型，而是继承Odoo封装的Field类。

       因此，在Model字段赋值的时候，和基础类型字段不同，会调用Field中的API方法，这是容易踩坑的地方。

       二、日志

       Odoo的日志是在Python的logging基础模块之上，做了定制化的封装和配置。这部份代码主要在odoo/netsvc.py文件中。

       Odoo定义了自己的Filter对象、Formatter对象、以及Handler对象。

       1）项目启动的时候，配置管理器configmanager初始化，这个时候会去初始化默认的系统配置，包括日志模块。

       2）随后，配置管理器会去加载配置文件odoo.conf中的自定义配置覆盖原先的默认配置。

       3）最后，处理完配置加载，Odoo会调用日志初始化代码，根据最终的日志配置去设定相关的logger对象。

       上图即为Odoo日志的默认配置。

       初始化过程：

       通过logging.logging.getLogger(_name_)调用前包层级的logger 对象，logging.logging.getLogger() 则返回root logger对象。

       本期关于Odoo的ORM和日志就聊到这里，下一期我们会继续聊一下Odoo的异常和流程引擎，感兴趣的小伙伴记得关注我~

集成测试和单元测试的区别

       单元测试，就是单独一部分功能是否实现；

       模块集成测试，就是这个子功能是否实现；

       系统集成测试就是子功能合成后，能否一个一个进入到不同的子功能里去；系统测试，我感觉是性能、兼容这些。

       二 、含义不同：

       单元测试：对软件中的最小可测试单元进行检查和验证

       集成测试：在单元测试的基础上，将所有模块按照设计要求（如根据结构图）组装成为子系统或系统，进行集成测试。

       系统测试：将已经集成好的软件系统，作为整个基于计算机系统的一个元素，与计算机硬件、外设、某些支持软件、数据和人员等其他系统元素结合在一起，在实际使用环境下，对计算机系统进行一系列的组装测试和确认测试的工作。

扩展资料：

       经常与单元测试联系起来的另外一些开发活动包括代码走读（Code review)，静态分析（Static analysis)和动态分析（Dynamic analysis)。静态分析就是对软件的源代码进行研读，查找错误或收集一些度量数据，并不需要对代码进行编译和执行。动态分析就是通过观察软件运行时的动作，来提供执行跟踪，时间分析，以及测试覆盖度方面的信息。

       百度百科-单元测试