1.基于改进Deeplabv3+的视频人像背景替换系统（源码＆教程）
2.实例分割之BlendMask
3.理解MobileNetV2

基于改进Deeplabv3+的视频人像背景替换系统（源码＆教程）

       视频背景替换技术在图像处理和视频编辑领域具有重要地位，旨在从视频序列中提取前景信息并将其融合到新背景中，以减少制作成本、改善抠图质量并提高图像融合效果。早期方法受限于特定的拍摄环境，交互式绿幕抠图成本高、微商控价系统源码下载速度慢，且图像融合算法丢失前景信息严重，导致融合图像失真，人物颜色虚假。针对这些问题，本文提出改进Deeplabv3+算法和改进PoissonEditing算法，联合视频风格迁移算法，实现视频人物背景替换系统。

       改进Deeplabv3+算法采用编码器与解码器并联结构，通过DCNN生成多维度特征，遵循ASPP规则增加感受视野，结合边缘校正通道算法对分割的人体图像进行后处理。改进后的算法前端采用空洞卷积获取浅层低级特征，后端采用vgg-获取深层高级特征信息，输出尺寸为4的通道特征用于图像分割。

       系统整合部分包含完整源码、环境部署视频教程、数据集和自定义UI界面。通过参考博客《基于改进Deeplabv3+的sphere源码查询视频人像背景替换系统（源码＆教程）》，实现视频人物背景替换系统的集成与优化。

       参考文献提供相关领域的综述与讨论，涉及深度学习、图像处理、图像分割、图像抠图算法等多个方面，为系统设计提供理论基础与实践经验。

实例分割之BlendMask

       沈春华老师团队的最新研究文章，名为“BlendMask”，旨在通过巧妙融合底层语义信息和实例层信息，提升模型效果。研究主要贡献在于设计了一个创新的Blender模块，受到top-down和bottom-up方法的启发。

       BlendMASK的网络结构包含三个关键部分，尽管论文中的图示可能不够直观，需要结合论文和源码深入了解。Bottom模块输出特征的维度为N*K*H/s*W/s，其中N表示批次大小，K是基础数量，H*W是输入尺寸，S是得分输出步长。

       Top层在检测输出时，通过额外的卷积层生成注意力A，其维度为N*(K'M'M)*Hl*Wl，woole的源码其中M值较小，仅比传统top-down方法小。Blender模块利用注意力和位置敏感的基础来生成最终预测。

       实验部分详尽，如对比不同融合特征策略（Blender vs. YOLACT vs. FCIS）、分辨率设置、基础数量K的选择以及特征提取位置等，作者充分展示了其设计的消融实验。论文强调，尽管没有采用FCOS，但实际效果显著，理解它需要对YOLACT、RPN和DeeplabV3+的核心思想有深入理解。

       总的来说，这篇文章以工程应用为导向，提供了宝贵的实践指导，对于学术研究和实际项目具有很高的参考价值。

理解MobileNetV2

       和MobielNetV1相比， MobileNet V2 仍使用深度可分离卷积，但其主要构成模块如下图1所示：

       这次block中有三个卷积层，作者分别将其称之为1 x 1 expansion layer、3 x 3 depthwise convolution和1 x 1 projection layer。后两层其实就是V1中的depthwise convolution和1×1 pointwise convolution layer，只不过在V2中，溯源码发展作者后者称为1 x 1 projection layer，并有不同的作用。下面就来看看，两者的差异究竟在哪里。

       在V1中，逐点卷积要么使通道数保持不变，要么使通道数翻倍。 在V2中，情况恰恰相反：它使通道数变小。 这就是为什么现在将该层称为投影层( Projection Layer)的原因：它将具有大量维（通道）的数据投影到具有较少维数的张量中。

       例如，depthwise convolution可以在具有个通道的张量上工作，然后projection layer张量缩小至个通道。这种层也称为bottleneck layer，因为它减少了流经网络的数据量。（这就体现了“bottleneck residual block”名称的一部分：每个块的输出都是瓶颈。）

       此外，bottleneck residual block的第一层是新出现的，也就是expansion layer。 它也是1×1卷积， 其目的是在数据进入深度卷积之前扩展数据中的通道数。 因此，expansion layer始终具有比输入通道更多的输出通道（与projection layer相反）。

       Expansion layer将通道数扩展多少倍，dubbo源码说明这个由扩展因子(expansion factor)给出。 这也是调整不同架构的超参数之一， 默认扩展因子为6。

       例如图2所示，如果有一个具有个通道的张量进入一个bottleneck residual block，则expansion layer首先将其转换为具有 x 6 = 个通道的新张量。 接下来，depthwise convolution将其滤波器应用于该通道张量。 最后，projection layer将个过滤后的通道投影回较小的数量，比如说个。

       因此，bottleneck residual block的输入和输出是低维张量，而block内发生的滤波步骤是在高维张量上完成的。

       思考一下，这样做的好处是什么？

       Bottleneck residual block体现了其还存在另一部分，那就是逆残差连接(inverted residual connection)，这也是MobileNetV2与MobileNetV1的不同之处。就像在ResNet中一样，它的存在是为了帮助梯度流过网络。只有当进入block的通道数与从block出来的通道数相同时（如图2），才使用inverted residual connection，但并非总是如此，因为每隔几个块输出通道就增加一次。

       一般来说，每个层都有批量归一化，激活层则是ReLU6。 但是，projection layer的输出没有应用激活功能。作者发现，在该层之后使用非线性激活，实际上会破坏低维数据中有用的信息。

       这样，MobileNet V2将连续包含个这样的block，然后是规则的1×1卷积、全局平均池化层和分类层。

       注意：第一个block稍有不同，它使用具有个通道的常规3×3卷积代替扩展层。

       具体架构也可见下表。t是扩展因子，c是输出通道数，n是block的重复次数，s是步长，depthwise convolution的卷积核大小均为3 x 3。

       V2体系结构的主要变化是残差连接和扩展/投影层。

       对于这种模型，通道数随时间增加，空间尺寸也会相应减少。 但总体而言，由于构成块之间连接的瓶颈层，张量保持相对较小，。如图3所示，我们可以看到数据流经V2网络的情况。

       相比之下，V1就使其张量变得更大（最大为7×7×）。

       使用低维张量是减少计算量的关键。 毕竟，张量越小，卷积层要做的乘法就越少。

       但是，仅使用低维张量并不能获得很好的效果！

       因为应用卷积层过滤低维张量将无法提取大量信息。 考虑到这个因素，作者首先使用了expansion layer，得到大张量，s使用depthwise convolution对数据进行过滤；然后使用projection layer减小张量。可以说在这方面， MobileNet V2的模块设计做到了两全其美。

       举例如图4所示，将块之间流动的低维数据视为真实数据的压缩包。Expansion layer充当解压缩器，它首先将数据还原为完整格式，然后depthwise layer执行重要的滤波工作，最后projection layer将数据压缩以使其再次变小 。

       通过学习扩展层和投影层的参数，模型能够在网络的每个阶段最佳地（解）压缩数据。

       至此，我们也就能理解，为什么作者将文中的残差连接方式称为“inverted residuals”，我们可以比较一下normal和inverted残差块的区别，如图5所示。

       图5中，使用阴影线标记的block后面没有非线性层，通过每个block的宽度来表示相对通道数量。

       我们首先从学习的参数和所需的计算量开始，比较MobileNet V1和V2模型的大小。

       数据来源于 V1和 V2，它们采用的width multiplier均为1.0，数据越小代表效果越好。

       MACs是乘法累加运算，这可测量对单张× RGB图像进行推理所需的计算量。图像越大，需要的MAC越多。

       仅从MAC数量来看，V2的速度应该几乎是V1的两倍。 但是，这不仅仅涉及计算数量。 在移动设备上，内存访问比计算慢得多。 不过，这里V2也有优势：它的参数量只有V1的％。

       接下来是准确率的比较。

       这里的Top-1 Accuracy和Top-5 Accuracy是在 ImageNet上获得的， 源代码作者声称结果来自与测试集，但查看代码后，结果似乎是从,张图像的验证集上获得的。

       其实，比较模型之间的准确度可能会产生误导，因为我们需要准确了解模型的评估方式。 为了获得上述数字，将图像的中心区域裁剪到包含原始图像的.5％的区域，然后将该裁剪的大小调整为×像素。

       为了验证V1和V2在语义分割方面的能力，作者选用了PASCAL VOC dataset用来验证，（1）V1和V2分别作为DeepLabv3的特征提取器，（2）简化了DeepLabv3训练头，来加快计算，（3）使用了不同的推理策略来优化运行效果。验证的结果如下表所示。

       我们能够得到以下分析结果：

       （1）某些推理策略，比如多尺度输入、增加左右翻转的图像，会极大增加乘法累加量，因此不适合于移动设备的应用；

       （2）使用output stride = 的效率要比output stride = 8的效率高；

       （3）MobileNetV1已经是强大的功能提取器，其所需的乘法累加量比ResNet- 少4.9-5.7倍；

       （4）在MobileNetV2的倒数第二个特征图后构建DeepLabv3训练头的效率更高，因为倒数第二个特征图包含个通道，而不是个。因此，在获得类似性能的情况下，但是MobileNetV2所需的运算量比MobileNetV1少2.5倍。

       （5）DeepLabv3原先的分割头十分消耗计算力，若删除ASPP模块能够显著降低计算量，但性能只会略微下降。