1.FFmpeg源码分析：视频滤镜介绍(上)
2.FFmpeg源码分析: AVStream码流
3.[推理部署]🤓opencv+ffmpeg编译打包全解指南
4.FFmpeg开发笔记（七）欧拉系统编译安装FFmpeg
5.理解ffmpeg
6.Ubuntu系统-FFmpeg安装及环境配置

FFmpeg源码分析：视频滤镜介绍(上)

       FFmpeg在libavfilter模块提供了丰富的源码音视频滤镜功能。本文主要介绍FFmpeg的源码视频滤镜，包括黑色检测、源码视频叠加、源码色彩均衡、源码去除水印、源码搜索标签源码抗抖动、源码矩形标注、源码九宫格等。源码

       黑色检测滤镜用于检测视频中的源码纯黑色间隔时间，输出日志和元数据。源码若检测到至少具有指定最小持续时间的源码黑色片段，则输出开始、源码结束时间戳与持续时间。源码该滤镜通过参数选项rs、源码gs、bs、rm、gm、bm、rh、gh、bh来调整红、绿、蓝阴影、基调与高亮区域的色彩平衡。

       视频叠加滤镜将两个视频的所有帧混合在一起，称为视频叠加。顶层视频覆盖底层视频，输出时长为最长的视频。实现代码位于libavfilter/vf_blend.c，通过遍历像素矩阵计算顶层像素与底层像素的混合值。

       色彩均衡滤镜调整视频帧的RGB分量占比，通过参数rs、gs、bs、rm、gm、bm、rh、gh、bh在阴影、基调与高亮区域进行色彩平衡调整。源码编辑器电脑版哪里下载

       去除水印滤镜通过简单插值抑制水印，仅需设置覆盖水印的矩形。代码位于libavfilter/vf_delogo.c，核心是基于矩形外像素值计算插值像素值。

       矩形标注滤镜在视频画面中绘制矩形框，用于标注ROI兴趣区域。在人脸检测与人脸识别场景中，检测到人脸时会用矩形框进行标注。

       绘制x宫格滤镜用于绘制四宫格、九宫格，模拟画面拼接或分割。此滤镜通过参数x、y、width、height、color、thickness来定义宫格的位置、大小、颜色与边框厚度。

       调整yuv或rgb滤镜通过计算查找表，绑定像素输入值到输出值，然后应用到输入视频，实现色彩、对比度等调整。相关代码位于vf_lut.c，支持四种类型：packed 8bits、packed bits、planar 8bits、planar bits。

       将彩色视频转换为黑白视频的滤镜设置U和V分量为，实现效果如黑白视频所示。

FFmpeg源码分析: AVStream码流

       在AVCodecContext结构体中，AVStream数组存储着所有视频、音频和字幕流的信息。每个码流包含时间基、时长、索引数组、编解码器参数、dts和元数据。索引数组用于保存帧数据包的offset、size、timestamp和flag，ui设计师找图片源码方便进行seek定位。

       让我们通过ffprobe查看mp4文件的码流信息。该文件包含5个码流，是双音轨双字幕文件。第一个是video，编码为h，帧率为.fps，分辨率为x，像素格式为yuvp。第二个和第三个都是audio，编码为aac，采样率为，立体声，语言分别为印地语和英语。第四个和第五个都是subtitle，语言为英语，编码器为mov_text和mov_text。

       调试实时数据显示，stream数组包含以下信息：codec_type（媒体类型）、codec_id、bit_rate、profile、level、width、height、sample_rate、channels等编解码器参数。

       我们关注AVCodecContext的编解码器参数，例如codec_type、codec_id、bit_rate、profile、level、width、height、sample_rate和channels。具体参数如下：codec_type - 视频/音频/字幕；codec_id - 编码器ID；bit_rate - 位率；profile - 编码器配置文件；level - 编码器级别；width - 宽度；height - 高度；sample_rate - 采样率；channels - 音道数。

       AVStream内部的nb_index_entries（索引数组长度）和index_entries（索引数组）记录着offset、size、timestamp、flags和min_distance信息。在seek操作中，盗u通道接口源码无后门通过二分查找timestamp数组来定位指定时间戳对应的帧。seek模式有previous、next、nearest，通常使用previous模式向前查找。

       时间基time_base在ffmpeg中用于计算时间戳。在rational.h中，AVRational结构体定义为一个有理数，用于时间计算。要将时间戳转换为真实时间，只需将num分子除以den分母。

[推理部署]🤓opencv+ffmpeg编译打包全解指南

       本篇内容简要记录了解决opencv和ffmpeg在MacOS系统下编译及兼容问题的过程。在尝试编译最新版本的opencv并单独打包使用时，遇到ffmpeg与opencv版本不兼容的问题。具体表现为，将ffmpeg升级至5.0版本后，opencv的videoio模块报错。这主要是因为ffmpeg版本高于4.4后，API接口变动较大，无法与opencv兼容。为了解决这个问题，需要安装4.3.x或以下版本的ffmpeg。

       通过ffmpeg的官方仓库查询到合适的版本tags列表，并使用git clone命令下载了4.2.2版本的源码。在编译ffmpeg时，使用了make命令，通过指定安装路径避免了硬编码路径的问题。但是，当使用make install命令安装后，动态库的依赖路径仍旧指向了系统目录。为了解决这个问题，可以通过在ffmpeg源码的根目录下设置--prefix和--libdir为./，使得编译出的动态库依赖路径表示当前目录，从而解决与opencv的兼容性问题。

       在opencv编译时，需要指定-DWITH_FFMPEG=ON以启用ffmpeg支持。但由于opencv寻找的是系统目录下的ffmpeg，所以需要通过find_package()方法找到自编译的ffmpeg。为了实现这一点，需要编写ffmpeg-config.cmake配置文件，设置全局CACHE变量，确保版本检查时能够正确识别到自定义的如何用源码编辑器制作音乐ffmpeg版本。在完成配置文件编写后，将它放置在ffmpeg4.2.2目录下，即可完成opencv的编译。

       经过一系列操作，可以实现opencv和ffmpeg在MacOS系统下的正确编译及兼容。最后，总结了整个流程，并指出是为了解决lite.ai.toolkit工具箱中ffmpeg兼容性问题而进行的尝试。编译打包后的opencv和ffmpeg可以方便地在其他MacOS电脑上使用，避免了额外的编译需求。本文旨在提供一个关于OSX系统下opencv和ffmpeg编译打包的解决方案，并鼓励关注和了解其他模型的C++工程化案例。

FFmpeg开发笔记（七）欧拉系统编译安装FFmpeg

       FFmpeg是一款功能强大的多媒体编码和解码工具，支持Linux、macOS、Windows、Android等操作系统，如Ubuntu、Debian、Mint、CentOS、RHEL、Fedora等分支。

       在CentOS上编译安装FFmpeg涉及一系列步骤，确保工具包的安装，然后单独安装NASM、Yasm、libx、libx、libfdk_aac、libmp3lame、libopus、libvpx等依赖库。接着，配置并安装libx、libx、libfdk_aac等关键库，最后编译安装FFmpeg。具体步骤包括使用git下载源码，配置编译选项，执行make和make install命令，确保所有依赖正确安装。

       对于EulerOS（欧拉系统），基于CentOS源码开发，运行环境兼容CentOS。在欧拉系统上编译安装FFmpeg，同样需要安装一些基础工具和依赖库，如nasm、g++、openssl-devel、curl-devel、cmake、git等。接下来，下载并编译x、x和FFmpeg源码包，使用特定命令配置编译选项，并完成make和make install操作。最终，通过执行ffmpeg -version命令验证FFmpeg安装成功。

       通过遵循上述步骤，用户可以在不同操作系统如CentOS和EulerOS上成功编译安装FFmpeg，实现多媒体编码和解码功能。

理解ffmpeg

       ffmpeg是一个全能的音频和视频处理软件，支持录制、转换、流媒体等功能。

       名为“FFmpeg”的软件，其中“FF”代表快速播放，对应于“Fast Forward”。该软件的全名实际上是“ff + mpeg”，读音为“艾辅艾辅败克”。其官方网站是 ffmpeg.org，提供中文文档。

       在 CentOS 系统中，可以通过命令行使用 yum 命令进行 ffmpeg 安装。安装后，您可以在 /usr/lib 路径下找到ffmpeg库。

       ffmpeg安装完成后，您会得到三个工具，还有提供给开发者编码开发的系列库。

       ffmpeg源码是开源的，您可以直接访问源码。

       FFmpeg核心是用C语言编写，它利用底层操作系统和硬件功能处理音频和视频，包括解码、编码、封装、解封装等，这正是选择C语言的原因。

       FFmpeg的Libavutil库包含通用的实用工具和基本功能，如时间戳处理、时间间隔计算、字节流处理、颜色空间转换等。更多详细信息可参阅 ffmpeg.org/doxygen/trun...

       libavcodec库是处理音频和视频编解码的库，提供丰富的编码器和解码器功能，包括设置编码参数、处理编码器选项、帧格式转换等。更多详细信息可参阅 ffmpeg.org/doxygen/trun...

       libavformat库用于音视频的封装和解封装，支持多种音视频容器格式，如AVI、MP4、MKV等。更多详细信息可参阅 ffmpeg.org/doxygen/trun...

       libavdevice库允许与音视频设备交互，进行音频和视频采集与播放。更多详细信息可参阅 ffmpeg.org/doxygen/trun...

       libavfilter库提供音视频滤镜处理功能，包括裁剪、缩放、旋转、色彩调整等。更多详细信息可参阅 ffmpeg.org/doxygen/trun...

       libswscale库用于图像缩放和颜色空间转换，对视频帧进行大小调整、像素格式转换和色彩空间转换等操作。更多详细信息可参阅 ffmpeg.org/doxygen/trun...

       libswresample库提供音频重采样和格式转换功能，对音频数据进行采样率、通道布局和样本格式的转换。更多详细信息可参阅 ffmpeg.org/doxygen/trun...

       要读取mp4文件，您需要引用ffmpeg库，并按照文档说明执行代码。以下是一段示例代码，用于读取互联网上的mp4文件。

       执行此代码后，输出结果将显示关键函数调用的逻辑。

Ubuntu系统-FFmpeg安装及环境配置

       Ubuntu系统下，要使用FCN-4进行mp3音频自动标注，必须确保安装了Librosa音频处理库和FFmpeg工具。接下来，我们将详细讨论安装过程中的常见问题和解决方法。

       安装Librosa依赖库

       遇到“import librosa”报错时，需安装Librosa。首先，通过命令行安装librosa:

       pip install librosa

       安装成功后，可能需要额外安装缺失的模块，如_bz2和_lzma。遇到这些错误，应检查python版本并确保相关库文件在对应路径下，如将python3.6的_bz2库复制到python3.7的目录下。

       安装FFmpeg

       对于mp3音频，Librosa可能需要FFmpeg读取。解决“NoBackendError”问题，首先确保FFmpeg安装。在Ubuntu中，可以使用wget下载并安装FFmpeg源码:

       wget https://ffmpeg.org/releases/ffmpeg-4.1.tar.xz

       编译安装过程中，可能需要yasm，安装后执行:

       ./configure ... && make && sudo make install

       配置环境变量，将ffmpeg路径添加到PATH中，并在必要时修改共享库文件路径。

       问题解决

       如果仍遇到“audioread.exceptions.NoBackendError”，可能需要检查“ffdec.py”文件中FFmpeg的调用指令，可能需要修改为绝对路径:

       COMMAND = ('/usr/local/ffmpeg/bin/ffmpeg', 'avconv')

       确保所有配置完成后，通过“which ffmpeg”或“ffmpeg -h”检查FFmpeg是否可用，确认安装和环境配置已成功。

图像格式--FFMPEG代码走读-TIFF格式编码

       本文从FFMPEG源码角度解读TIFF编码内容，无需过多介绍，直接开启解读。TIFF编码涉及到的结构体TiffEncoderContext，用于存储与TIFF编码相关的上下文信息，包括编码上下文信息、长宽信息、压缩信息、yuv数据信息、缓冲区信息、Strip信息，以及编解码算法和级别信息等。

       TIFF文件使用标签（Tags）存储图像的元数据和其他信息，每个标签存储特定类型的信息，如图像宽度、高度、颜色深度等。在FFMPEG中包含的所有tag相关数据可参照下图查看。

       此外，还存在特定的补充标签，如DNG和CinemaDNG格式。DNG是由Adobe开发的一种开放的RAW图像格式，基于TIFF/EP标准，在TIFF基础上增加了存储更多摄影信息和元数据的特定标签。CinemaDNG是一个基于DNG的开放标准，专为**和视频制作中的RAW图像序列设计，包含与静态图像DNG类似的标签，同时增加了一些特定于视频和**制作的标签，用于管理处理高动态范围的RAW视频数据。

       TIFF编码代码位于libavcodec\tiffenc.c文件中。ff_tiff_encoder描述了一个TIFF图像编码器，采用标准FFmpeg库的API封装，包含TIFF编码器的各种信息和函数指针，便于对接到FFMPEG框架。

       encode_init函数用于初始化TIFF编码器上下文，并进行必要的检查和设置。encode_close函数在编码器关闭时进行资源清理，确保无内存泄漏。add_entry将一个条目添加到TIFF文件目录中。encode_strip用于将图像数据编码为TIFF文件的一个条带。pack_yuv将YUV图像数据打包成适合TIFF格式的条带。

       encode_frame函数主要作用是将一帧图像编码为TIFF格式。具体步骤包括初始化上下文和变量、设置编码器上下文参数、处理不同像素格式、计算每行字节数和数据包大小、分配内存、处理图像数据、写入TIFF文件头、添加TIFF标签、写入目录偏移量并完成编码。

       至此，TIFF编码过程解析完毕。源码编译与调试有助于深入理解，增进对TIFF编码的认识。

ffmpeg压制的ts视频在拖动时间轴时出现花屏现象,原因是什

       在Linux环境下，通过ffmpeg命令进行ts视频压制时，若出现拖动时间轴产生花屏现象，其根本原因在于帧数据的不完整导致解码错误。具体来说，当使用命令行设置时，通过参数`-fflags discardcorrupt`告知ffmpeg丢弃可能存在的损坏数据包。在ffmpeg源代码中，通过`av_read_frame`和`ff_read_packet`函数处理包数据，引入了变量`deviser_flag`用于标记包完整性。当检测到损坏包时，`deviser_flag`被设置为``，后续解码逻辑中通过判断`deviser_flag`值为``，选择丢弃这帧视频数据。如果解码失败，特别是I帧（关键帧）解码错误，导致后续GOP（组内）帧同样受到影响，产生花屏现象。通过在代码中加入额外判断逻辑，处理特定错误标记，如`decode_error_flags`为`4`或``，可以有效避免这类问题。编译ffmpeg时加入这些修改，可以解决卡顿和花屏问题。对于其他视频编码如H.，需要在源代码中自定义标志来跟踪解码错误，以便于识别并处理问题帧。处理方法包括定义全局变量和在相关函数中添加错误标记，以及在解码完成后的处理逻辑中检查这些标记，从而避免影响后续解码。同时，确保在码流探测阶段忽略不完整帧，使用`AVFMT_FLAG_NOBUFFER`避免将其放入接收缓存。对于特定的H.帧结构和模式，可能需要对现有方法进行调整以适应不同需求。在编码和解码过程中，通过精确控制和优化，可以有效减少花屏现象，提升视频播放流畅度。