1.FFmpeg源码分析：视频滤镜介绍(上)
2.踩坑ffmpeg录制的视频mp4无法在浏览器上播放
3.FFmpeg视频播放器开发-FFmpeg简介与项目环境搭建(一)
4.FFmpeg开发笔记（十三）Windows环境给FFmpeg集成libopus和libvpx
5.FFmpeg开发笔记（十二）Linux环境给FFmpeg集成libopus和libvpx
6.FFmpeg视频播放器开发解封装解码流程、常用API和结构体简介（一）

FFmpeg源码分析：视频滤镜介绍(上)

       FFmpeg在libavfilter模块提供了丰富的源码源码音视频滤镜功能。本文主要介绍FFmpeg的下载视频滤镜，包括黑色检测、视频视频叠加、源码源码色彩均衡、下载json二次解析源码去除水印、视频抗抖动、源码源码矩形标注、下载九宫格等。视频

       黑色检测滤镜用于检测视频中的源码源码纯黑色间隔时间，输出日志和元数据。下载若检测到至少具有指定最小持续时间的视频黑色片段，则输出开始、源码源码结束时间戳与持续时间。下载该滤镜通过参数选项rs、gs、bs、rm、gm、bm、rh、gh、bh来调整红、绿、蓝阴影、基调与高亮区域的色彩平衡。

       视频叠加滤镜将两个视频的所有帧混合在一起，称为视频叠加。顶层视频覆盖底层视频，输出时长为最长的视频。实现代码位于libavfilter/vf_blend.c，通过遍历像素矩阵计算顶层像素与底层像素的混合值。

       色彩均衡滤镜调整视频帧的RGB分量占比，通过参数rs、gs、bs、rm、gm、bm、rh、gh、bh在阴影、qsdk源码基调与高亮区域进行色彩平衡调整。

       去除水印滤镜通过简单插值抑制水印，仅需设置覆盖水印的矩形。代码位于libavfilter/vf_delogo.c，核心是基于矩形外像素值计算插值像素值。

       矩形标注滤镜在视频画面中绘制矩形框，用于标注ROI兴趣区域。在人脸检测与人脸识别场景中，检测到人脸时会用矩形框进行标注。

       绘制x宫格滤镜用于绘制四宫格、九宫格，模拟画面拼接或分割。此滤镜通过参数x、y、width、height、color、thickness来定义宫格的位置、大小、颜色与边框厚度。

       调整yuv或rgb滤镜通过计算查找表，绑定像素输入值到输出值，然后应用到输入视频，实现色彩、对比度等调整。相关代码位于vf_lut.c，支持四种类型：packed 8bits、packed bits、planar 8bits、planar bits。

       将彩色视频转换为黑白视频的滤镜设置U和V分量为，实现效果如黑白视频所示。

踩坑ffmpeg录制的mp4无法在浏览器上播放

       在游戏引擎集成ffmpeg源码用于录制游戏视频时，遇到了一个令人困惑的问题：录制的mp4格式视频无法在浏览器上播放。初步尝试修改了代码以实现录制mp4格式，结果视频在网页端播放失败。通过一系列的调试，发现关键问题出在格式转换上。将游戏录制的mp4文件转换为h编码后，视频在浏览器上得以正常播放。然而，仅仅转换格式未能解决原始问题。锦鲤源码

       为了深入了解问题所在，我们使用了ffprobe工具来获取视频的详细信息，并通过对比原始录制的mp4文件与转换后的h文件，发现原始文件中缺少了必要的codec_tag字段。codec_tag是用于标识编解码器的标签，对于播放器识别正确的解码器至关重要。通过手动设置该字段，问题得到初步解决，但仍有其他未解决之处。

       进一步分析发现，调用avcodec_find_encoder接口时，传入的格式为mpeg4，而非预期的h。解决这一问题后，我们发现pts（呈现时间戳）和dts（到达时间戳）在视频帧数据中缺失，这导致播放时出现卡顿现象。通过手动为pts和dts赋值，播放速度恢复正常。

       在深入研究后，我们了解到在调用avformat_alloc_output_context2接口时，未指定输出格式，从而让ffmpeg自动选择格式。这一改变使得录制的视频包含pts和dts，解决了播放问题。然而，自动选择的格式为mpeg4，而非预期的h。修改接口以指定输出格式后，问题最终得到解决。

       总结而言，录制mp4视频在浏览器播放失败的问题，关键在于ffmpeg处理视频格式、编码器选择以及视频帧数据的pts和dts标签。通过逐步调试和分析，我们不仅解决了当前问题，还加深了对ffmpeg工具的理解。这不仅涉及到编码格式的正确使用，也涉及到了视频播放所需的额外信息（如codec_tag、pts、dts等）的正确处理。在解决技术难题时，深入的sonar源码调试、代码分析以及利用适当的工具进行辅助，都是至关重要的步骤。

FFmpeg视频播放器开发-FFmpeg简介与项目环境搭建(一)

       前言：在众多视频开发库中，微软的DirectShow、开源库OpenCV、SDL以及大华和海康的专属库等都是不错的选择。然而，FFmpeg在音视频领域具有举足轻重的地位。众多软件如迅雷、腾讯视频、QQ、微信、QQ音乐、暴风影音、爱奇艺、优酷和格式工厂等都采用了FFmpeg技术。

       QQ客户端

       腾讯视频

       爱奇艺客户端

       FFmpeg的流媒体视音频编解码功能十分强大，几乎涵盖了所有的视音频编码标准。因此，只要涉及到视音频开发，几乎都离不开FFmpeg。

       关于FFmpeg的博客和源码讲解有很多，其中雷神的博客最为知名。本系列教程在讲解过程中也会引用到其他人的研究成果，以便我们站在巨人的肩膀上。如有不当或错误之处，请各位朋友及时指出。

       本教程是在Windows下的VS + Qt环境中开发。对于Linux或Mac操作系统，部分代码可以借鉴，但环境配置会有所不同。

       一、配置Windows下FFmpeg开发环境

       1.1 FFmpeg下载

       官网链接：ffmpeg.zeranoe.com/buil...

       可以下载最新版本或以前的版本，例如4.0版本。选择4.0版本后，依次下载Static、Share、Dev三个文件。位版本的三个文件如下：

       Dev文件夹下包含include和lib文件

       Shared文件的Bin目录包含ffmpeg的dll

       1.2 在VS中配置FFmpeg

       FFmpeg在VS中的配置很简单，只需按照常规SDK配置方式操作，开发时只需包含include、lib和bin目录中的expressauto源码文件。例如，创建一个C++控制台程序，右键点击项目名--属性。

       （1）添加头文件目录

       （2）添加lib目录

       （3）在附加依赖项中填写lib名称

       附上各个lib的名称，方便大家粘贴。

       （4）将ffmpeg bin目录下的dll文件放入生成的exe所在目录，方便使用。关于/位版本的选择，请自行决定。

       二、VS和Qt的安装

       本教程以Qt作为界面库进行播放器开发。Qt相对于MFC来说，学习起来更简单，并且可以跨平台，适用于Linux和Mac程序的开发。我将Qt安装在VS中，因为VS调试方便，功能强大。

       如果Qt和VS都安装好了，请继续阅读下一篇博客。如果Qt没有安装好，可以参考网上的安装方法。

       三、软件界面与主要功能

       本地视频播放

       网络拉流

       菜单项

       播放器的基本功能都有，如双击放大全屏、视频进度拖拽、音量调整等。其他功能将逐步更新。

       源码将在第五六篇博客中上传到github。

       工欲善其事，必先利其器。环境配置完成后，下一篇文章将开始FFmpeg开发之旅。

       首先，恭喜您能认真阅读到这里。如果对部分内容理解不太清楚，建议将文章收藏起来，查阅相关知识点后再进行阅读，这样您会有更深的认知。如果您喜欢这篇文章，请点赞或关注我吧！！

FFmpeg开发笔记（十三）Windows环境给FFmpeg集成libopus和libvpx

       本文将指导读者在Windows环境下，如何为FFmpeg集成libopus和libvpx，进而支持Opus音频编码与VP8/VP9视频编码。首先，介绍libopus的集成步骤。libopus是用于语音交互和音频传输的编码标准，其编解码器为libopus。下载最新版libopus源码，解压后执行配置命令./configure --prefix=/usr/local/libopus。接着，编译并安装libopus，确保环境变量PKG_CONFIG_PATH已包含libopus的pkgconfig路径。

       随后，转向libvpx的集成。libvpx是VP8和VP9视频编码标准的编解码器。下载最新libvpx源码，解压并配置./configure --prefix=/usr/local/libvpx --enable-pic --disable-examples --disable-unit-tests，确保使用了--enable-pic选项以避免在编译FFmpeg时的错误。编译、安装libvpx后，同样更新PKG_CONFIG_PATH环境变量。

       为了在FFmpeg中启用libopus和libvpx，需要重新编译FFmpeg。确保所有相关库的pkgconfig路径已加载至环境变量PKG_CONFIG_PATH中。通过命令./configure --prefix=/usr/local/ffmpeg --arch=x_ --enable-shared --disable-static --disable-doc --enable-libx --enable-libx --enable-libxavs2 --enable-libdavs2 --enable-libmp3lame --enable-gpl --enable-nonfree --enable-libfreetype --enable-sdl2 --enable-libvorbis --enable-libopencore-amrnb --enable-libopencore-amrwb --enable-version3 --enable-libopus --enable-libvpx --enable-iconv --enable-zlib --extra-cflags='-I/usr/local/lame/include -I/usr/local/libogg/include -I/usr/local/amr/include' --extra-ldflags='-L/usr/local/lame/lib -L/usr/local/libogg/lib -L/usr/local/amr/lib' --cross-prefix=x_-w-mingw- --target-os=mingw重新配置FFmpeg，启用libopus与libvpx功能。接着，执行编译与安装命令，完成FFmpeg的集成。

       最后，通过命令ffmpeg -version检查FFmpeg版本信息，确认是否成功启用libopus与libvpx。至此，FFmpeg已成功在Windows环境下集成了libopus和libvpx，支持Opus音频编码与VP8/VP9视频编码。此过程为视频处理应用提供了更丰富编码格式支持，提高了FFmpeg的多功能性与适应性。

FFmpeg开发笔记（十二）Linux环境给FFmpeg集成libopus和libvpx

       在FFmpeg开发中，为了支持WebM格式的视频，特别是其音频编码的Opus和视频编码的VP8/VP9，需要在Linux环境中集成libopus和libvpx库。以下是具体的操作步骤：

       1. 安装libopus：首先，从ftp.osuosl.org下载libopus源码，如libopus-1.4。解压后，运行`./configure`进行配置，接着执行`make`和`make install`编译并安装。

       2. 安装libvpx：访问github.com/webmproject获取libvpx-1..1源码。解压后，使用`./configure --enable-pic --disable-examples --disable-unit-tests`配置，然后编译并安装，即`make`和`make install`。

       3. 重新编译FFmpeg：由于FFmpeg默认不支持opus和vpx，需要在FFmpeg源码目录下，通过`./configure`命令添加`--enable-libopus --enable-libvpx`选项。接着执行`make clean`清理，`make -j4`编译，最后使用`make install`安装并检查FFmpeg版本以确认成功启用。

       按照以上步骤，你就能在Linux环境中成功集成libopus和libvpx到FFmpeg，从而支持WebM格式的视频编码。《FFmpeg开发实战：从零基础到短视频上线》一书中的详细说明提供了完整的指导。

FFmpeg视频播放器开发解封装解码流程、常用API和结构体简介（一）

       在编撰FFmpeg播放器之前，深入了解FFmpeg库、播放与解码流程、相关函数以及结构体是必不可少的。

       FFmpeg是一个强大的库，它整合了多种库实现音视频编码、解码、编辑、转换、采集等功能。当处理如MP4、MKV、FLV等封装格式的视频文件时，播放过程大致包括以下几个关键步骤：

       在构建播放器时，需要关注的首要环节是解码过程，本文将对解码流程、涉及的API和结构体进行详细阐述。

       FFmpeg解码流程涉及以下几个关键步骤，包括使用av_register_all()初始化编码器，通过avformat_alloc_context()打开媒体文件并获取解封装上下文，使用avformat_find_stream_info()探测流信息，调用avcodec_find_decoder()查找解码器，然后用avcodec_open2()初始化解码器上下文，调用av_read_frame()读取视频压缩数据，通过avcodec_decode_video2()解码视频帧，最后使用avformat_close_input()关闭解封装上下文。

       涉及的FFmpeg API包括：

       av_register_all()：初始化编码器

       avformat_alloc_context()：初始化解封装上下文

       avformat_find_stream_info()：探测流信息

       avcodec_find_decoder()：查找解码器

       avcodec_open2()：初始化解码器上下文

       av_read_frame()：读取视频压缩数据

       avcodec_decode_video2()：解码视频帧

       avformat_close_input()：关闭解封装上下文

       在FFmpeg中，关键结构体如下：

       AVFormatContext：解封装上下文，存储封装格式中包含的信息。

       AVStream：存储音频/视频流信息的结构体。

       AVCodecContext：描述编解码器上下文的结构体，包含了编解码器所需参数信息。

       AVCodec：存储编码器信息的结构体。

       AVCodecParameters：分离编码器参数的结构体，与AVCodecContext结构体协同工作。

       AVPacket：存储压缩编码数据相关信息的结构体。

       AVFrame：用于存储原始数据的结构体，如视频数据的YUV、RGB格式，音频数据的PCM格式，解码时存储相关数据，编码时也存储相关数据。

       深入理解这些API和结构体对于构建高效的FFmpeg播放器至关重要。本文提供的FFmpeg源代码分析链接和相关学习资源，为深入学习提供了参考。

极智开发 | ubuntu源码编译gpu版ffmpeg

       欢迎访问极智视界公众号，获取更多深入的编程知识与实战经验分享。

       本文将带你了解在 Ubuntu 系统中，如何进行源码编译，获得 GPU 加速版本的 FFmpeg 工具。

       FFmpeg 是一款功能强大的音视频处理工具，支持多种格式的音视频文件，并提供了丰富的命令行工具和库，允许开发者在 C 语言或其他编程语言中进行音视频处理。

       然而，FFmpeg 本身并不具备 GPU 加速功能。通过集成 CUDA SDK、OpenCL 或 Vulkan 等第三方库，能够实现 FFmpeg 的 GPU 加速，显著提升处理速度和性能。

       在本文中，我们将重点介绍如何在 Ubuntu 系统中编译 GPU 加速版本的 FFmpeg。

       首先，确保已安装 nv-codec-hearers，这是 NVIDIA 提供的 SDK，用于在 GPU 上加速 FFmpeg 的操作。

       接下来，安装 FFmpeg 编码库和相关依赖，完成 FFmpeg 的编译配置。

       最后，运行编译命令，检查 FFmpeg 是否成功安装并验证 GPU 加速功能。

       至此，GPU 加速版本的 FFmpeg 已成功编译和安装，能够为你在音视频处理任务中带来显著性能提升。

       通过极智视界公众号，获得更多有关人工智能、深度学习的前沿技术与实用知识，欢迎加入知识星球，获取丰富的资源与项目源码，共同探索 AI 领域的无限可能。

FFmpeg源码分析: AVStream码流

       在AVCodecContext结构体中，AVStream数组存储着所有视频、音频和字幕流的信息。每个码流包含时间基、时长、索引数组、编解码器参数、dts和元数据。索引数组用于保存帧数据包的offset、size、timestamp和flag，方便进行seek定位。

       让我们通过ffprobe查看mp4文件的码流信息。该文件包含5个码流，是双音轨双字幕文件。第一个是video，编码为h，帧率为.fps，分辨率为x，像素格式为yuvp。第二个和第三个都是audio，编码为aac，采样率为，立体声，语言分别为印地语和英语。第四个和第五个都是subtitle，语言为英语，编码器为mov_text和mov_text。

       调试实时数据显示，stream数组包含以下信息：codec_type（媒体类型）、codec_id、bit_rate、profile、level、width、height、sample_rate、channels等编解码器参数。

       我们关注AVCodecContext的编解码器参数，例如codec_type、codec_id、bit_rate、profile、level、width、height、sample_rate和channels。具体参数如下：codec_type - 视频/音频/字幕；codec_id - 编码器ID；bit_rate - 位率；profile - 编码器配置文件；level - 编码器级别；width - 宽度；height - 高度；sample_rate - 采样率；channels - 音道数。

       AVStream内部的nb_index_entries（索引数组长度）和index_entries（索引数组）记录着offset、size、timestamp、flags和min_distance信息。在seek操作中，通过二分查找timestamp数组来定位指定时间戳对应的帧。seek模式有previous、next、nearest，通常使用previous模式向前查找。

       时间基time_base在ffmpeg中用于计算时间戳。在rational.h中，AVRational结构体定义为一个有理数，用于时间计算。要将时间戳转换为真实时间，只需将num分子除以den分母。