1.FFmpeg 流媒体处理 - 收流与推流
2.FFMPEG编译裁剪移植
3.音视频流媒体开发系列（78)ffmpeg实战教程（一）Mp4，码下mkv等格式解码为h264和yuv数据
4.RTMP 视频数据封装
5.流媒体客户端RTMP拉流保存h264（flv保存为h264）

FFmpeg 流媒体处理 - 收流与推流

       流媒体技术的码下定义与应用

       流媒体，作为多媒体应用技术的码下一种，指的码下是通过网络进行分段传输的连续媒体数据，实现即时播放的码下一种技术与过程。这种技术使得数据包能像流水一样快速传输，码下什么是html源码避免了必须下载整个媒体文件的码下传统方式。关于流媒体的码下基础概念，可参考观止云的码下“流媒体|从入门到出家”系列文章，了解更多深入信息。码下

       FFmpeg中的码下流媒体处理层次

       FFmpeg在处理音视频数据时，划分了四个层次：协议层、码下容器层、码下编码层和原始数据层。码下协议层提供网络协议收发功能，码下包括libavformat库与第三方库的支持；容器层处理各种封装格式，由libavformat库提供；编码层负责音视频编码和解码，由libavcodec库与第三方编解码库支持；原始数据层处理未编码的原始音视频帧，由libavfilter库提供支持。本文提及的收流与推流功能，属于协议层的处理。

       FFmpeg的协议与封装格式处理

       在FFmpeg中，libavformat库提供了丰富的协议处理和封装格式处理功能。在打开输入/输出时，FFmpeg会根据URL来探测输入/输出格式，选择合适的协议和封装格式。例如，输出URL为"rtmp://..0./live"时，FFmpeg会确定使用rtmp协议，封装格式为flv。

       流媒体系统中的角色

       流媒体系统涉及三个主要角色：流媒体服务器、推流客户端和收流客户端。推流客户端是内容生产者，收流客户端是内容消费者。推流客户端将内容推送到流媒体服务器，收流客户端则从流媒体服务器获取内容。

       收流与推流功能

       当输入为网络流，输出为本地文件时，实现收流功能，即将网络流存储为本地文件；当输入为本地文件，输出为网络流时，实现推流功能，即将本地文件推送到网络；当输入和输出均为网络流时，实现转流功能，即将一个流媒体服务器上的流推送到另一个流媒体服务器。

       相关视频推荐

       相关视频推荐

       免费学习地址

       免费分享资料包、魅思源码搭建大厂面试题、技术视频和学习路线图，资料包括（C/C++，Linux，FFmpeg webRTC rtmp hls rtsp ffplay srs 等等）有需要的可以点击加群免费领取哦~

       源码与转封装例程

       源码与转封装例程大部分相同，可视为转封装例程的增强版。收流代码与打开普通文件的代码无异，FFmpeg能识别流协议及封装格式，使用相应的协议层代码接收流，处理后的数据与普通文件内容一致。推流需要注意封装格式指定和流媒体服务器的处理速度。

       测试与验证

       测试需要搭建流媒体服务器，推荐使用nginx-rtmp服务器。搭建时，可使用docker镜像简化过程。通过配置docker服务、镜像加速、拉取nginx-rtmp镜像、打开容器、防火墙添加例外端口等步骤完成搭建。测试文件下载、ffmpeg推流、ffplay收流播放，验证服务器功能。

       编译与测试

       下载例程源码后，执行shell命令下载，并在源码目录执行./compile.sh生成streamer可执行文件。测试文件下载与推流、收流功能，确保系统正常运行。

       遗留问题

       推流和收流过程中，可能出现结束信息输出，提示程序退出。此类问题通常与系统资源或配置相关，需要根据实际情况进行排查和调整。

FFMPEG编译裁剪移植

       1.ffmpeg文件结构说明

       1.1 ffmpeg模块说明

       libavformat

       用于各种音视频封装格式的生成和解析，包括获取解码所需信息以生成解码上下文结构和读取音视频帧等功能；音视频的格式解析协议，为 libavcodec 分析码流提供独立的音频或视频码流源。

       libavcodec

       用于各种类型声音/图像编解码。该库是音视频编解码核心，实现了市面上可见的绝大部分解码器的功能。

       libavdevice

       硬件采集、加速、显示。操作计算机中常用的在线考试后台源码音视频捕获或输出设备。

       libavfilter

       音视频滤波器的开发，如宽高比、裁剪、格式化、非格式化伸缩。

       libavutil

       包含一些公共的工具函数的使用库，包括算数运算、字符操作。

       libavresample

       音视频封转编解码格式预设等。

       libswscale

       原始视频格式转换，用于视频场景比例缩放、色彩映射转换；图像颜色空间或格式转换，如 rgb、rgb 等与 yuv 等之间转换。

       libswresample

       原始音频格式转码。

       libpostproc

       同步、时间计算的简单算法，用于后期效果处理；音视频应用的后处理，如图像的去块效应

       在编译ffmpeg源码之前，我们可以通过配置编译参数选择是否编译生成如上库。一般而言，要实现最基本的音视频编解码功能，libavformat，libavcodec，libavutil这三个库是不可缺少的。我们通过使能或失能ffmpeg支持的组件，如编解码器、分流器、合流器、解析器、协议类型等，来裁剪库文件的大小。

       1.2名词解释

       encoder // 编码器

       decoder // 解码器

       hwaccel // 硬件加速器

       muxer // 合流器

       demuxer // 分流器

       parser // 解析器

       bsf // 比特过滤器

       protocol // 协议

       indev // 输入设备

       outdev // 输出设备

       filter // 过滤器

       相关学习资料推荐，点击下方链接免费报名，先码住不迷路~

       音视频免费学习地址：FFmpeg/WebRTC/RTMP/NDK/Android音视频流媒体高级开发

       免费分享音视频学习资料包、大厂面试题、技术视频和学习路线图，资料包括（C/C++，Linux，FFmpeg webRTC rtmp hls rtsp ffplay srs 等等）有需要的可以点击 加群免费领取~

       2.编译

       ffmpeg 编译帮助

       主要包含一下选项

       Help options // 帮助选项，可以查看全部支持的编解码，硬件加速器，解析器、输入输出设备等参数的列表，一般做裁剪时需要查询；

       Standard options // 标准选项，仿淘新闻 源码主要是目录路径相关的设置，常用的为--prefix=PREFIX 设置安装路径；

       Licensing options // license 相关选项 GPL使能设置相关；

       Configuration options // 配置选项，常用的--disable-static关闭静态库 默认是开启静态库编译的--enable-shared 使能动态库编译，编译出动态库--enable-small优化大小而不是注重运行速度；

       Program options // 编译出工具文件，一般的bin文件，常用的ffmpeg ffprobe 和ffplay三个工具的bin文件编译；

       Documentation options // 文档选项，是否构建文档页面，个人猜测是工具的帮助文件是否编译进去，里面支持html manpage txt等格式文件；

       Component options // 组件选项，常用使能或者关闭某些模块的编译，libavformat，libavcodec，libavutil这三个库一般是不可或缺的，还有其他的组件按自己需要使能；

       Individual component options // 独立的组件选项，更为具体的组件编译选项，如果需要剪裁一般情况先使用--disable-everything 关闭全部的组件，然后再单独开启需要的组件；

       External library support // 扩展库支持，允许FFmpeg链接到相应的外部库；

       Toolchain options // 工具链选项，交叉编译常用，比较常用的--arch=ARCH 指定系统架构 --cpu=CPU指定cpu类型 --cross-prefix交叉编译工具链前缀 --enable-cross-compile 使能交叉编译--target-os=OS指定操作系统；

       Advanced options (experts only) // 高级选项，一般较少使用，不懂的请慎用，以免引进bug；

       Optimization options (experts only): --disable-asm关闭所有的优化选项

       Developer options (useful when working on FFmpeg itself): --disable-debug 关闭调试符号信息，减小库大小；

       2.1全编配置

       采用默认配置 交叉编译，在当前目录下output文件夹生成对应的文件

       编译后的文件夹下有bin include lib share 目录bin存放交叉编译后的ffmpeg等工具bin文件，include目录存放头文件，移植需要 lib存放动态和静态库，将lib里面的文件拷贝到板端或者静态库使用即可；

       编译后未经裁剪的ffmpeg库实在太大，十几M的大小，需要裁剪；

       2.2裁剪库

       ffmpeg 库过大，很多功能其实没必要使用的， 裁剪为仅支持mp4 和 avi两种格式的视频，avi:视频采用h编码，音频采用pcm_alaw mp4:视频h,音频aac格式；这个指令其实还可以进一步裁剪，不想麻烦，够用就行，不再裁剪@_@；

       裁剪后的文件大小最大也只剩1.1M，大小减少倍；

       3.ffmpeg移植问题

       3.1时间冲突问题

       libavutils/time.h文件名字和linux系统的time.h的名字冲突,在编译的时候会出现time.h文件是有两个，无法区分是哪个time.h,因此会出现报错，如果在ffmepg里将time.h文件重命名可以解决这个问题，但这样太麻烦而且容易出错，采用另外一种方式，将makefile的搜索路径更改为只搜索到include文件夹，然后在include文件夹下放置相关的头文件，而在调用的linux 源码安装apachc文件上路径改为

       这样就躲开了搜索文件名字一样的问题，其本质是将ffmpeg的time.h重新命名为libavutils/time.h

       3.2函数符号导出问题

       由于移植需要单独导出库内部的局部函数，如mov_write_packet mov_write_header mov_write_trailer等函数，将movenc.c对应函数的static去掉，同时在libavformat.h文件声明函数，但是生成的库会发现没有找到对应的函数符号

       avi相关的函数也做同样的处理，但是avi有这个函数符号，这个问题只能反推编译过程查找哪里将函数符号屏蔽掉了采用指令

       发现在生成库的时候会调用一个脚本文件，这个脚本文件最后在config.mak里面指定了

       --version-script这个选项仅仅导出要使用的符号表，这个文件对应libavformat里面的就是libavformat.vlibavformat.verlibavformat.version,后两个文件都是根据第一个文件产生的，查看libavformat.v文件

       显然，在这里屏蔽掉了非av开头的全部函数，所有mov开头的函数无法被外部调用，因此更改这个文件，将mov开头的函数也导出

       重新编译发现可以调用mov开头的函数了。

       不足之处，敬请指出，谢谢^_^

       4.参考资料

       CSDN 博客 SigmaStarDocs 《ffmpeg基础库编程开发》

       原文 FFMPEG编译裁剪移植_ffmpeg编译到移远模块_Kingkim的博客-CSDN博客

音视频流媒体开发系列（)ffmpeg实战教程（一）Mp4，mkv等格式解码为h和yuv数据

       在这个FFmpeg实战教程中，我们将探索如何将常见的视频格式如MP4和MKV解码为H和YUV数据。首先，让我们来看一个实例，通过运行解码过程，你将看到两个文件的生成，分别对应解码后的h和YUV数据，其中h由于采用了高效的压缩技术，文件大小明显小于YUV文件。

       解码流程包括以下步骤：首先，将ws.mp4文件复制到项目目录，然后创建两个输出文件。接下来，初始化所需的组件，接着打开视频文件，获取视频信息并选择合适的解码器。在解码过程中，要注意av_read_frame()循环结束后可能遗留少量帧数据，这时需要调用flush_decoder函数，将这些帧数据完整输出。

       下面是源代码示例，展示如何执行这些操作：

       拷贝ws.mp4并创建输出文件

       初始化解码器和相关组件

       打开和解码视频

       使用flush_decoder确保所有帧数据都被处理

       运行程序后，你将看到生成的h和YUV文件。如果你对音视频开发感兴趣，可以关注我们的免费学习资源，包括FFmpeg、WebRTC、RTMP、NDK和Android高级开发等内容。群文件中提供了详细的面试题、学习资料和教学视频，以及学习路线图，点击加群获取，希望能对你有所帮助。

       对于Windows用户，需要配置FFmpeg环境。首先从ffmpeg.zeranoe.com下载相应版本的shared和dev版本，然后将include和lib文件夹分别复制到指定位置，最后在MinGW命令行中执行命令。而对于Linux或MacOS用户，可以在GCC命令行环境中进行操作。

RTMP 视频数据封装

       RTMP协议，是一个基于TCP的实时消息传输协议，由Adobe Systems公司开发，用于Flash播放器和服务器之间的音频、视频和数据传输。在国内，RTMP广泛应用于直播领域，其默认端口为，与HTTP的默认端口不同。通过阅读Adobe的协议规范并建立与服务器的TCP通信，按照协议格式生成和解析数据，即可使用RTMP进行直播操作，或者使用实现了RTMP协议的开源库来实现这一过程。

       RTMPDump是一个开源工具包，专门用于处理RTMP流媒体。它能独立运行进行RTMP通信，也可以通过FFmpeg接口集成到FFmpeg中使用。RTMPDump的源代码可以从rtmpdump.mplayerhq.hu/d...下载。为了在Android中直接调用RTMPDump进行RTMP通信，需要在JNI层进行交叉编译。RTMPDump的源代码结构包括Makefile和一系列.c源文件。编译过程需要通过CMakeLists.txt进行，将其放入AS中，复制librtmp到src/main/cpp/librtmp，并编写CMakeLists.txt，导入app/CMakeLists.txt。

       RTMP视频流格式与FLV很相似，理解FLV的格式文档可以帮助我们构建RTMP视频数据。RTMP中的数据由FLV的TAG中的数据区组成。在FLV中，第一个字节表示数据类型，如0x表示视频，数据大小为字节，时间戳和流ID分别由后续的字节表示，最后的字节表示数据块的总大小。在AVCVIDEOPACKET中，数据结构与类型决定了后续数据的内容，包括版本、合成时间、SPS与PPS等关键信息。在构建AVC序列头和非AVC序列头时，需要注意数据的类型区分。

       H.码流在网络中传输时以NALU（Network Abstract Layer Unit）的形式进行。NALU是NAL（Network Abstract Layer）单元，是H.编码标准中的一个概念。编码后的H.数据被分割为多个NAL单元，每个单元包含了视频帧的一部分信息。在将数据封装到RTMP包中时，需要去除分隔符，然后将NAL数据加入到RTMPPacket中。完整的封包代码需要将这些步骤结合在一起实现。

       综上所述，理解RTMP协议、RTMPDump的使用以及如何在不同环境下构建RTMP视频数据和封装H.数据是进行实时流媒体传输的关键步骤。正确地使用这些工具和技术，能够有效地实现直播和视频流的传输。

流媒体客户端RTMP拉流保存h（flv保存为h）

       librtmp是通过调用int RTMP_Read(RTMP *r, char *buf, int size); 来拉取流，直接得到的流是flv格式，保存后即可播放。

       RTMP_Read内部调用Read_1_Packet，其功能是从网络上读取一个RTMPPacket的数据，RTMP_Read在此基础上增加了个字节的flv头。

       在librtmp的源码中，可以看到flv头信息。

       flv头实际只有9个字节，但为何是个字节？因为除了9个字节的flv头外，还有多个Tag，每个Tag的开头有4个字节表示上一个Tag的长度，即使是第一个Tag也需填充这4个字节，以匹配源码中的flvHeader。

       srs_librtmp是通过srs v2.0-r6版本（v2.0-r7版本加入了ipv6功能，但连接rtmp服务器时总是失败，可能是个人使用不当）来拉流并保存为flv文件。

       从srs导出的srs_librtmp客户端详情见github.com/ossrs/srs/wiki...，导出后，在research/librtmp下有作者编写的demo，其中srs_rtmp_dump.c用于从rtmp服务器拉流并保存为flv文件。

       以下是简化版的demo源码，我注释了自己的理解，若有错误请指正。在vs下此代码能编译运行，但在linux下能正常播放。

       主要讲述了flv头信息的结构，srs_librtmp源码中srs_flv_write_tag通过data封装成Tag并写入flv文件，srs_rtmp_read_packet读取的数据是flv文件中的tag data。

       Tag data分为Audio、Video、Script三种，这里仅讲解Video Tag Data。

       VideoTagHeader的第一个字节包含了视频帧类型及视频CodecID的基本信息。VideoTagHeader之后跟着的是VIDEODATA数据，即video payload，对于H.格式的视频，VideoTagHeader会额外包含4个字节的信息。

       AVCPacketType和CompositionTime。AVCPacketType表示VIDEODATA的内容类型：若AVCPacketType为0，则为AVCDecoderConfigurationRecord（H.序列头）；若为1，则为一个或多个NALU（完整帧是必需的）。

       AVCDecoderConfigurationRecord包含H.解码相关的sps和pps信息，解码器在送数据流之前必须送出sps和pps信息，否则解码器不能正常解码。在解码器停止后再次开始之前，如seek、快进快退状态切换等，都需要重新送出sps和pps的信息。AVCDecoderConfigurationRecord在FLV文件中通常只出现一次，即第一个video tag，但有些视频流的sps和pps可能会发生变化，所以可能会出现多次。

       Composition Time用于告知渲染器视频帧进入解码器后多长时间在设备上显示。在flv格式中，timestamp用于告知帧何时提供给解码器，单位为毫秒。Composition Time告诉渲染器视频帧显示的时间，因此compositionTime = (PTS - DTS) / .0。

       总结如下：使用srs_librtmp拉流，拉取的数据为一个又一个的Tag Data，可通过type与宏值比较判断Tag Data是否为Video Tag Data。连接rtmp服务器拉流时收到的第一个Video Tag Data通常包含PPS和SPS信息。对于每个h编码的Video Tag Data，会多出4个字节的AVCPacketType和CompositionTime，其中CompositionTime用于B帧，这里暂时忽略它，我们仅支持P帧和I帧。Frame Type在h编码中只能是1或2，Frame Type == 1表示关键帧或包含PPS和SPS信息的Video Tag Data。CodecID在h编码中只能是7（AVC）。当AVCPacketType == 0时，Video Tag Data包含SPS和PPS信息；当AVCPacketType == 1时，为帧数据。

       获取PPS和SPS信息非常关键，如果不告知解码器，根本无法播放视频。我写了一段代码，虽然技术有限，但希望能帮助到您。

       AVCPacketType为1表示Video Tag Body的内容是NALU。Frame Type为1表示NALU内容是关键帧，Frame Type为2表示NALU内容是非关键帧。NALU的开头的4个字节表示NALU的长度（nalu_length），nalu_length之后是一个字节的nalu header。

       nalu header中nal_ref_idc表示优先级，范围在~（2进制），值越大表示越重要。值指示NAL单元的内容不用于重建影响图像的帧间图像预测。对于nal_unit_type为6、9、、、的NAL单元，H.规范要求NRI的值应该为0。对于nal_unit_type等于7、8（指示顺序参数集或图像参数集）的NAL单元，H.编码器应设置NRI为（二进制格式）。nal_unit_type表示nalu类型，SPS开头是0x（nal_ref_idc为3，nal_unit_type为7），PPS开头是0x（nal_ref_idc为3，nal_unit_type为8），关键帧开头是0x（nal_ref_idc为3，nal_unit_type为5），非关键帧开头是0x（nal_ref_idc为2，nal_unit_type为1）。nal_unit_type为5表示idr帧，idr帧具有随机访问能力，所以每个idr帧前需要加上sps和pps。startcode起始码。

       H.原始码流由一个一个的NALU组成，其结构包括起始码（0x或0x，取决于编码器实现）和数据。具体何时使用3个字节的起始码，何时使用4个字节的起始码，这个我没有完全弄明白，资料中提到具体哪种开头取决于编码器实现。0x是NAL起始前缀码，解码器检测每个起始码，作为NAL的起始标识，当检测到下一个起始码时，当前NAL结束。同时H.规定，当检测到0x时，也可以表示当前NAL的结束。对于NAL中数据出现0x或0x时，H.引入了防止竞争机制，如果编码器检测到NAL数据存在0x或0x时（非起始码，而是真正的音视频数据），编码器会在最后个字节前插入一个新的字节0x，这样当遇到0x或0x时就一定是起始码了。解码器检测到0x时，把抛弃，恢复原始数据。因此，组装H的步骤如下：读取tag data并判断是否是video tag data，判断frameType和AVCPacketType，区分video tag data是AVCDecoderConfigurationRecord还是NALU，如果是AVCDecoderConfigurationRecord则解析PPS和SPS保存在内存中并加上startcode（我这里加的是0x），如果是NALU，则判断nal_unit_type（有些NALU的流比较奇怪，依然包含PPS、SPS信息，甚至还有SEI信息）。switch case根据不同的nal_unit_type来解析，并加上startcode。如果nal_unit_type == 0x，则是idr帧，需要加上PPS和SPS信息（即一个idr通常包含3个startcode，SPS一个PPS一个idr帧数据一个）。

       以下是完整代码：

       rtmpTo.h

       rtmpTo.cpp

       main.cpp

       原文链接：blog.csdn.net/qq_...