皮皮网

1.ZLMediaKit 服务器源码解读---RTSP推流拉流
2.ffmpeg使用NVIDIA GPU硬件编解码
3.如何让WebRTC支持H264？

ZLMediaKit 服务器源码解读---RTSP推流拉流

       RTSP推流与拉流在ZLMediaKit服务器源码中有着清晰的源码解析过程和处理逻辑。数据解析通过回调到达RtspSession类的源码onRecv函数，进而进行分包处理，源码头部数据与内容分离。源码根据头部信息判断数据包类型，源码rtp包与rtsp包分别由onRtpPacket和onWholeRtspPacket函数处理。源码Tinyxml源码解读

       RTSP处理过程中，源码解析出的源码交互命令被分发至不同的处理函数。对于rtp包处理，源码数据封装成rtp包后，源码执行onBeforeRtpSorted函数进行排序，源码排序后的源码数据放入缓存map，最终回调到RtspSession的源码onRtpSorted函数。这里，源码书生源码回调数据进入RtspMediaSourceImp成员变量，源码该变量指向RtspDemuxer解复用器，用于H等视频格式的解复用。

       在H解复用器中，rtp包经过一系列处理后，由HRtpDecoder类的decodeRtp函数转化为H帧数据，最终通过RtpCodec::inputFrame函数分发至代理类。代理类在处理H帧数据时，分包并添加必要参数（如pps、sps信息），然后通过map对象将数据传递给多个接收者。

       处理完H帧后，数据将流转至编码阶段。热成像源码在RtspMediaSourceImp中，H帧数据被传递至MultiMediaSourceMuxer编码类。在编码过程中，数据通过RtspMuxer的inputFrame接口进入编码器HRtpEncoder，最后被打包成rtp包，准备分发。

       总结而言，RTSP推流过程主要包含数据解析、视频解复用与编码三个关键步骤。在拉流阶段，通过鉴权成功后获取推流媒体源，利用play reader从缓存中取出rtp包并发送给客户端。

ffmpeg使用NVIDIA GPU硬件编解码

       要在Ubuntu .上利用NVIDIA GPU硬件加速ffmpeg 3.4.8的宝贝描述源码编解码功能，首先需要安装必要的依赖库和特定驱动。

       1. 安装依赖库：确保系统具备基本的开发环境，可以通过apt命令安装。

       2. 安装ffnvcodec：这是关键组件，用于利用NVIDIA硬件进行视频编码和解码。

       遇到官方驱动安装问题时，建议采取以下步骤：

       卸载旧版本Nvidia驱动

       加入显卡驱动的PPA（个人包存档）

       查找并安装最新NVIDIA驱动，可能需要查看官方文档获取版本号

       推荐学习资源：有关音视频开发的免费课程，包括FFmpeg、WebRTC等，可通过链接获取更多资料和学习资料包。

       3. 安装CUDA：CUDA是NVIDIA提供的GPU计算库，对视频编解码的短线起爆 源码支持至关重要，可以从developer.download.nvidia.cn下载。

       4. 编译ffmpeg：在安装完CUDA后，进行ffmpeg的编译。在编译前，务必检查系统环境是否正确设置。

       针对NVIDIA NVENC并发Session数量的限制，如果你的GTX显卡限制在2路编码，可以参考老雷的Windows解决方案，虽然Linux下修改方法尚未在GitHub上找到通用解决方案，但已有一些针对不同驱动版本的特定修改，如github.com/keylase/nvidia...。

       对于编码输出帧的问题，当使用nvenc或h_nvenc时，可能会出现SEI帧在RTP传输中导致错误。解决方法是直接在ffmpeg源码中的nvenc.c文件进行适当修改。

       最后，完成上述步骤后，你可以编译ffmpeg进行测试，确保硬件加速功能正常工作。

如何让WebRTC支持H？

       编译选项调整

       WebRTC能支持H，但在Linux下编译时默认未启用。关键在于rtc_use_h开关，控制着是否使用H。通过在webrtc/webrtc.gni文件中调整proprietary_codecs选项，即可开启H支持。

       调整proprietary_codecs为true后，打开rtc_use_h选项，使能OpenH编码支持。WebRTC内部会使用ffmpeg来解码H，需要确保rtc_initialize_ffmpeg选项为true以使ffmpeg初始化。

       调整配置后，运行gn gen命令生成构建文件，验证选项是否生效。使用命令检查Current Value为true时，说明已成功启用H支持。

       要完全启用H，还需调整C++代码中FFMPEG_H_DECODER宏，确保avcodec_register_all()方法注册H解码器。

       此外，注意Linux编译WebRTC时，生成的构建文件可能缺少ffmpeg的H解码器源代码。因此，在third_party/ffmpeg/ffmpeg_generated.gni文件中打开相关条件，确保H解码器可用。

       在C++音视频开发学习中，需要调整代码来改变默认的编解码顺序，将H置于优先位置，以适应不同的应用需求。

       使用特定模块编译并重新构建native app后，H支持即可在WebRTC中生效。

       关于WebRTC使用H会黑屏的问题，WebRTC以出色的QoS而著称，支持VP8和VP9视频，但在使用H时，质量可能不如VP8/VP9，存在卡顿、时延增加和块状效应等问题。

       深入分析WebRTC的QoS策略后发现，H的FEC（前向纠错）被关闭，这与VP8/VP9不同。此外，H的FEC存在BUG，可能导致解码失败，引起视频卡顿。H的FEC机制与VP8/VP9不兼容，以及RTP组包协议的差异，导致H无法启用时间分级。

       综上所述，WebRTC使用H时，需调整编译选项、代码配置以及理解其QoS策略与编码器特性，以确保稳定性和性能。