皮皮网

1.Windows平台快速实现RTSP/RTMP直播播放能力
2.KMPlayer版本历史
3.RTMP推流及协议学习
4.音视频开发：ZLMediaKit库入门使用 编译安装
5.FFmpeg学习(一)开篇
6.音视频流媒体开发系列（78)ffmpeg实战教程（一）Mp4，源码mkv等格式解码为h264和yuv数据

Windows平台快速实现RTSP/RTMP直播播放能力

       本文详细介绍如何快速在Windows平台实现RTSP/RTMP直播播放能力，源码主要通过调用大牛直播播放SDK实现。源码首先，源码确保正确集成所需的源码C++和C#头文件，并将相关lib库复制到系统目录。源码storm的源码分析在集成所需的源码工程中，通过修改属性，源码设置工程的源码名称。初始化SDK时，源码需调用NT_SP_Init接口，源码若需配置日志路径，源码应在此步骤之前设置。源码正式授权版本集成时，源码需在调用NT_SP_Init之前调用NT_SP_SetSDKClientKey接口设置license Key，源码以避免调用失败。

       在播放实例的创建阶段，调用NT_SP_Open接口。设置回调事件是关键步骤，包括网络链接状态、buffer状态、实时带宽等回调，以及视频分辨率、YUV/RGB数据、绘制视频帧时间戳和音频PCM帧等回调。同时，需设置用户数据和视频SEI数据回调。

       播放Url的配置，通过调用NT_SP_SetURL接口实现RTSP/RTMP的播放。检查是否支持D3DRender功能，通过调用NT_SP_IsSupportD3DRender接口进行判断，若支持，可设置绘制窗口句柄。此外，还需设置回调PCM，调用NT_SP_SetIsOutputAudioDevice接口。

       播放参数的设置，包括缓冲大小、静音、RTSP TCP模式、超时时间、秒开、低延时模式、视频旋转和反转、iapp引入html源码下载速度上报、硬解码支持等。设置硬解码参数之前，需先检测系统支持情况，通过NT_SP_Open()接口调用前进行判断。

       开始播放的步骤，调用NT_SP_StartPlay接口。当播放窗口大小发生变化时，调用NT_SP_OnWindowSize接口。若需在RTMP/RTSP播放端进行录像，应调用一系列接口，包括设置录像目录、文件大小、规则、回调、音频转AAC编码、是否录制视频和音频等。实时快照功能也需通过调用NT_SP_CaptureImage接口实现。

       若需要快速切换URL，调用NT_SP_SwitchURL接口。用户数据和SEI数据回调，通过NT_SP_SetUserDataCallBack和NT_SP_SetSEIDataCallBack接口完成。

       在多路播放场景下，只解码关键帧的选项，通过实时调用接口实现。停止播放与关闭播放实例，通过NT_SP_StopPlay和NT_SP_Close接口完成。

       SDK提供了丰富的接口，包括初始化、关闭、检测硬解码支持、音视频数据回调等，感兴趣的开发者可参考以上说明进行集成与应用。

KMPlayer版本历史

       KMPlayer的历史版本更新记录如下：

       3.5版更新包括支持FTP流媒体直播，HTTP和FTP字幕，任务栏显示播放进度，仅限Windows 7及以上版本。新特性有在线修改字幕搜索、修复性能问题、解决书签问题、修复libcodec的裂纹显示，以及增加了EVR H/W的视频属性设置等。其他改进包括内存冲突错误的flash黑客特效源码修复，网络文件播放速度提升，AVI文件的视频和音频同步问题解决，以及MP4编码和解析器的优化。

       3.1.0.0版本引入双字幕显示，支持简繁中英并存，简化右键菜单并优化网络字幕匹配。控制面板更加易用，音场平衡技术提升音效，智能硬件选择模式和图像增强引擎提高画质。

       3.0.0.版本更新了RTMP和RTSP格式转换，以及视频编解码器增强，但此版本存在大量影音同步问题，建议谨慎更新。版本修复了MP3处理中的溢出问题，支持DEC和ASLR，提升了Haali视频兼容性。

       版本解决了FLV和位FLAC音频问题，修复了屏幕尺寸和音频同步，以及更新了音频编码器。版本改进了DXVA2性能，修复了编码器和滤镜问题。

       版引入DXVA2支持和Libcodec解码器更新，VP8解码器也得到了支持，同时修复了nsv解析器问题。早期版本如和，还有对Windows 7的全面兼容、乐词插件移除、多线程支持、madVR渲染器支持等功能的添加和修复。

       每个版本都针对特定问题进行优化，提升了播放性能和用户体验，同时支持更多文件格式和特性，包括字幕、音频编码、视频解码器等。

扩展资料

       KMPlayer简称 KMP,早期名叫WaSaVi播放器。作者姜龙喜(韩国)，历时七年自主开发的朝鲜语多媒体图形视窗工程免费项目。KMPlayer是一套将网络上所有能见得到的解码程式(Codec)全部收集于一身的影音播放软件；此外，KMPlayer还能够播放DVD与VCD、汇入多种格式的外挂字幕 档、使用普及率最高的WinAMP音效外挂与支援超多种影片效果调整选项等。

RTMP推流及协议学习

       RTMP，国际货代源码即Real Time Messaging Protocol，是用于实时数据通信的网络协议，主要在Flash/AIR平台与流媒体/交互服务器之间进行音视频和数据交互。

       在准备阶段，使用 RTMPDump 中的 librtmp。为了编译，需使用 "make" 命令，例如，对于 Linux、MacOSX、Unix 等，可执行 "make SYS=posix"，对于 Windows 则使用 "make SYS=mingw"。若需跨平台编译，可使用 CROSS_COMPILE 变量，例如 "make CROSS_COMPILE=arm-none-linux- INC=-I/my/cross/includes"。编译后，可在 librtmp 目录下找到 librtmp.a 库文件，将其链接至使用 librtmp 的工程中。

       为了支持加密传输，需使用 openssl 中的 libssl 和 libcrypto。配置 makefile 以适配 Android-Armv7，修改内容如 "cc ar prefix…"。编译完成后，在 libs 目录下会生成 libssl.a 和 libcrypto.a 两个库文件，用于 RTMP 推流。

       使用 librtmp 提供的 API 进行推流操作，主要 API 包括：RTMP_Init()、RTMP_Free()、RTMP_Alloc()、RTMP_SetupURL()、RTMP_EnableWrite()、RTMP_Connect()、RTMP_Close()、RTMP_ConnectStream()、RTMP_DeleteStream() 和 RTMP_SendPacket()。这些 API 联合使用即可将流数据推送到服务器。

       在整体框架中，首先准备安装环境和视频资料，资料可在群组：（需自取）中获取。

       将流数据封装为 RTMP 格式。发送音频和视频的首帧时，需在数据包前添加 RTMP 头部信息。开源php源码平台音频头部包含 4 字节的头部标记、profile、channel 和 bitrate 信息；视频头部包含 IFrame、PFrame、AVC 标识，以及 sps 和 pps。RTMP 定义的消息类型中，ID 为 8 和 9 的消息分别用于传输音频和视频数据。

       发送音频时，在数据帧前添加 2 字节的头部信息；发送视频时，需在头部标识 I P 帧信息及视频帧长度。

       进一步了解 RTMP 客户端与服务器的交互流程。握手过程（HandsShake）通过 HandShake 函数实现，位于 /rtmp/rtmplib/handshack.h 和 ./rtmp.c:。连接（NetConnnet）通过 RTMP_Connect() 函数建立，该函数在 librtmp/rtmp.c 中实现，分为 RTMP_Connect0() 和 RTMP_Connect1() 两个步骤。RTMP_Connect0() 负责 socket 连接，RTMP_Connect1() 则执行 RTMP 相关连接。连接完成后，发送 Connect packet。

       在连接基础上建立流（NetStream）通过 RTMP_ConnectStream() 函数实现。此函数执行循环逻辑判断，确保建立流的必要条件满足。关键函数包括 RTMP_ReadPacket() 和 RTMPSockBuf_Fill()，用于处理数据读取与缓存。

音视频开发：ZLMediaKit库入门使用 编译安装

       ZLMediaKit 库是一个基于C++开发的高性能运营级流媒体服务框架，具有多种协议支持（如RTSP/RTMP/HLS/HTTP-FLV/Websocket-FLV/GB/MP4）的特性，其协议支持包括协议互转，使用多路复用/多线程/异步网络IO模式开发，支持海量客户端连接，具有稳定可靠、性能优越的特点。它已经在线上商用验证，并支持跨平台开发，包括Linux、macOS、iOS、Android和Windows。该库提供完整的MediaServer服务器，支持SDK使用，或供其他语言调用，全面支持H/H/AAC/G/OPUS编码格式。

       编译环境测试使用的是深度系统（Deepin）。编译完成后，会生成release目录，主要包含三种目标文件：MedisServer、SDK（C语言）和测试程序。MedisServer在Debug模式下启动可以使用命令`./MediaServer -d &`。SDK提供了头文件`ZLMediaKit/api/include`和库文件`ZLMediaKit/release/linux/Debug/libmk_api.so`。此外，还提供了一个测试程序位于`ZLMediaKit/tests`目录下。

       在遇到编译问题时，可能遇到提示`error while loading shared libraries: libssl.so.: cannot open shared object file: No such file or directory`，这通常意味着缺少SSL库依赖。解决方法是确保系统中安装了相应的SSL库。

       测试方面，可以进行rtsp推流、rtp方式推流、测试HTTP API和HTTP Hook。日志格式、完整文档以及更多接口测试信息可以在相关链接中获取。

FFmpeg学习(一)开篇

       为什么要学习FFmpeg？本人希望深入研究音视频领域，音视频领域内容丰富，我计划从多个方面逐步学习：FFmpeg常用功能实践、FFmpeg源码研究、OpenGL、OpenGLES、Metal、AR、WebRTC、直播架构等。

       当前音视频有哪些应用场景？从众多应用场景可以看出，音视频技术至关重要，尤其在5G时代，网络传输问题得到极大提升，音视频需求将爆发式增长。以下是一个简单播放器架构图：

       音频解码和视频解码一般使用FFmpeg解码，iOS8之后提供了VideoToolBox框架支持硬解码。视频渲染通常使用OpenGL直接利用GPU渲染，还有GPUImage、SDL、VLC等第三方框架。

       音视频播放中的音视频同步是一项复杂的技术。学习一项技术需要高效的方法，只有不断实践才能深刻理解。学习FFmpeg也需要好的文档，以下列举一些必备的学习文档地址：

       以上都是英文文档，如果英文学习困难，可以参考以下中文资料：

       此外，推荐两本非常好的书籍：

       相关学习资料推荐，点击下方链接免费报名，先码住不迷路~

       1. FFmpeg简介：FFmpeg是一套用于记录、转换数字音频、视频并将其转化为流的开源计算机程序。采用LGPL或GPL许可证。它提供了录制、转换以及流化音视频的完整解决方案。它包含了非常先进的音频/视频编解码库libavcodec，为了保证高可移植性和编解码质量，libavcodec里很多code都是从头开发的。FFmpeg在Linux平台下开发，但也可以在其他操作系统环境中编译运行，包括Windows、Mac OS X等。这个项目最早由Fabrice Bellard发起，年至年间由Michael Niedermayer主要负责维护。许多FFmpeg的开发人员都来自MPlayer项目，当前FFmpeg也是放在MPlayer项目组的服务器上。项目的名称来自MPEG视频编码标准，前面的"FF"代表"Fast Forward"。

       2. FFmpeg能做什么

       3. FFmpeg架构模块组成：我们先看一张FFmpeg的架构图：

       下载好的源码，我们也可以看到大致的源码结构：

       3.1 libavutil

       3.2 libavformat

       FFmpeg是否支持某种媒体封装格式，取决于编译时是否包含了该格式的封装库。根据实际需求，可进行媒体封装格式的扩展，增加自己定制的封装格式，即在AVFormat中增加自己的封装处理模块。

       3.3 libavcodec

       AVCodec中实现了目前多媒体绝大多数的编解码格式，既支持编码，也支持解码。AVCodec除了支持MPEG4、AAC、MJPEG等自带的媒体编解码格式之外，还支持第三方的编解码器，如H.(AVC)编码，需要使用x编码器；H.(HEVC)编码，需要使用x编码器；MP3(mp3lame)编码，需要使用libmp3lame编码器。如果希望增加自己的编码格式或硬件编解码，则需要在AVCodec中增加相应的编解码模块。

       3.4 libavfilter

       3.5 libavdevice

       3.6 libswscale

       3.7 libpostproc

       3.8 libswrressample

       3.9 ffmpeg

       3. ffsever

       3. ffplay

       4. FFmpeg安装：下载源码后，我们可以查看一下目录结构：

       输入./configure --help命令查看配置信息

       内容太多需要分页，输入./configure --help | more

       从上面的帮助，我们可以尝试输入：./configure --list-decoders查看所有解码器

       接下来我们可以尝试输入：./configure --list-encoders查看所有编码器

       接下来我们可以尝试输入：./configure --list-filters查看所有滤镜器

       接下来我们可以尝试输入：./configure --list-muxers查看FFmpeg的封装，封装Muxing是指将压缩后的编码封装到一个容器格式中，我们输入./configure --list-muxers来查看FFmpeg支持哪些容器格式：

       从上面打印信息来看，FFmpeg支持生成裸流文件，如H.、AAC、PCM，也支持一些常见的格式，如MP3、MP4、FLV、M3U8、WEBM等。

       从上面解封装又称为解复用格式的支持信息中可以看到，FFmpeg支持的demuxter非常多，包含image、MP3、FLV、MP4、MOV、AVI等。

       从支持的协议列表中可以看到，FFmpeg支持的流媒体协议比较多，包括MMS、HTTP、HTTPS、HLS、RTMP、RTP，甚至支持TCP、UDP，它还支持使用file协议的本地文件操作和使用concat协议支持的多个文件串流操作。

       接下来我们可以尝试输入：./configure --list-parsers查看FFmpeg支持的解析器

       接下来我们可以尝试输入：./configure --list-bsfs查看FFmpeg支持的字节流过滤器

       接下来我们可以尝试输入：./configure --list-indevs查看有效的输入设备

       接下来我们可以尝试输入：./configure --list-outdevs查看有效的输出设备

音视频流媒体开发系列（)ffmpeg实战教程（一）Mp4，mkv等格式解码为h和yuv数据

       在这个FFmpeg实战教程中，我们将探索如何将常见的视频格式如MP4和MKV解码为H和YUV数据。首先，让我们来看一个实例，通过运行解码过程，你将看到两个文件的生成，分别对应解码后的h和YUV数据，其中h由于采用了高效的压缩技术，文件大小明显小于YUV文件。

       解码流程包括以下步骤：首先，将ws.mp4文件复制到项目目录，然后创建两个输出文件。接下来，初始化所需的组件，接着打开视频文件，获取视频信息并选择合适的解码器。在解码过程中，要注意av_read_frame()循环结束后可能遗留少量帧数据，这时需要调用flush_decoder函数，将这些帧数据完整输出。

       下面是源代码示例，展示如何执行这些操作：

       拷贝ws.mp4并创建输出文件

       初始化解码器和相关组件

       打开和解码视频

       使用flush_decoder确保所有帧数据都被处理

       运行程序后，你将看到生成的h和YUV文件。如果你对音视频开发感兴趣，可以关注我们的免费学习资源，包括FFmpeg、WebRTC、RTMP、NDK和Android高级开发等内容。群文件中提供了详细的面试题、学习资料和教学视频，以及学习路线图，点击加群获取，希望能对你有所帮助。

       对于Windows用户，需要配置FFmpeg环境。首先从ffmpeg.zeranoe.com下载相应版本的shared和dev版本，然后将include和lib文件夹分别复制到指定位置，最后在MinGW命令行中执行命令。而对于Linux或MacOS用户，可以在GCC命令行环境中进行操作。

RTMP推流方案总结

       RTMP协议简介，其全称为Real Time Messaging Protocol，是由Adobe Systems公司为Flash播放器与服务器之间音频、视频和数据传输开发的私有协议。RTMP协议像一个容器，用于装载AMF格式的数据或FLV中的视/音频数据，一个连接可通过不同的通道传输多路网络流，通道中的包遵循固定大小的传输规则。更多协议细节请参考《rtmp specification 1.0》。

       RTMP服务器的选择有多种开源方案，如Nginx的rtmp插件，用于实时流推送，具体实现可参考另一篇博客。SRS(Simple RTMP Server)是一款国人开发的优秀开源流媒体服务器软件，使用C++开发，适用于直播、录播、视频客服等场景，提供丰富的接入方案和流变换功能，GitHub源码链接为：github.com/ossrs/srs。

       crtmpserver是一款由C++语言编写的开源RTMP流媒体服务器，功能相对简单，与Flash Player的兼容性较差，但代码结构良好，适用于学习RTMP协议和服务器端编程。GitHub源码链接为：github.com/shiretu/crtm...。

       livego是基于Go语言的RTMP直播服务器，Go语言为服务器性能而生，开发效率高于C/C++。GitHub源码链接为：github.com/gwuhaolin/liv...

       基于Go的livego服务器解决了语言级别上的并发问题。node-rtsp-rtmp-server是使用Node.js实现的RTMP服务器，GitHub源码链接为：github.com/iizukanao/nod...

       测试时，推荐使用大牛直播提供的推流工具，也可以使用FFmpeg进行推流。

       RTMP推流器的选择同样多样，librtmp软件包含一个基本的客户端：rtmpdump，以及提供RTMP协议支持的库。FFmpeg也能实现RTMP推流，内部集成了librtmp，官方给出了muxing.c源代码示例。srs-librtmp是srs提供的一个RTMP库，可以推送H数据，但在Windows环境下存在兼容性问题。

       音视频开发相关教程与资料可免费订阅QQ群：，领取学习资源。