皮皮网

1.2024年 C++音视频开发学习路线（ffmpeg/rtsp/srs/webrtc/hls）
2.音视频开源项目ZLMediaKit 的支持安装及使用介绍
3.SRS(simple-rtmp-server)流媒体服务器源码分析--启动
4.Tiny Player (js) - 轻量好用、免费开源的代码 web 视频播放开发组件，内置硬解、支持软解视频功能
5.Xilinx系列FPGA实现4K视频拼接，代码基于Video Mixer实现，支持提供1套工程源码和技术支持
6.FPGA高端项目：FPGA基于GS2971+GS2972架构的代码job流程源码SDI视频收发+HLS多路视频融合叠加，提供1套工程源码和技术支持

2024年 C++音视频开发学习路线（ffmpeg/rtsp/srs/webrtc/hls）

       音视频工作领域繁复多样，支持自学时易陷入迷茫。代码本文整理出九个前景不错的支持方向：直播、传输、代码算法、支持视频播放器、代码流媒体后端、支持短视频、代码音频播放、支持视频编辑、图像处理。以下为详细学习路线：

       音视频基础

音频基础知识

视频基础知识

解复用基础知识

FFmpeg开发环境搭建

音视频开发常用工具

       FFmpeg实战教程

FFmpeg命令

SDL跨平台

FFmpeg基石精讲

FFmpeg过滤器

FFmpeg音视频解复用+解码

ffplay播放器

FFmpeg音视频编码+复用合成视频

ffmpeg多媒体

FFmpeg+ QT播放器

       流媒体客户端

RTMP推拉流项目实战

RTSP流媒体实战

HLS拉流分析

       流媒体服务器

SRS源码剖析协程

ZLMediaKit源码剖析

       WebRTC项目实战

WebRTC中级开发实践指南

WebRTC高级开发-SRS 4.0/5.0源码分析

WebRTC高级开发-MESH模型多人通话

WebRTC高级开发-Janus SFU模型多人通话

       Android NDK

Android NDK开发基础

Android FFmpeg编译和应用

Android RTMP推拉流

Android Ijkplayer源码分析

       iOS音视频开发

iOS FFmpeg 6.0编译和应用

iOS FFmpeg RTMP推拉流

VideoToolbox硬件编解码

iOS jkplayer编译和应用

iOS ijkplayer编译和应用

       音视频项目实战

       相关开源网站与地址

       本文涵盖音视频全栈开发技术，适合各类技术人员。

音视频开源项目ZLMediaKit 的安装及使用介绍

       ZLMediaKit是一个功能强大的开源流媒体服务器，特别适合实时音视频传输和处理应用，如直播、视频会议和监控。它支持RTSP、RTMP、HLS和HTTP-FLV等协议，具有低延迟和高并发处理能力，且能动态转码，并跨平台运行。

       要开始使用，首先从GitHub地址github.com/xia-chu/ZLMe...下载源代码。java cms工程源码编译安装步骤适用于Linux环境，运行时可通过其HTTP API进行管理。API接口包括控制流媒体播放、获取状态信息、统计信息，以及配置服务器参数等，如:

       启动/停止流媒体：通过发送HTTP请求来控制。

       查看状态和统计：获取服务器连接数、流状态和带宽使用情况等。

       配置参数：如设置网络端口、转码设置和录制选项。

       录制与截图：支持控制服务器的录制和截图功能。

       实时监控：通过HTTP API监控服务器运行和日志。

       此外，HTTP API还支持通过UDP或TCP进行推流，例如循环播放视频，对于点播，ZLMediaKit支持通过mp4文件实现，例如rtsp://.../record/test.mp4，通过HTTP访问文件进行点播。

       在Linux下，音频设备的管理也很关键，可以使用aplay、pactl等命令查看和配置音频设备。而服务的推拉流，包括设备向服务器推流和从服务器拉流，也是通过API和相应的命令来操作的。

       最后，当遇到端口占用问题时，可以使用lsof和netstat命令在Linux中查找占用情况，tp商城源码分享以便进行相应的操作。ZLMediaKit的详细文档和更多视频教程可以在mirrors/xia-chu/zlmediakit/GitCode中找到。

SRS(simple-rtmp-server)流媒体服务器源码分析--启动

       小卒最近探索了SRS源码，并撰写博客以整理思路，方便日后查阅。SRS源码具备以下优势：

       1、轻量化设计，代码结构清晰，SRS3.0版本代码量约为8万行，功能却足以支撑直播业务。

       2、采用State Threads架构，实现高性能、高并发。

       3、支持rtmp和hls，满足PC和移动直播的需求。

       4、支持集群部署，适应不同规模的部署需求。

       代码分析分为两个阶段：一、梳理代码框架，理解流程；二、深入细节，熟悉SRS工作原理。

       SRS源码框架包括系统启动、RTMP消息处理、RTMP信息发布、HLS切片等功能模块。系统启动时，创业服务平台源码初始化类，监听端口，对每个访问请求创建线程，专门处理连接操作。

       系统监听包含不同类型的请求，如RTMP连接、HTTP API等，通过创建线程处理。

       RTMP连接处理中，SRS采用协程而非线程，实现高效并发。创建协程后，进入协程循环处理。

       HTTP API连接监听机制与RTMP类似，仅参数不同。

       HTTP API回调接口在run_master函数中注册，允许访问服务器参数。

       SRS对拉流处理独特，通过ffmpeg工具实现，SRS代码负责简单的系统调用。

       系统启动代码结构清晰，从初始化、监听到线程处理，再到回调注册、拉流处理、自服务，各环节紧密衔接。

       总结SRS源码分析，不仅展现了代码的高效性和扩展性，还提供了灵活的打车平台系统源码部署方案，适用于多种直播场景。

Tiny Player (js) - 轻量好用、免费开源的 web 视频播放开发组件，内置硬解、软解视频功能

       一款简单易用的 JS 视频播放器，完美满足我移动端播放视频的需求，向大家强烈推荐。

       关于 Tiny Player

       Tiny Player 是一个轻量级的视频播放器 JS 库，内嵌硬解和软解视频功能，支持原生控件样式及自定义控件样式，以小巧的体积实现了全面的视频播放功能。

       Tiny Player JS 视频播放器技术特性

       开发上手体验

       在 web 开发中，若需实现视频播放功能，原生视频播放器往往兼容性差，且控制样式基础，使用不便。此时，一款优秀的视频播放器显得尤为重要。此前我曾推荐 xgplayer.js 西瓜播放器，虽然好用，但体积较大。今天我要介绍的是 Tiny Player，它小巧轻便。

       安装使用

       以下是三种安装方式：

       tiny-player.min.js 文件可通过下载 Github 项目获得。从示例代码中可以看出，使用十分简单。

       视频播放方式

       TinyPlayer 支持 MSE (Media Source Extensions)，这是一种 HTML5 规范，允许 JavaScript 控制媒体流的缓冲区，实现无缝播放。

       目前也支持 HLS (HTTP Live Streaming)，这是 Apple 的动态码率自适应技术，常用于 PC 和 Apple 终端的音视频服务。它包含一个 m3u(8) 格式的索引文件，记录了音视频文件的网络地址，播放软件根据索引打开文件进行在线播放。这种方式在视频播放中非常常见。

       更多参数用法请查阅文档，官网也提供了丰富的代码示例，集成到项目中非常简单。但根据我的体验，官网可能挂在 Github 上，访问不稳定，有时需要借助工具才能打开。

       免费开源说明

       TinyPlayer 是一个免费开源的 JavaScript 视频播放器项目，源码托管在 Github 上，任何人都可以免费下载使用。尽管 Github 仓库主页上没有明确说明采用 MIT 开源协议，但官网页脚中有说明，因此可以放心使用。

Xilinx系列FPGA实现4K视频拼接，基于Video Mixer实现，提供1套工程源码和技术支持

       Xilinx系列FPGA实现4K视频拼接，基于Video Mixer实现，提供1套工程源码和技术支持

       实现4K视频拼接的方案主要有两种：一种是纯Verilog方案，但这种方案难以实现4K分辨率；另一种是使用Xilinx的HLS方案，该方案简单易实现，但仅适用于Xilinx自家的FPGA。

       本文采用Xilinx官方推出的Video Mixer IP核实现4K视频拼接。该方案使用4路Xilinx官方的Video Test Pattem Generator IP核生成分辨率为x@Hz的彩条视频，并通过AXI4-Stream接口输出。彩条视频的形状各不相同，分别为竖条、交叉网格、棋盘和格子形状。视频通过Xilinx官方的XDMA写入FPGA板载DDR4缓存，再由Video Mixer从DDR4中读出并进行拼接处理，拼接方式为4分屏显示。拼接后的视频通过HDMI 1.4/2.0 Transmitter Subsystem IP核编码后输出，同时，系统还提供了AXI4-Stream流和DDC控制信号。

       设计中使用的Video Mixer IP核支持最大分辨率为8K，并最多可拼接路视频，输入和输出视频格式均为AXI4-Stream。该IP核通过AXI_Lite接口进行寄存器配置，并提供自定义配置API。相比于自写的HLS视频拼接方案，官方的Video Mixer IP核在逻辑资源占用上大约减少%，且效率更高。

       本文还提供了详细的工程设计框图，包括TPG测试彩条、VDMA图像缓存、Video Mixer、HDMI 1.4/2.0 Transmitter Subsystem、Video PHY Controller以及输出均衡电路等模块的配置和功能描述。同时，还推荐了几款适合该工程的FPGA开发板，并提供了两种不同的工程源码架构。对于不同需求的读者，本文还提供了一定程度的移植说明，以及工程代码获取方式。

       此外，本文还列出了实现4K视频拼接所必需的硬件设备，并提供了输出效果的静态和动态演示。对于有需求的读者，本文还提供了一种获取工程代码的方式。

       总之，本文提供了一种基于Xilinx系列FPGA的4K视频拼接实现方案，包括设计原理、关键模块功能、工程源码架构、移植说明以及获取代码的方式，旨在帮助读者掌握4K视频拼接的设计能力，以便能够根据自己的项目需求进行移植和设计。

FPGA高端项目：FPGA基于GS+GS架构的SDI视频收发+HLS多路视频融合叠加，提供1套工程源码和技术支持

       FPGA高端项目：FPGA基于GS+GS架构的SDI视频收发+HLS多路视频融合叠加，提供1套工程源码和技术支持

       前言

       在FPGA的SDI视频编解码领域，有两种主要方案：一是采用专用编解码芯片（如GS接收器与GS发送器），其优点是简化设计，易于实现，但成本相对较高；二是利用FPGA的逻辑资源自定义SDI编解码，通过Xilinx系列FPGA的GTP/GTX资源进行串行/并行转换，并利用SMPTE SDI资源完成SDI编码与解码，此方案的优势在于高效利用FPGA资源，但对开发者的技术要求更高。在这里，我们提供了一套针对Xilinx Zynq FPGA的解决方案，包括硬件开发板、工程源码与技术支持。

       设计概述

       本设计基于Xilinx Zynq FPGA，采用GS作为SDI视频接收器，将同轴串行SDI视频解码为BT格式，并转换为HDMI输出。输入源为HD-SDI相机，支持SD-SDI、HD-SDI、3G-SDI等多种格式。解码后的视频经BT转RGB模块转换为RGB格式，随后通过HLS多路视频融合叠加技术，叠加第二路视频，并进行缩放、透明度配置等操作，最终输出为3G-SDI视频格式。

       实现流程

       1. 视频解码：使用GS接收HD-SDI信号，并解码为BT格式视频。

       2. 视频转换：将BT格式视频转换为RGB格式，以便后续处理。

       3. 多路视频融合叠加：通过HLS技术，将第二路视频进行缩放、透明度配置后与第一路视频融合叠加。

       4. 编码输出：使用GS编码器将处理后的RGB视频转换为SDI信号输出，通过SDI转HDMI盒子展示在显示器上。

       工程源码与技术支持

       本项目提供完整工程源码与技术支持，包括硬件设计、软件开发、上板调试等全过程。源码涵盖硬件配置、视频处理算法、图像缓存、多路视频融合叠加、编码输出等关键环节。此外，还提供详细的工程设计文档，以便用户快速理解并移植至自定义项目中。

       注意事项与移植指南

       项目移植时需注意FPGA型号、开发环境版本及硬件配置差异。对于不同的FPGA型号，可能需要调整相应的硬件配置和IP锁。此外，当开发环境版本不一致时，需确保与工程源码版本兼容，可通过升级开发环境或调整工程配置解决。对于纯FPGA项目移植至Zynq系列FPGA，需添加Zynq软核。

       总结

       本项目旨在提供一套完整的FPGA SDI视频处理解决方案，涵盖硬件设计、软件实现、工程源码与技术支持，适用于毕业设计、项目开发，以及医疗、军工等领域的图像处理应用。通过提供详细的工程源码和指导文档，帮助用户快速掌握SDI视频收发与多路视频融合叠加技术。