音视频码流工具汇总(建议收藏!)

       一、音视频分析工具汇总：

       1、开源开源HBSAnalyzer：一款由李迟大神开发的码流码流芭乐兔源码H./AVC码流分析工具，支持不同版本对h和h码流进行分析。分析

       2、工具VideoEye：开源的开源开源视频实时码流分析软件，支持多种输入方式，码流码流能实时分析视频码流并以图形化呈现结果。分析

       3、工具MediaInfo：是开源开源一款免费的多媒体文件信息分析工具，提供GUI工具查看音视频信息，码流码流支持多种文件格式。分析

       4、YUV/RGB Player：由雷霄骅大神修改的播放器，专门用于播放YUV/RGB文件像素数据，支持菜单栏和拖拽方式打开文件。

       5、MPV Player：基于MPlayer和mplayer2的开源播放器，支持多种音视频格式，可用于播放H文件。

       6、VLC Media Player：自由、开源的跨平台多媒体播放器，支持DVD、音频CD、VCD及各类流媒体协议，适用于RTSP拉流。

       7、Potplayer：高质量的免费视频播放软件，支持变速播放、换肤、无边框及多种字幕文件，能播放RTSP\RTMP网络视频流。

音视频开发基础概述 - PCM、YUV、H、常用软件介绍

       音视频开发是一项具有挑战性的工作，初学者可能会在缺乏基础知识的情况下感到困惑。我在初学时期，灰站源码就曾经历过看不懂他人代码、不知道如何调整的困境。为了帮助大家更好地理解，我总结了以下内容。

       声波有三个要素：频率、振幅和波形。频率决定了音调，振幅决定了响度，波形决定了音色。人类的听力范围大约是 Hz ~ kHz，根据奈奎斯特定理，采样频率一般为 .1kHz。

       数字音频有三个重要概念：采样、量化和编码。采样是将连续信号转换到离散信号的过程，量化是将信号的连续取值近似为有限多个离散值的过程，编码是按照一定格式压缩、存储数据的过程。PCM 是音频的裸数据格式，通常有量化格式、采样率和声道数三个概念。

       比特率指每秒传送的比特数，是衡量音频质量的一个指标。音频中比特率的计算公式为：比特率 = 采样率 * 采样精度 * 声道数目。视频中的比特率计算公式为：比特率 = 帧率 * 每帧数据大小。码率是音视频开发中非常重要的一个考虑因素，需要根据实际情况权衡确定。

       音频编码的目的是压缩掉冗余信号，常见的压缩编码算法有 WAV、MP3、AAC 和 Ogg。WAV 不会压缩音频，MP3 具有不错的压缩比，AAC 适用于中高码率场景，Ogg 在中低码率场景下表现优异。

       视频主要包括图像、流媒体、分辨率、帧率等概念。图像的数值表示为 RGB，YUV 是prometheus alert源码视频的裸数据格式，主要用于电视系统以及模拟视频领域。H 是目前最常用的视频编解码标准，其相关概念包括序列、图像、片组、片、NALU、宏块、亚宏块、块、像素等。

       常用软件包括 MediaInfo、VideoEye、ffmpeg 等。MediaInfo 用于查看视频参数，VideoEye 是开源实时视频码流分析软件，ffmpeg 是强大的媒体文件转换工具，还可以转换格式。

C/C++开发人员要了解的几大著名C/C++开源库

       在开源软件领域，众多知名的国产软件如暴风音影、腾讯会议、PC版微信等，背后都依托于一些大型的C/C++开源库。本文将深入介绍几种日常工作中常用的C/C++开源库，为开发者提供借鉴与参考。

       **多媒体处理开源库FFmpeg

       FFmpeg，享有盛名的音视频多媒体处理开源库，几乎每个做过音视频编解码开发的开发者都熟悉。它包含了广泛而全面的音视频编码协议，如H、H、MPEG4、H等，并提供了一整套音视频处理解决方案。从音视频采集与编码、解码、格式转换到视频抓图和加水印，FFmpeg都能轻松应对。其强大的sdk接口允许开发者直接接收和发送码流，读写文件，进行编解码操作，拍照滤镜源码以及修改解码数据格式等。

       FFmpeg基于C语言实现，执行效率接近汇编语言，特别适合对实时性有高要求的音视频处理场景。项目中常包含优化效率的汇编代码，直接控制操作以达到最优性能，不依赖通用编译器生成的汇编代码。

       几乎所有的视频播放器都依赖FFmpeg的音视频解码功能，包括暴风影音、QQ影音、腾讯视频、爱奇艺视频、优酷视频等。播放器通过将压缩的视频图像帧解码为并连续显示来实现动态播放效果。帧率达到帧时，人眼就能感知连续动态的播放。

       FFmpeg支持多种音视频格式的相互转换，广泛应用于格式工厂、暴风转码、QQ音影视频格式转换工具、狸窝视频转换器、迅捷视频转换器等软件。

       **实时音视频处理开源库WebRTC

       WebRTC，由Google发起的实时音视频通讯开源库，提供了从音视频采集、编码、网络传输到解码渲染的整套解决方案。WebRTC使得开发者能够轻松构建实时音视频应用，无需下载插件，只需编写简单的JavaScript程序即可实现。

       WebRTC基于C/C++实现，具有跨平台性能，支持Windows、MAC、iOS和Android等多系统，通过调用相应系统的SDK即可构建音视频应用。虽然称为WebRTC，它不仅支持Web间通讯，还支持Windows、Android和iOS平台。

       WebRTC因其出色的鉴定宝源码音视频效果和网络适应性，广泛应用于视频会议、实时音视频直播等领域。腾讯会议、华为WeLink、字节飞书、阿里钉钉、科达、ZOOM、小鱼易连等均采用了WebRTC方案提供视频会议服务。声网（Agora）基于开源WebRTC库，提供了多个行业的音视频互动解决方案，服务覆盖了包括小米、陌陌、斗鱼、哔哩哔哩、新东方、小红书、HTC VIVE、The Meet Group、Bunch、Yalla等企业和机构。

       **Chromium浏览器内核开源库Chromium

       Chromium是Google的久负盛名的浏览器开源项目，作为Chrome浏览器的引擎，其设计理念强调简单、高速、稳定与安全。Chromium采用了WebKit渲染引擎和V8 JavaScript引擎，支持沙盒、黑名单、无痕浏览等功能，提供了稳定与安全的网页浏览环境。

       Chromium与Chrome浏览器的关系：Chromium是Google的开源项目，而Chrome是基于Chromium维护的浏览器，添加了更多功能并进行了优化。Chromium面向的是极客、开发人员和体验新功能的用户。

       Chromium的根目录下包含了多个文件夹，如Android WebView实现、Chromium浏览器代码、base模块、breakpad崩溃报告、build构建配置、cc合成器实现等。Chromium使用多进程架构，支持多种协议的网络通信，提供丰富的API接口，适合开发者深入研究。

       **Chromium嵌入式框架开源库CEF

       CEF，Chromium Embedded Framework，是一个基于Chromium的开源浏览器控件，使用C++实现。它作为浏览器控件嵌入到应用程序中，允许在应用窗口中打开网页。CEF提供了稳定且丰富的API接口，支持Windows、Linux、Mac等多个平台，能与Webkit渲染引擎和HTML5特性兼容。

       CEF典型应用场景包括：嵌入浏览器控件到本地应用、创建轻量级浏览器壳、离线渲染Web内容、自动化Web测试等。许多C/S架构的PC桌面程序，如QQ、PC版微信、企业微信、钉钉、飞书、迅雷、爱奇艺视频客户端、优酷视频客户端、有道词典、有道云笔记、MindMaster等，都内嵌了CEF浏览器控件。

       **多协议网络传输开源库libcurl

       libcurl是一个跨平台的网络传输库，支持多种协议如ftp、ftps、/tishi/h...

       用verilog和system verilog编写，在FPGA板上用Xilinx ZYNQ验证，运行最高MHZ。

       内容：文件夹“src”包含所有解码源文件。文件夹“tb”包含测试台文件，ext_ram_.v使用axi3接口模拟ddr。文件夹“pli_fputc”是verilog pli，用于在运行模拟时将输出bin写入文件。

       使用方法：模拟：将所有测试平台和源代码文件添加到您的模拟项目源中，例如modelsim。将测试文件in.放到您的模拟项目文件夹中。然后运行，例如，对于modelsim，运行“vsim -pli pli_fputc.dll bitstream_tb”。输出是out.yuv和一些日志文件。

       在FPGA板上运行：将“src”文件夹中的源文件添加到您的FPGA项目中。顶部文件是decode_stream.sv。两个接口，stream_mem_xxx用于将H比特流馈送到解码器。

       github上的开源H.，开源地址：github.com/aiminickwong...

       无介绍

       说明：第一个项目由复旦大学专用集成电路与系统国家重点实验室（State Key Lab of ASIC & System，Fudan University）视频图像处理实验室（VIP Lab）推出，不论项目完成度还是文档说明，都非常详细，同时上面给的是该项目的论坛，论坛上有相关工作人员维护，活跃度很高，适合去学习使用。

       后面两个项目，碎碎并没验证过，但是感觉不怎么靠谱，README完整度不高，有兴趣的可以去看看。

       最后，还是感谢各个大佬开源的项目，让我们受益匪浅。后面有什么感兴趣方面的项目，大家可以在后台留言或者加微信留言，今天就到这，我是爆肝的碎碎思，期待下期文章与你相见。

       优秀的 Verilog/FPGA开源项目介绍（九）- DP（增改版）

       优秀的 Verilog/FPGA开源项目介绍（八）- HDMI

       优秀的 Verilog/FPGA开源项目介绍（七）- CAN通信

       介绍一些新手入门FPGA的优秀网站（新增2）

       优秀的 Verilog/FPGA开源项目介绍（六）- MIPI

       优秀的 Verilog/FPGA开源项目介绍（五）- USB通信

       优秀的 Verilog/FPGA开源项目介绍（四）- Ethernet

       优秀的 Verilog/FPGA开源项目介绍（三）- 大厂的项目

       优秀的 Verilog/FPGA开源项目介绍（二）-RISC-V

       优秀的 Verilog/FPGA开源项目介绍（一）-PCIe通信

X码率控制之VBV

       视频数据的庞大给存储和传输带来挑战，为此诞生了众多编码标准，其中h.因其广泛使用而备受关注。H的开源编码器中，JM主要用于研究，OpenH性能优良且支持SVC编码，而x以其高效性能常被商业软件如OBS、VLC、ffmpeg采用，尤其在实时场景如视频会议中，码率控制至关重要。

       在实时视频中，码率控制需考虑网络状况，编码后的码流大小由图像复杂度、帧间相似度和量化程度决定。x通过调整量化程度实现码率控制，提供了CQP、CRF和ABR三种方式。CQP侧重保证质量，CRF在保证质量的同时控制码率，ABR则更侧重码率稳定，牺牲一定图像质量以保持稳定。

       在编码过程中，x计算出帧级量化值（QP），CRF和ABR会计算出qscale值，而CQP则是固定的。CRF采用固定码率因子，确保编码质量稳定，而ABR通过动态调整，使实际比特数与目标比特数同步，保证码率稳定。

       然而，帧级码控并不够，x引入了VBV，即视频缓冲区校验器，作为第二道码率调控关卡。VBV模拟一个有容量限制的管道，通过控制注入和流出的水量来维持编码码率在设定范围内。它并非必须，但开启后能更好地稳定码率。VBV调控涉及设置注水和出水的警戒线，以避免水位过高或过低，从而调整当前帧的QP。

       尽管本文仅触及了x码率控制的表面，实际过程更为复杂，涉及图像复杂度计算、行级码控等技术。深入理解还需参考x源码。实践是检验真理的唯一标准，理论学习后，实践操作才能揭示更多奥秘。

播放WebRTC开源库回调出来的视频码流时遇到的内存越界问题排查

       当使用WebRTC开源库处理I视频码流时，遇到了视频播放崩溃，经dump文件分析和Windbg调试，发现内存访问违例的源头。最初，程序在memset操作中遭遇异常，看似地址在可访问范围，但实际分析显示是由于尝试写入e内存时产生了内存越界。

       通过查看崩溃时的函数调用堆栈，初步怀疑是memset时的内存越界。函数调用涉及xxxxxplayer和xxxxmpdll模块，通过pdb文件定位到相关代码，发现问题可能出在CVideoPlay::SetPlayInfo接口对m_tLastFrm.pAddr[0]、m_tLastFrm.pAddr[1]和m_tLastFrm.pAddr[2]的内存清理上。这些buffer用于存储YUV数据，其内存分配在WebRTC回调I数据时进行。

       进一步调查发现，当WebRTC回调分配给这些buffer的内存被后续CpyVidFrm接口中的重新赋值操作影响时，原本不会越界的内存区域被错误处理，导致了memset时的内存越界问题。解决方法是调整memset操作时使用的内存长度，以适应实际的U和V分量大小。

       加载系统库pdb后，揭示了完整的函数调用链路，确认了CPlayer::SetPlayInfo接口的调用，这使得问题定位更为精确。设置系统pdb在线下载服务器的好处在于，能获取更多详细的信息，帮助快速定位问题。总结来说，这个过程展示了如何通过逐步排查和使用调试工具来解决内存越界问题。

H.的现状（）

       自年发布H.视频编码标准以来，经过三年多的发展，标准的应用情况已逐渐明朗。根据Bitmovin在年的调研结果，%的开发者在直播场景中采用H.。在开源软件方面，Fraunhofer HHI的VVenC编码器和VVdec解码器影响显著，最新版本分别为1.9和2.1.3，项目源码在GitHub开源。此外，有三个其他开源项目，虽影响力有限，但有助于H.标准的推广。值得注意的是，代码更新情况不一，部分项目已有一年未更新。

       在硬件解码器领域，电视顶盒等设备开始支持H.格式，但关于硬件编码器的消息尚未公开。目前，市场上已有收费的H.码流分析工具，但开源选择较少。在软件解码器方面，腾讯的Odec、阿里的Ali decoder、快手的KDec及字节的BVC Decoder等已被提及。尤其FFmpeg在年1月更新，增加了对VVC软件解码器的支持。

       综上所述，H.视频编码标准在直播、开源软件及硬件解码器领域展现出一定的应用潜力。未来，随着技术的持续发展和标准的进一步推广，其在更多场景下的应用有望得到更广泛的实现。