1.h.264����Դ��
2.H264 NALU分析
3.H.264的编码和解码
4.H264 视频码流分析
5.ffmpeg解码h264,码源码画面很模糊?

h.264����Դ��

       需求 在移动端做音视频开发不同于基本的UI业务逻辑工作,音视频开发需要你懂得音视频中一些基本概念,针对编解码而言,我们必须提前懂得编解码器的一些特性,码流的结构,码流中一些重要信息如sps,pps,vps,start code以及基本的工作原理,而大多同学都只是一知半解,所以导致代码中的部分内容虽可以简单理解却不知其意,所以,在这里总结出了当前主流的H.,H.编码相关的原理,以供学习.

       1. 概览

       编码技术的主要目标是减少音视频数据的存储和传输需求，而不会显著影响质量。码源码编码涉及将原始数据压缩成更紧凑的码源码形式，然后解码将压缩数据还原为原始形式。码源码编码和解码的码源码过程依赖于特定的算法，如H.和H.，码源码小甲鱼c 源码它们用于视频数据。码源码

       1.1. 为什么要编码

       原始视频数据量非常庞大。码源码例如，码源码一个P fps的码源码视频，每秒钟产生大约MB的码源码数据。因此，码源码直接在网络中传输原始视频数据是码源码不可行的。视频编码技术通过压缩数据来减少其大小，码源码使网络传输和存储成为可能。码源码

       1.2. 编码技术

       经过多年的开发，出现了多种高效的编码技术。H.和H.是目前主流的视频编码标准。此外，谷歌开发了VP8和VP9。对于移动设备，苹果提供了VideoToolbox框架来实现这些编码。完美重启源码

       1.3. 编码分类

       H.和H.编码各有优缺点。H.（HEVC）通常提供更高的压缩比和更好的图像质量，但计算需求也更高。

       1.4. 编码原理

       编码过程将原始视频数据压缩成三种基本帧类型：I帧（Intra）、P帧（Predictive）和B帧（Bi-directional）。I帧独立编码，P帧依赖于前一帧，B帧依赖于前后帧。这些帧类型有助于高效压缩视频数据。

       补充: I帧的压缩率大约为7，与JPG相似；P帧的压缩率约为；B帧的压缩率可达。iOS系统中一般不开启B帧，以避免时间戳同步的复杂性。

       两种核心算法

       帧内压缩和帧间压缩是视频编码的两大核心算法。帧内压缩独立处理每一帧，而帧间压缩利用帧间的相似性减少数据量。帧间压缩算法，如帧差值，比较相邻帧之间的差异，只记录差异值，从而显著减少数据。御林军分时源码

       有损压缩与无损压缩

       有损压缩会减少一些信息以获得更高的压缩率，如H.和H.；无损压缩保持原始数据的完整性，但通常不能达到相同的压缩率。

       DTS和PTS

       解码器使用DTS（Decoding Time Stamp）和PTS（Presentation Time Stamp）来管理视频的呈现时间。I帧的解码不需要任何依赖，而P帧依赖于前一帧的I帧或P帧，B帧依赖于前一帧的I帧或P帧和后一帧的P帧。

       编码数据码流结构

       视频不仅仅是一系列静态图像的集合，而是包含帧、顶场和底场的动态序列。编码码流中的“图像”是集合的概念，包括I帧、P帧和B帧。VPS（Video Parameter Set）、SPS（Sequence Parameter Set）和PPS（Picture Parameter Set）是关键参数集，分别用于传输视频参数、序列参数和图像参数。

       编码数据的组织

       原始视频数据通过一系列NALU（Network Abstraction Layer Unit）单元进行组织。每个NALU单元可能包含图像数据和编码器参数信息。NALU有Annex B和AVCC两种封装格式，分别以起始码和长度作为分隔符。火狐源码github

       iOS中的视频编解码

       在iOS中，视频处理框架分为多个层次，选择框架时需要根据实际需求考虑可定制性和使用难度。VideoToolbox框架允许直接访问硬件加速的编解码器，实现对H.文件或传输流的编码和解码。

       编码数据裸流处理

       在编码后的数据中，需要添加起始码以区分不同NALU单元。在iOS中，使用VTCompressionSession编码的数据可能缺少起始码，需要在推流前自行添加。

       将H.裸流解码为CMSampleBuffer

       从H.码流中提取关键信息（SPS、PPS和VPS）并转换为CMSampleBuffer格式，以便于解码工作。CMSampleBuffer包含时间信息、格式描述和数据缓冲区，是iOS中处理视频数据的标准形式。

       显示CMSampleBuffer到界面

       将解码后的CMSampleBuffer数据渲染到屏幕上，可以采用两种方式：直接渲染或通过AVPlayer或其他播放器框架显示。

H NALU分析

       H简介

       H.从年开始开发，于年形成草案，年正式定稿。主机平台源码它在ITU标准中被称为H.，在MPEG标准中是MPEG-4的一部分，即MPEG-4 Part ，也称为Advanced Video Codec，简称AVC。

       H编码原理

       H.通过帧内压缩和帧间压缩提高编码效率，支持I帧、P帧和B帧来实现连续帧之间的压缩。I帧不依赖任何其他帧，P帧和B帧则利用与前一帧或后一帧的相似性进行压缩。

       H中的I帧、P帧和B帧

       H.使用I帧、P帧和B帧策略进行连续帧之间的压缩，I帧独立编码，P帧和B帧依赖于前一帧或后一帧。

       H编码结构解析

       H.组织为序列（GOP）、、片、宏块和子块五个层次，提供编码和分片策略，方便网络传输。GOP指两个I帧之间的间隔，Reference指两个P帧之间的距离。

       IDR图像的核心作用

       IDR图像用于解码重同步，其后图像不再使用IDR帧的数据进行解码，提供解码错误恢复机会。

       H码流举例

       码流分析表明B帧不能作为参考帧。

       GOP结构

       GOP表示两个I帧之间的距离，影响编码效率和图像质量。设置合理可平衡码率、图像质量和编码效率。

       NALU解析

       NALU分为VCL和NAL单元，其中SPS和PPS是关键参数集，I帧、P帧和B帧分别代表帧内编码、前向预测和双向预测编码。

       H NALU结构

       NALU由起始码、头部信息和原始字节序列负荷组成，头部信息包括NALU类型、参考标识和禁止位。

       H的annexb模式与mp4模式

       annexb模式有起始码，适用于传统编码，而mp4模式无起始码，SPS和PPS等信息在容器中封装，适用于现代编码格式。

       H编码优化与学习资源

       优化H编码并获取学习资料，请访问企鹅裙 ，领取C++音视频学习包，内容覆盖音视频开发、面试题、FFmpeg、WebRTC等。

H.的编码和解码

       è¯·å‚见：列表的照相机与板载视频流编码

       å› ä¸º H. 编码和解码要求大量的计算能力在特定类型的算术运算，在通用 Cpu 运行的软件实现高效率通常较少力量。不过，最新的四核通用 x Cpu 有足够的计算能力来执行实时标清及高清编码。压缩效率取决于视频的算法实现，不在是否使用硬件或软件来实现。因此，硬件和软件基于的执行更是电源效率、 灵活性和成本之间的差异。为提高电源效率和减少硬件形式因素，可能雇用专用硬件，为完整的编码或解码过程中，或在 CPU 控制的环境内加速援助。

       åŸºäºŽ CPU 的解决办法是已知是灵活得多，尤其是编码必须进行时同时多格式、 多比特率和各项决议 （多屏幕视频） 和可能用上的容器格式支持的附加功能，先进综合的广告功能等。基于 CPU 的软件解决方案通常使得更容易在相同的 CPU 内的多个并发编码会话进行负载平衡。

       ä»‹ç»äº†åœ¨ å¹´ 1 月 CES （消费电子展) 的第 2 代英特尔桑迪桥酷睿 i3/i5/i7处理器提供称为英特尔快速同步视频上芯片硬件全面高清 H. 编码器。

       ç¡¬ä»¶ H. 编码器可以是ASIC或FPGA。FPGA 是一个一般的可编程芯片。要使用 FPGA 作为硬件编码器，H. 编码器设计需要自定义应用程序的芯片。完整的高清 H. 编码器可以在一个单一的低成本 FPGA 芯片上运行 å¹´ (高配置文件、 æ°´å¹³ 4.1，p， 帧/秒)。

       ASIC 编码器与 H. 编码器功能，可从许多不同的半导体公司，但在 ASIC 中使用的核心设计通常由芯片及媒体， On2 (原 Hantro，由谷歌收购），想象力的技术，NGCodec 等几个公司的一个授权。一些公司已提供的 FPGA 和 ASIC 产品。

       å¾·å·žä»ªå™¨ç”Ÿäº§ä¸€çº¿çš„ARM+ 执行 DSP H BP 的 DSP 内核编码 p 帧每秒。这允许 （其中，作为高度优化的 DSP 代码实现） 的编解码器的灵活性时正在比通用 CPU 上的软件效率更高。

H 视频码流分析

       H 视频码流解析

       NAL层,即网络抽象层,负责在H编码视频在网络上传输时的拆包和组包操作。每个帧被拆成多个包进行传输，所有拆包与组包操作皆由NAL层处理。

       VCL层,视频数据编码层，对原始视频数据进行压缩处理。

       视频帧序列中,每一帧图像由多个Slice组成,在实际传输中,一帧图像通常就是一个Slice,不作进一步细分。

       SODB(原始数据比特流)由VCL层产生,数据长度可能不是8的倍数，处理较为复杂。

       RBSP(原始字节序列载荷)是将SODB加上后续位后的编码数据流,在编码数据最后一位补1，不按字节对齐补0,以确保数据流的完整性。

       EBSP(封装字节序列载荷)在生成编码数据流后,在每个帧前添加起始位,通常为十六进制的,以区分帧的开始。预防数据与起始位冲突,如出现连续两个0x,则额外增加一个0x。

       NALU(NAL单元)由EBSP加上网络头部构成,是H码流的基本组成单位。

       Slice与宏块分层在VCL层中,切片由头和数据组成,数据包含多个宏块,宏块内存储类型、预测值和残差值等信息。

       H编码视频序列包括一系列NAL单元,每个单元包含一个RBSP。原始H. NALU单元通常由[StartCode]、[NALU头部]和[NALU负载]三部分组成,StartCode用于标示NALU单元开始,必须为" "或" "。

       NAL头部编码用于表示RBSP信息,包含种格式,占一个字节,由三部分组成:forbidden_bit、nal_reference_bit和nal_unit_type。

       forbidden_bit禁止位,nal_reference_bit表示当前NAL的优先级,nal_unit_type表示NAL类型。

       IDR帧(关键帧)的作用是即时刷新,防止解码错误传播,从IDR帧开始新序列编码。I帧不能被跨帧参考,但IDR帧不允许使用IDR之前的图像数据解码。

       IDR帧核心作用是重同步,当解码器解码到IDR图像时,清除参考帧队列,重新查找参数集,开始新序列,避免前一序列重大错误影响解码。

       H码流由一个个NAL单元组成,包括SPS、PPS、IDR和SLICE类型数据,由NAL头部定义。

       SPS和PPS分别包含序列参数集和图像参数集,SPS包含如视频尺寸、参考帧数等通用参数,PPS包含熵编码类型、有效参考图像数等参数。

       指数哥伦布编码是熵编码的一种,通过对出现概率较大的符号使用较短码长,较小概率符号使用较长码长进行数据压缩,减少冗余。

       网络传输时,以等长编码方式会增加大量冗余,使用有效字节传输能大幅减少冗余。指数哥伦布编码能有效压缩数据,并方便解码,提高网络传输效率。

ffmpeg解码h,画面很模糊?

       在FFmpeg中，处理H编码的视频时，通常需要将其转换为YUVP格式，这是为了优化解码和渲染过程。本文将详细解释如何进行这一转换。在YUV格式中，每个像素由一个亮度（Y）值和两个颜色（U和V）值组成，分别代表蓝色差和红色差。具体来说，对于八个像素，格式如下：

       八个像素为：[Y0 U0 V0] [Y1 U1 V1] [Y2 U2 V2] [Y3 U3 V3][Y5 U5 V5] [Y6 U6 V6] [Y7U7 V7] [Y8 U8 V8]

       码流为：Y0 U0 Y1 Y2 U2 Y3 Y5 V5 Y6 Y7 V7 Y8

       经过映射后，像素点变为：[Y0 U0 V5] [Y1 U0 V5] [Y2 U2 V7] [Y3 U2 V7][Y5 U0 V5] [Y6 U0 V5] [Y7U2 V7] [Y8 U2 V7]

       值得注意的是，每个字节代表8个像素。

       为了更好地理解这一过程，可以画一个矩阵进行直观表示。矩阵显示了码流数据（以4:2:0比例存储）与最终映射像素点之间的对应关系。

       理解上述过程后，我们需要使用FFmpeg来将H帧解码为YUV格式。首先，初始化FFmpeg环境：

       代码示例：

       然后，将H帧传递给解码器进行解码，输出为YUV数据：

       代码示例：

       为了加深理解，推荐观看以下相关视频教程：

       LinuxC++音视频开发视频： 免费FFmpeg/WebRTC/RTMP/NDK/Android音视频流媒体高级开发

       文章福利：音视频学习资料、视频和学习路线图资料、以及面试题（资料包括C/C++，Linux，FFmpeg webRTC rtmp hls rtsp ffplay srs 等），免费分享，有需要的可以加君羊领取哦！ ~学习交流裙加入领取资料

       通过调用`decoderObj.pYuvFrame.data[0]`，我们可以获取到YUV数据。最后，不要忘记释放内存：

       代码示例：

       为了验证解码过程，可以使用`ffplay`指令播放一帧YUV数据：

       需要强调的是，`avcodec_decode_video2`函数可能会修改codec_结构体中的参数，例如将原始设置的分辨率更改为实际视频的分辨率。