1.音视频开发 （WebRTC、接解析OpenGL、口源FFmpeg、源码ijkplayer、接解析jsmpeg.....）源码解析！口源成为一名合格的源码劳务招工源码音视频开发者！
2.ijkPlayer SDK 源码导入到Android Studio中各种问题解决 第二篇
3.音视频开发经验：ijkplayer 实际开发中遇到的接解析问题总结
4.ijkplayer源码分析 视频解码流程
5.ffplay.c-框架及数据结构
6.IjkPlayer SDK 源码导入到Android Studio中各种问题解决 第一篇

音视频开发 （WebRTC、OpenGL、口源FFmpeg、源码ijkplayer、接解析jsmpeg.....）源码解析！口源成为一名合格的源码音视频开发者！

       音视频开发，接解析这一领域在近年来迅速崛起，口源成为了科技行业中的源码重要一环，特别是在5G技术的推动下，以及疫情带来的生活场景线上化趋势，使得在线办公、教育、娱乐等需求激增，各类线上互动平台用户数量暴增。音视频技术因此变得无处不在，其应用前景广阔，未来充满无限可能。

       对于想要学习或正在学习音视频开发的同学们，网络资源并不丰富。因此，我推荐两份高质量的音视频资料，《Android音视频开发进阶指南》和《音视频精编源码解析》，并附有音视频开发系列教程视频。通过这些资源，你可以系统性地学习音视频开发的核心技术。

       点击下方卡片，调试pytorch源码即可免费获取《Android音视频开发进阶指南》和《音视频精编源码解析》两份资料，以及音视频开发系列教程视频，助你更深入地了解音视频开发的奥秘。

       《Android音视频开发进阶指南》由五个章节构成，涵盖从Android音视频硬解码到直播系统聊天技术，再到阿里IM技术分享。每一章节深入浅出，带你掌握Android平台的音视频开发精髓。

       《音视频精编源码解析》则分为七个章节，涵盖WebRTC、X、FFmpeg、ijkplayer、jsmpeg、Live、Opus等源码解析，共页内容，让你对音视频技术底层实现有全面理解。

       音视频开发系列教程视频，是系统学习音视频开发的绝佳选择，内容涵盖从基础知识到实际应用，为你搭建从零开始到精通的完整知识体系。

       点击下方卡片，立刻领取音视频开发全套资料，开启你的音视频开发之旅！

ijkPlayer SDK 源码导入到Android Studio中各种问题解决 第二篇

       在将ijkPlayer SDK导入Android Studio并进行编译过程中，我遇到了多个问题。这些问题在前篇博客《ijkPlayer SDK 源码导入Android Studio中各种问题解决 第一篇》中已经部分探讨过，zinyan.com。

       问题与解决

       问题一：Flavors错误

       在代码无误的情况下，运行时出现Flavors错误。原因在于ijkplayer项目的天鹅到家源码build.gradle版本过低，需添加一个维度名称到flavorDimensions。只需定义任意维度名即可解决问题。

       问题二：exoplayer库缺失

       找不到com.google.android.exoplayer:exoplayer:r1.5.，可能由于网络问题或仓库不稳定。在ijkplayer-exo模块的build.gradle中，将依赖库切换至国内镜像如阿里云，添加相应配置后重新build即可。

       问题三：UnsatisfiedLinkError

       编译后的apk在运行视频时崩溃，原因是找不到本地的libijkffmpeg.so。检查发现项目中未包含so文件，需将本地依赖改为远程依赖或自行编译导入。

       问题四：NDK版本不匹配

       依赖的NDK版本与要求版本不一致，只需在Android Studio的SDK管理面板中下载.0.版本的NDK并安装，下载速度受网络影响。

       成功解决了这些问题后，ijkplayer-example项目可以运行，但so库仍需进一步处理。后续将有更多关于so库编译的内容，敬请关注。

音视频开发经验：ijkplayer 实际开发中遇到的问题总结

       音视频开发中，ijkplayer遇到的问题与优化策略

       一、弱网优化

       在弱网环境下，优化策略包括：设置异步的生产者消费者模式，利用缓冲区存储视音频数据；实时网络检测，根据带宽调整发送策略；丢帧处理，减少关键帧间的非关键帧，如通过调整ffmpeg的framedrop值；以及在必要时降低码率，提高直播流畅度。

       二、播放卡顿优化

       ijkplayer在某些场景下播放卡顿，通过调整AsyncTask的线程优先级至THREADPRIORITYURGENT_AUDIO，解决了音视频同步问题，在线招聘源码避免了系统时间片分配不足造成的卡顿。

       三、HTTPS支持

       支持HTTPS播放，需要编译openssl并配置，以适应加密的HLS视频流。

       四、延迟优化

       通过修改ijkplayer源码，特别是ff_ffplay.c和ffplayvideothread方法，可以有效降低延迟，硬解码支持高分辨率，软解码自动切换。

       五、音视频同步

       ijkplayer使用音频作为主时钟源进行同步，关键在于videorefresh_thread中的处理逻辑，通过计算和调整帧播放时间，确保音视频的同步。

ijkplayer源码分析 视频解码流程

       深入ijkplayer源码，本文聚焦视频解码流程。在video_thread中，我们首先审视IJKFF_Pipenode结构体，定义于ff_ffpipenode.h和ff_ffpipenode.c。pipenode封装软解与硬解功能，初始化流程在stream_component_open中启动，调用pipeline.ffpipeline_open_video_decoder实现。

       在视频解码流程中，视频帧处理在video_thread线程下进行。从packet_queue读取视频packet，然后通过软/硬解码，最终将解码结果放入frame_queue。软解通过ffpipenode_ffplay_vdec.c实现，硬解则在ffpipenode_android_mediacodec_vdec.c中执行。不论软解还是安利溯源码硬解，解码后的结果均被引导至ff_ffplay.c#queue_picture进行队列化，准备渲染。

       对于LinuxC++音视频开发者，学习资源尤为关键。免费音视频开发资料、视频、学习路线图以及面试题，涵盖C/C++、Linux、FFmpeg、WebRTC、RTMP、NDK和Android音视频流媒体高级开发，免费提供给有需求者。学习交流君羊群，点击加入即可获取资料。

       最后，渲染流程在stream_open方法中启动，创建video_refresh_thread线程。此线程从frame_queue中读取视频帧，进行音视频同步后，完成渲染。此环节聚焦渲染流程，音视频同步细节暂不展开。

ffplay.c-框架及数据结构

       ffplay.c是FFmpeg源码中自带的实用播放器，它利用FFmpeg和SDL API构建，对独立开发播放器非常有帮助，如ijkplayer这样的知名开源项目便是基于ffplay.c进行扩展开发的。

       ffplay的核心框架主要分为几个部分：首先，初始化过程包括数据读取、音频和视频解码线程的划分。音频解码线程从packet queue获取数据，解码后放入frame queue；视频解码线程同样如此，还包括字幕解码。音频和视频播放通常在主线程中进行，而控制响应如播放暂停、快进快退也在此进行。

       数据处理中，packet和frame队列的设计至关重要。PacketQueue用于保存AVPacket，如MyAVPacketList结构，通过next字段连接，serial字段用于标记数据连续性。FrameQueue作为环形缓冲区，用于存储解码后的音视频数据，其内部结构如Frame，包含serial和sar等信息，通过初始化、销毁、读写操作实现音视频数据的管理和播放控制。

       音频参数（AudioParams）、解码器封装（struct Decoder）等细节也是ffplay的重要组成部分，它们共同协作，确保了播放过程的流畅和性能优化。学习这些内容有助于深入理解ffplay的工作原理，提高开发自己的播放器的能力。

IjkPlayer SDK 源码导入到Android Studio中各种问题解决 第一篇

       导入IjkPlayer SDK到Android Studio时，可能会遇到一系列问题。本文将详述我在实际操作中遇到的挑战和解决方法。

       问题与解决

       1. Gradle版本不兼容

       首先，由于项目中使用的Gradle版本过低（.0.8），与Android Studio支持的最低版本不匹配，导致编译错误。解决方法是升级Gradle版本，将其更新到4.8.1或与错误提示中指定的版本一致。

       2. AndroidSdkHandler类初始化失败

       当遇到'Could not initialize class com.android.sdklib.repositoryv2.AndroidSdkHandler'的问题，需检查build.gradle文件中的classpath版本，如2.1.3已不再被支持。升级到3.6.4或更高版本以解决此问题。

       3. 依赖库版本问题

       在配置Gradle 3.6.4后，可能因jcenter库问题导致下载失败。尝试切换到国内阿里云镜像地址，或在build.gradle文件中调整依赖。

       4. gradle-bintray-plugin下载失败

       gradle-bintray-plugin插件下载失败，可考虑删除它，因为项目不再需要上传到已关闭的jcenter仓库。

       5. Gradle版本不匹配

       编译时提示Gradle版本过低，最低要求5.6.4。更新gradle-wrapper.properties文件至该版本，同时注意Android Tools.build.Gradle与Gradle版本的兼容性。

       6. compile指令过时

       遇到'compile'指令被废弃的警告，需将所有模块中的compile替换为implementation或api，并处理productFlavors中的allCompile。

       7. SDK Build Tools版本过低

       确认buildToolsVersion配置的版本低于Android Gradle Plugin支持的最低值，将其更新至.0.3或更高。

       结论

       通过逐步升级和调整依赖，成功解决了将IjkPlayer SDK导入Android Studio时遇到的问题。后续会处理更多警告，并提供完整教程。如有其他问题，可在ijkplayer分类中查找相关信息。

深入剖析-ijkplayer框架音视频开发

       随着互联网技术的迅猛发展，移动设备上的视频播放需求日益增长，催生了一系列开源和闭源播放器。这些播放器的功能虽然强大，兼容性也颇优，但其基本模块通常包括事务处理、数据接收和解复用、音视频解码以及渲染。以下是一个简化的基本框架图。

       在众多播放器项目中，我们选择了ijkplayer进行源码分析。ijkplayer是一款基于FFPlay的轻量级Android/iOS视频播放器，支持跨平台，API易于集成，编译配置可裁剪，方便控制安装包大小。本文基于ijkplayer的k0.7.6版本，重点分析其C语言实现的核心代码，以iOS平台为例，Android平台实现类似，具体请读者自行研究。

       ijkplayer的主要目录结构如下：tool（初始化项目工程脚本）、config（编译ffmpeg使用的配置文件）、extra（存放编译ijkplayer所需的依赖源文件，如ffmpeg、openssl等）、ijkmedia（核心代码）、ijkplayer（播放器数据下载及解码相关）、ijksdl（音视频数据渲染相关）、ios（iOS平台上的上层接口封装以及平台相关方法）、android（android平台上的上层接口封装以及平台相关方法）。iOS和Android平台在功能实现上的主要差异在于视频硬件解码和音视频渲染。

       ijkplayer的初始化流程包括创建播放器对象，打开ijkplayer/ios/IJKMediaDemo/IJKMediaDemo.xcodeproj工程，在IJKMoviePlayerViewController类中viewDidLoad方法中创建了IJKFFMoviePlayerController对象，即iOS平台上的播放器对象。

       ijkplayer的初始化方法具体实现如下：创建了IjkMediaPlayer结构体实例_mediaPlayer，主要完成了以下三个动作：创建平台相关的IJKFF_Pipeline对象，包括视频解码以及音频输出部分；至此，ijkplayer播放器初始化的相关流程已经完成。

       ijkplayer实际上是基于ffplay.c实现的，本章节将以该文件为主线，从数据接收、音视频解码、音视频渲染及同步这三大方面进行讲解，要求读者具备基本的ffmpeg知识。

       当外部调用prepareToPlay启动播放后，ijkplayer内部最终会调用到ffplay.c中的stream_open方法，该方法是启动播放器的入口函数，在此会设置player选项，打开audio output，最重要的是调用stream_open方法。

       从代码中可以看出，stream_open主要做了以下几件事情：创建上下文结构体，设置中断函数，打开文件，探测媒体类型，打开视频、音频解码器，读取媒体数据，将音视频数据分别送入相应的queue中，重复读取和送入数据步骤。

       ijkplayer在视频解码上支持软解和硬解两种方式，可在播放前配置优先使用的解码方式，播放过程中不可切换。iOS平台上硬解使用VideoToolbox，Android平台上使用MediaCodec。ijkplayer中的音频解码只支持软解，暂不支持硬解。

       ijkplayer中Android平台使用OpenSL ES或AudioTrack输出音频，iOS平台使用AudioQueue输出音频。audio output节点在ffp_prepare_async_l方法中被创建。

       iOS平台上采用OpenGL渲染解码后的YUV图像，渲染线程为video_refresh_thread，最后渲染图像的方法为video_image_display2。

       对于播放器来说，音视频同步是一个关键点，同时也是一个难点。通常音视频同步的解决方案就是选择一个参考时钟，播放时读取音视频帧上的时间戳，同时参考当前时钟参考时钟上的时间来安排播放。

       ijkplayer支持的事件比较多，具体定义在ijkplayer/ijkmedia/ijkplayer/ff_ffmsg.h中。在播放器底层上报事件时，实际上就是将待发送的消息放入消息队列，另外有一个线程会不断从队列中取出消息，上报给外部。

       本文只是粗略的分析了ijkplayer的关键代码部分，平台相关的解码、渲染以及用户事务处理部分，都没有具体分析到，大家可以参考代码自行分析。