每日开源：一个巨硬的产品级嵌入式流媒体库

       哈喽，我是码编老吴。

       今天分享一个比较复杂的源译开源项目：live 是一个开源的流媒体库，用于实现实时流媒体的码编传输和处理。它提供了一套跨平台的源译 C++ 类库，帮助快速构建高效、码编tiktok弹幕游戏源码可靠的源译流媒体服务器和客户端应用程序。

       live的码编代码量庞大，约9w行代码。源译如果专注于核心逻辑，码编代码量缩减到约8K行。源译使用live，码编你可以收获高效可靠的源译流媒体库，了解产品级的码编C++项目设计，掌握音视频基础知识，源译甚至获得基于select()的C++事件循环库。live在媒体播放器、流媒体服务器、视频监控系统等领域应用广泛，xposed模块源码如VLC、FFmpeg、GStreamer均使用live实现流媒体的接收和播放。

       live基于C++，语法相对简单，适合专注于学习C++类设计和编写专业的C++软件。为了理解源码，需要补充多媒体、流媒体的理论知识。通过阅读和运行相关应用，加深对理论知识的理解。

       编译live库后，会生成4个静态库：libBasicUsageEnvironment.a和libUsageEnvironment.a用于实现事件循环、上下文管理、任务管理等；libliveMedia.a负责多媒体流化，包括音视频编解码、流媒体协议实现；libgroupsock.a负责网络IO功能，核心是连我巴巴源码TCP、UDP的读写。简单示例是RTP传输MP3音频，涉及server和client两个程序。

       server程序的核心逻辑包括准备运行环境、设置数据来源、设置数据目的地。TaskScheduler用于任务管理，基于select()实现事件循环。BasicUsageEnvironment用于上下文管理。数据流化本质是网络传输，Source和Sink分别表示数据源和目的地，本例中Source是MP3FileSource，Sink是MPEG1or2AudioRTPSink。client端程序同样初始化Source和Sink。

       RTP协议简介，RTP（Real-time Transport Protocol）是一种用于实时传输音频和视频数据的网络传输协议，基于UDP，用于在IP网络上传输实时媒体数据。语音对讲源码RTP协议设计目标是提供低延迟、高效率的传输，以满足实时应用需求。主要特点包括时间戳、序列号、负载类型、NACK反馈和RTCP（Real-time Transport Control Protocol）等。

       关键问题是如何实现数据一帧帧流化？关注点不是具体音视频格式解析或特定协议实现，而是live对音视频流化的整体框架。通过示例分析，live本质上将音视频数据逐帧解码，通过RTP协议经网络发送。live封装了多种数据Source和Sink，但无需详细了解每个概念。仍以RTP传输MP3数据为例，分析live的工作流程。

       首先，需要对相关类的论坛java源码关系有大概概念：MediaSource是所有Source的父类，各种具体音视频Source基于其派生；MediaSink是所有Sink的父类，派生出FileSink、RTPSink等众多Sink类。Sink类最关键的成员函数是startPlaying()，用于使用Source对象获取帧数据，然后发送至网络。

       RTP传输MP3的主要逻辑包括准备就绪后调用MediaSink::startPlaying()启动数据流化，在packFrame()调用Source对象的getNextFrame()。getNextFrame()最终调用MP3FileSource的doGetNextFrame()，负责MP3音频解码，解码完成后，回调afterGettingFrame()，正常时调用sendPacketIfNecessary()发送数据，并添加至事件循环调度器中。一段时间后，MultiFramedRTPSink的sendNext()被调用，推动新一帧数据传输，直到Source中的所有帧数据被消费。

       live如何创建RTSP服务器？通常RTP协议与RTSP协议结合使用，对外提供RTSP服务器服务。RTSP提供控制实时流媒体传输和播放的标准化方式，可以控制播放、暂停、停止、快进、后退等功能。添加几行代码即可创建RTSP服务器。RTSP服务器封装实现RTSP服务，类似HTTP协议，是文本协议。服务器包括接受客户端连接、读取客户端数据、解析和处理数据的操作。

       总结，live是一个开源的多媒体流媒体库，支持常见流媒体协议，提供高效可靠的流媒体传输功能，适用于构建流媒体服务器和客户端应用程序。使用live需要熟悉C++编程和网络编程知识，官方提供丰富示例代码，帮助快速熟悉库的使用方法。

在(Linux)ubuntu下通过GTK调用libvlc开发视频播放器

       在本项目中，实现了一个基于GTK和libvlc的视频播放器，用户能通过选择视频文件启动播放器观看视频。

       VLC是一款跨平台的媒体播放器，支持几乎所有音频和视频格式，最初由法国学生于年开发，现已成为广受欢迎的媒体播放器，可在Windows、macOS、Linux等多个操作系统上使用。

       libvlc是VLC media player的核心库之一，提供了一组应用程序接口（API），方便开发人员在自定义应用程序中集成VLC的媒体播放功能。libvlc可与C、C++、Python、Java、.NET等语言和框架集成，广泛应用于媒体相关项目。

       VLC为独立的媒体播放器，libvlc则是其核心库，易于嵌入其他应用，实现与VLC类似的媒体播放功能。

       下载VLC（3.X版本）：videolan.org/vlc/

       访问libVLC最新4.0官网：nightlies.videolan.org/

       GTK是一种开源跨平台图形用户界面（GUI）工具包，主要用于Linux和其他Unix-like操作系统，提供窗口、按钮、标签、文本输入框等控件，以及绘图引擎。GTK支持国际化和主题定制，方便开发者创建符合用户期望和风格的应用界面。

       在Ubuntu中安装GTK依赖库，命令如下：

       安装GTK3库的开发文件和依赖库。对于GTK2库，需要安装libgtk2.0-dev。此外，可安装GTK扩展包如GStreamer、WebKit等。

       编译GTK程序，命令如下，其中pkg-config管理依赖库，输出头文件路径和链接库路径。

       执行步骤如下：

       （1）安装libvlc和相关依赖库，可使用apt-get或源码编译。

       libvlc-dev包含libvlc的头文件和链接库；libgtk-3-dev包含GTK库的头文件和链接库。安装这两个库，即可在Ubuntu下开发基于GTK和libvlc的视频播放器。

       （2）在GTK程序中引入libvlc和GTK库。

       （3）创建GTK窗口和控件，使用GtkBuilder加载UI文件，动态创建视频_widget控件。

       （4）初始化libvlc，创建libvlc_media_player和libvlc_media对象。

       （5）在GTK窗口中添加视频控件，并启动GTK主循环。

       完整设计代码如下：

       1main.c代码

       2ui.glade代码

       使用glade工具创建UI文件。

webrtc linphone 到底哪个

       æœ€æ–°è¦åšä¸€ä¸ªç§»åŠ¨ç«¯è§†é¢‘通话软件，大致看了下现有的开源软件

       ä¸€) sipdroid

       1）架构

       sip协议栈使用JAVA实现，音频Codec使用skype的silk（Silk编解码是Skype向第三方开发人员和硬件制造商提供免版税认证(RF)的Silk宽带音频编码器）实现。NAT传输支持stun server.

       2）优缺点：

       NAT方面只支持STUN，无ICE框架，如需要完全实现P2P视频通话需要实现符合ICE标准的客户端,音频方面没看到AEC等技术，视频方面还不是太完善，目前只看到调用的是系统自带的MediaRecorder，并没有自己的第三方音视频编解码库。

       3）实际测试：

       åŸºäºŽsipdroid架构的话，我们要做的工作会比较多，（ICE支持，添加回音消除，NetEQ等gips音频技术，添加视频硬件编解码codec.）,所以就不做测试了。

       äºŒ) imsdroid

       1)架构：

       åŸºäºŽdoubango(Doubango 是一个基于3GPP IMS/RCS 并能用于嵌入式和桌面系统的开源框架。该框架使用ANSCI-C编写，具有很好的可移植性。并且已经被设计成非常轻便且能有效的工作在低内存和低处理能力的嵌入式系统上。苹果系统上的idoubs功能就是基于此框架编写) .音视频编码格式大部分都支持（H(video)，VP8(video)，iLBC(audio),PCMA,PCMU,G,G）。NAT支持ICE（stun+turn）

       2）效果实测

       æµ‹è¯•çŽ¯å¢ƒï¼šå…¬å¸å±€åŸŸç½‘内两台机器互通，服务器走外网sip2sip

       éŸ³é¢‘质量可以，但是AEC打开了还是有点回音（应该可以修复）。视频马赛克比较严重，延迟1秒左右。

       3）优缺点

       imsdroid目前来说还是算比较全面的，包括音视频编解码，传输（RTSP，ICE），音频处理技术等都有涉猎。doubango使用了webrtc的AEC技术，但是其调用webrtc部分没有开源，是用的编译出来的webrtc的库。如果要改善音频的话不太方便，Demo的音频效果可以，视频效果还是不太理想。

       ä¸‰ï¼‰csipsimple

       1）sip协议栈用的是pjsip,音视频编解码用到的第三方库有ffmpeg（video）,silk(audio),webrtc.默认使用了webrtc的回声算法。支持ICE协议。

       2）优缺点：

       csipsimple架构比较清晰，sip协议由C实现，java通过JNI调用，SIP协议这一块会比较高效。其VOIP各个功能也都具备，包括NAT传输，音视频编解码。并且该项目跟进新技术比较快，官方活跃程度也比较高。如果做二次开发可以推荐这个。

       3）实测效果

       æµ‹è¯•çŽ¯å¢ƒï¼šå…¬å¸å±€åŸŸç½‘内两台机器互通，服务器走外网sip2sip

       éŸ³é¢‘质量可以，无明显回音，视频需要下插件，马赛克比imsdroid更严重。

       å››ï¼‰Linphone

       è¿™ä¸ªæ˜¯è€ç‰Œçš„sip，支持平台广泛 windows, mac,ios,android,linux，技术会比较成熟。但是据玩过的同事说linphone在Android上的bug有点多，由于其代码实在庞大，所以我暂时放弃考虑Linphone.不过如果谁有跨平台的需要，可以考虑Linphone或者imsdroid和下面的webrtc.。。。好像现在开源软件都跨平台了。。。

       äº”) webrtc

       imsdroid,csipsimple,linphone都想法设法调用webrtc的音频技术，本人也测试过Android端的webrtc内网视频通话，效果比较满意。但是要把webrtc做成一个移动端的IM软件的话还有一些路要走，不过webrtc基本技术都已经有了，包括p2p传输，音视频codec,音频处理技术。不过其因为目前仅支持VP8的视频编码格式（QQ也是）想做高清视频通话的要注意了。VP8在移动端的硬件编解码支持的平台没几个（RK可以支持VP8硬件编解码）。不过webrtc代码里看到可以使用外部codec,这个还是有希望调到H的。

       æ€»ç»“：sipdroid比较轻量级，着重基于java开发（音频codec除外），由于其音视频编码以及P2P传输这一块略显不足，不太好做定制化开发和优化。imsdroid,遗憾就是直接调用webrtc的库，而最近webrtc更新的比较频繁，开发比较活跃。如果要自己在imsdroid上更新webrtc担心兼容性问题，希望imsdroid可以直接把需要的webrtc相关源码包进去。csipsimple的话，都是围绕pjsip的，webrtc等都是以pjsip插件形式扩充的,类似gstreamer. webrtc如果有技术实力的开发公司个人还是觉得可以选择这个来做，一个是google的原因，一个是其视频通话相关关键技术都比较成熟的原因。个人觉得如果能做出来，效果会不错的。