皮皮网

1.FFMPEG音视频同步-音频实时采集编码封装成MP4
2.瑞芯微-I2S | ALSA基础-3
3.音视频开发-音频库使用tinyalsa使用
4.ALSA的特点
5.alsa是源码什么意思英语？
6.Linux应用开发第八章ALSA应用开发

FFMPEG音视频同步-音频实时采集编码封装成MP4

       音视频同步录制相关文章

       1、 ffmpeg-摄像头采集保存

       2、下载 ffmpeg音视频同步-摄像头采集编码封装

       3、源码 ffmpeg-音频正弦产生并编码封装

       4、下载 ffmpeg-音频实时采集保存

       5、源码 ffmpeg音视频同步-音频实时采集编码封装

       6、下载游戏脚本需要源码 ffmpeg音视频同步-音视频实时采集编码封装

       7、源码 ffmpeg音视频同步-音视频实时采集编码推流

       8、下载 ffmpeg音视频同步-音视频实时采集编码推流-优化版本

       系统环境：

       系统版本：lubuntu .

       Ffmpge版本：ffmpeg version N--g

       摄像头：1.3M HD WebCan

       虚拟机：Oracle VM VirtualBox 5.2.

       指令查看设备 ffmpeg -devices

       指令播放实时音频 ffplay -f alsa -showmode 1 -ac 2 -i default -ar

       Linux使用ffplay实时采集音频并实时播放_唐传林的源码博客-CSDN博客

       指令录制实时音频ffmpeg -f alsa -ar -i hw:0,0 audio.wav

       ffmpeg -f alsa -ar -i default ffmpeg_record_audio.wav

       ubuntu下用ffmpeg录制音频文件_ubuntu使用指令录制mp3音频_dingjianfeng的博客-CSDN博客

       指令分离音视频:ffmpeg -i test.mp4 -vn -y -acodec copy test.aac

       ffmpeg -i test.mp4 -vn -y -avcodec copy test.h

       本章文档基于ubuntu alsa格式。实时采集音频一帧数据并将其转化为pcm,下载编码成AAC,封装成mp4保存下来

       1.简介

       FFmpeg中有一个和多媒体设备交互的类库：Libavdevice。使用这个库可以读取电脑（或者其他设备上）的源码多媒体设备的数据，或者输出数据到指定的下载多媒体设备上。

       ffmpeg中的源码音频相关内容

       ffmpeg中AVPacket中可能会含有多个音频帧（AVFrame）,一个音频帧含有多个采样，采样率决定了1s有多少个采样（或者说一个音频帧可以播放多久）。下载对于aac,源码一帧有个采样，mp3一帧则固定为个字节。

       对于音频，由于有多声道的音频，那么音频解码出来的数据不同声道也储存在不同的指针，如data[0]是左声道,data[1]是右声道，由于各个声道的数据长度是一样的，所以linesize[0]就代表了所有声道数据的长度。

       成员extended_data则指向了data，是一个拓展，上面可以看到data 是包含8个指针的数组，也就是说对于音频，最多只支持8个声道

       如果是以下格式：

       只能保存再AVFrame的uint8_t *data[0]; 音频保持格式如下： LRLRLR。。。。

       如果是以下格式

       plane 0: LLLLLLLLLLLLLLLLLLLLLLLLLL…

       plane 1: RRRRRRRRRRRRRRRRRRRR…

       plane 0对于uint8_t *data[0];

       plane 1对于uint8_t *data[1];

       相关学习资料推荐，点击下方链接免费报名，eduline 源码先码住不迷路~

       音视频免费学习地址：FFmpeg/WebRTC/RTMP/NDK/Android音视频流媒体高级开发

       免费分享音视频学习资料包、大厂面试题、技术视频和学习路线图，资料包括（C/C++，Linux，FFmpeg webRTC rtmp hls rtsp ffplay srs 等等）有需要的可以点击 加群免费领取~

       2.源码

       最简单的基于Libavdevice的摄像头数据读取一帧帧pcm数据，经过音频重采样获取目标AAC的音频源数据参数，保存成MP4文件

       3.验证

       3.1编译

       3.2结果

       使用软件mp4打开test.mp4,可以听到实时采集的音频

       3.3存在的问题

       1、本文档源码，采集ALSA获取的源数据是K,stereo声道，采样大小，经转换成pcm的格式，同样是K,stereo声道大小；不同的采样率会出现部分声音数据丢失，具体原因，在 《ffmpeg-音频实时采集保存》具体分析 ，涉及其他分辨率转换，不在本文讨论范围里。

       2、由于本例程没有没有对ALSA音频进行重采样，（采样率，个采样点，双声道，bit），故若保存成ts，flv等封装格式是，默认采用的音频编码格式分别是mpga,mp3,其采样点为。所以运行此程序会有问题，数据无法写入。而且目前暂不探讨音频重采样问题。故想到一种解决方法是，指定AAC音频编码格式（ts,iptv 源码mp4等都支持AAC音频编码，参考《ffmpeg-摄像头采集编码封装》的表格）。

       4.附件

       无

       5.参考链接

       [1] ffmpeg之PCM转AAC

       FFmpeg()PCM编码AAC_pkt.data 就是pcm吗_mengzhengjie的博客-CSDN博客

       [2]官方Encode pcm file to aac

       [FFmpeg-user] Encode pcm file to aac

       [3]PCM编码AAC,参考其普通PCM格式与AAC转格式差异 FFmpeg()PCM编码AAC_pkt.data 就是pcm吗_mengzhengjie的博客-CSDN博客

       [4] 音频编码（一）--FFmpeg编码-腾讯云开发者社区-腾讯云

       原文链接： FFMPEG音视频同步-音频实时采集编码封装成MP4_qinyi_style的博客-CSDN博客

瑞芯微-I2S | ALSA基础-3

       针对音频设备，Linux内核包含两类音频设备驱动框架：ALSA。ALSA项目旨在解决Linux下声卡驱动（OSS）的维护不足与落后问题。项目由Jaroslav Kysela发起，并吸引了更多开发者加入，实现了更多声卡支持与API重组。目前已成为Linux主流音频架构，其官网提供更多信息。

       ALSA系统包括应用层的ALSA Library和内核设备驱动层的ALSA Driver。应用程序通过调用ALSA Library API即可控制底层音频硬件。Linux内核中的ALSA架构，从上到下依次为应用程序、ALSA Library API、ALSA Core、ASoC Core、硬件驱动程序、硬件设备。ALSA驱动在硬件上进行封装以简化实现难度。

       Linux系统下，设备文件显示有C0、D0等声卡设备，分别表示设备0和设备1。以C0D0c为例，c代表捕获，p代表播放。这些设备按照ALSA Driver的命名规则组织。在内核中，ALSA Driver进一步封装为ASoC，实现从上至下的结构体系。

       在Linux源码中，求源码ALSA架构位于/sound目录下，代码组织在不同子目录内，如alsa-driver、alsa-lib等。ALSA Core的数据结构主要定义在include/sound/core.h文件及其子目录中。关键数据结构如struct snd_card、struct snd_device、struct snd_minor等分别用于表示声卡、声卡逻辑设备及上下文信息。

       ALSA设备文件注册与管理由内核函数驱动，如snd_register_device用于注册设备文件，device_add用于添加设备至设备层次结构，而snd_unregister_device用于注销设备文件。这些函数涉及设备文件在sysfs和devtmpfs文件系统中的创建与删除。音频设备的文件操作主要包含open和llseek操作，其中open操作由特定的文件操作snd_fops实现。

音视频开发-音频库使用tinyalsa使用

       TinyALSA，一个轻量级的Linux内核音频接口库，旨在简化用户对alsa库的使用，通过提供更简洁的API和更易于管理的代码结构，解决了传统alsa库庞大、接口繁杂的问题。TinyALSA主要在用户层提供音频设备的基本操作，如设备控制、音频采集与播放等，以较小的体积满足基本的PCM数据处理需求。

       在编译与调试阶段，用户需先下载TinyALSA源码，支持主流的make、cmake和Meson等构建工具，且在进行交叉编译时，兔源码需对makefile进行相应修改，以适配目标平台的编译工具链。

       TinyALSA的API主要分为音频播放、音频采集与设备控制三大模块。其中，音频采集与播放功能涉及到pcm_config结构的配置，包含声卡ID、设备ID、操作类型（输入或输出）、通道数、采样率、采样精度等参数，用于初始化PCM设备并进行数据的读取或写入。需要注意的是，数据采集或播放的缓冲大小由库内部计算得出。

       设备控制模块提供了打开和关闭mixer管理器的功能，通过声卡ID可获取mixer句柄，并进行音量控制和设备模式调整等操作。TinyALSA通过不同的设置接口，支持字符串和数值两种模式，以适应不同的设备和需求。

       在实际应用中，TinyALSA提供了丰富的功能模块，例如在音频采集端的实现，用户只需调用相应的API进行设备初始化、数据采集等操作，简化了音频处理的开发流程，提升了开发效率。同时，TinyALSA的API设计简洁明了，易于理解和使用，适合音视频开发中的各种场景，包括FFmpeg、WebRTC、RTMP、NDK和Android等。

       总结而言，TinyALSA作为一款轻量级音频库，通过提供简洁的API和高效的设备控制功能，显著降低了Linux内核音频开发的复杂性，成为音视频开发中不可或缺的工具。

ALSA的特点

       ä»ŽåŽ†å²ä¸Šæ¥è¯´ï¼ŒGentoo提供了两种方法可以使ALSA运行在您的系统上：内核自带的驱动和外部的alsa-driver软件包。这两种方案基本上完成的是同一项任务；这使得提供对外部软件包的支持异常困难和耗时。Gentoo维护者决定不再继续对alsa-driver软件包进行支持，而是将他们的资源集中在Linux内核中的ALSA驱动部分。这份指南将只集中介绍如何通过在内核自带的驱动来配置ALSA。

       Jaroslav Kysela过去是这个项目的领导者，这个项目开始于为年Gravis Ultrasound所开发的驱动，它一直作为一个单独的软件包开发，直到年他被引进入 linux内核的开发版本 (2.5.4-2.5.5)1。从2.6 版本开始ALSA成为Linux内核中默认的标准音频驱动程序集，OSS则被标记为废弃。

       ALSA是一个完全开放源代码的音频驱动程序集，除了像OSS那样提供了一组内核驱动程序模块之外，ALSA还专门为简化应用程序的编写提供了相应的函数库，与OSS提供的基于ioctl的原始编程接口相比，ALSA函数库使用起来要更加方便一些。利用该函数库，开发人员可以方便快捷的开发出自己的应用程序，细节则留给函数库内部处理。当然 ALSA也提供了类似于OSS的系统接口，不过ALSA的开发者建议应用程序开发者使用音频函数库而不是驱动程序的API。

       Linux中ALSA的主要文件：

       include/sound/driver.h

       sound/core/*.c

       æ³¨ï¼šOSS(Open Sound System)是Linux中的另外一个音频驱动程序框架。

alsa是什么意思英语？

       ALSA全称Advanced Linux Sound Architecture，是一个开放源代码的音频驱动程序。它被设计用于Linux内核的数字音频接口。ALSA的目标是提供一个开放,高质量的数字音频处理系统，以支持Linux上的音频播放，录制，以及应用程序的开发和调试。作为Linux内核的一部分，ALSA提供了一套框架来管理声卡硬件和与之相关的软件。在Linux 上，ALSA被认为是现代内核中最重要的音频框架之一。

       ALSA主要优点是它具有相对较低的延迟，音频质量更好、支持深度定制和高度灵活性。同时，ALSA也有一些缺点需要我们关注，例如在某些旧声卡上可能会出现兼容性问题，该驱动程序的安装和配置较为复杂，并且还可能需要手动编写一些配置文件才能使某些声卡正常工作。此外，ALSA最初是为Linux内核开发的，因此不适用于其他操作系统。

       ALSA对Linux的重要性

       ALSA对Linux系统的重要性不容忽视。它为Linux 提供了一个可扩展的，高质量的数字音频系统，使开发人员得以轻松地开发音频应用程序。ALSA提供了一种与硬件接口的高级方法，从而提供了比其他音频框架更强大的功能。ALSA的支持和不断更新，使得Linux成为了一个功能强大的多媒体平台。因此，对于音视频开发者或爱好者而言，了解和掌握ALSA的相关知识和技能是非常有必要的。

Linux应用开发第八章ALSA应用开发

       音频信号是一种连续变化的模拟信号，但计算机只能处理和记录二进制的数字信号，由自然音源得到的音频信号必须经过一定的变换，成为数字音频信号之后，才能送到计算机中作进一步的处理。

       数字音频系统通过将声波的波型转换成一系列二进制数据，来实现对原始声音的重现，实现这一步骤的设备常被称为（A/D）。A/D转换器以每秒钟上万次的速率对声波进行采样，每个采样点都记录下了原始模拟声波在某一时刻的状态，通常称之为样本（sample），而每一秒钟所采样的数目则称为采样频率，通过将一串连续的样本连接起来，就可以在计算机中描述一段声音了。对于采样过程中的每一个样本来说，数字音频系统会分配一定存储位来记录声波的振幅，一般称之为采样分辨率或者采样精度，采样精度越高，声音还原时就会越细腻。

       数字音频涉及到的概念非常多，对于在Linux下进行音频编程的程序员来说，最重要的是解声音数字化的两个关键步骤：采样和量化。

       采样频率是指将模拟声音波形进行数字化时，每秒钟抽取声波幅度样本的次数。采样频率的选择应该遵循奈奎斯特（Harry Nyquist）采样理论：如果对某一模拟信号进行采样，则采样后可还原的最高信号频率只有采样频率的一半，或者说只要采样频率高于输入信号最高频率的两倍，就能从采样信号系列重构原始信号。

       量化位数是对模拟音频信号的幅度进行数字化，它决定了模拟信号数字化以后的动态范围，常用的有8位、位和位。量化位越高，信号的动态范围越大，数字化后的音频信号就越可能接近原始信号，但所需要的存储空间也越大。

       ALSA全称是Advanced Linux Sound Architecture，中文音译是Linux高级声音体系。ALSA是Linux内核2.6后续版本中支持音频系统的标准接口程序，由ALSA库、内核驱动和相关测试开发工具组成，更好的管理Linux中音频系统。

       本小节将介绍ALSA的架构。

       ALSA是Linux系统中为声卡提供驱动的内核组件。它提供了专门的库函数来简化相应应用程序的编写。相较于OSS的编程接口，ALSA的函数库更加便于使用。

       对应用程序而言，ALSA无疑是一个更佳的选择，因为它具有更加友好的编程接口，并且完全兼容于OSS。

       ALSA系统包括7个子项目：

       ALSA声卡驱动与用户空间体系结构交互如下图所示：

       移植ALSA主要是移植alsa-Ub和alsa-utils。

       ALSA Util是纯应用层的软件，相当于ALSA设备的测试程序，ALSA-Lib则是支持应用API的中间层程序，ALSA-Util中的应用程序中会调用到ALSA-Lib中的接口来操作到我们的音频编解码芯片的寄存器，而lib中接口就是依赖于最底层驱动代码，因此移植ALSA程序的顺序就是先后移植Driver,Lib,Util。

       ALSA首先需要在ALSA的官网上下载官网 alsa-project.org下载alsa-lib和alsa-utils。

       ALSA Lib移植不需要修改源码，只需要重新编译库代码以支持自己的平台。

       在上述命令中./configure配置的几个重要的配置选项解释如下：

       ALSA Util可以生成用于播放，录制，配置音频的应用可执行文件，测试驱动代码时用处很大，编译过程如下：

       ALSA库和测试工具的移植就是将相应库文件和可执行文件放在目标板上，以下文件必须被拷贝至对应位置：

       （1）ALSA Lib文件，放在/lib/中。

       （2）配置文件放在/usr/local/share中，与编译时指定的目录相同。

       （3）测试应用文件，ALSA Util能产生aplay、amixer、arecord，我们可以把这些可执行文件放在/usr/sbin中。

       （4）内核目录中保证有/dev/snd/目录，这个目录下存放controlC0，pcmC0D0，/usr/sbintimer，timer这些设备文件，如果这些设备文件已经在/dev目录下，可手动拷贝到/snd目录中。

       在LINUX系统中，每个设备文件都是文件。音频设备也是一样，它的设备文件被放在/dev/snd目录下，我们来看下这些设备文件：

       （1）controlC0：音频控制设备文件，例如通道选择，混音，麦克风的控制等；

       （2）pcmC0D0c：声卡0设备0的录音设备，c表示capter；

       （3）pcmC0D0p：声卡0设备0的播音设备，p表示play；

       （4）timer：定时器设置。

       本小节将着重讲解tinyalsa工具使用，tinyalsa是alsa-lib的一个简化版。它提供了pcm和control的基本接口；没有太多太复杂的操作、功能。可以按需使用接口。

       使用方法：

       举例：

       与amixer作用类似，用于操作mixer control。

       使用方法：

       举例：

       aplay是命令行的ALSA声卡驱动的播放工具，用于播放功能。使用方法：

       举例：

       arecord是命令行的ALSA声卡驱动的录音工具，用于录音功能。使用方法：

       举例：

       从代码角度体现了alsa-lib和alsa-driver及hardwared的交互关系。用户层的alsa-lib通过操作alsa-driver创建的设备文件/dev/snd/pcmC0D0p等对内核层进行访问。内核层的alsa-drivier驱动再经由sound core对硬件声卡芯片进行访问。

       为了方便操作访问，alsa-lib中封装了相关接口，通过pcmCXDXp/pcmCXDXc节点(/dev/snd/pcmCXDXx)去实现播放、录音功能。

       主要涉及到的接口：

       详细pcm接口说明请查阅：

       alsa-project.org/alsa-d...