1.webrtc linphone 到底哪个
2.谈谈MediaStream
3.如何在网页中使用js录屏插件?
4.Android音视频(一) Camera2 API采集数据

webrtc linphone 到底哪个

       æ¯”较推荐webrtc。webrtc基本技术已经有了，包括p2p传输，音视频codec,音频处理技术等。【点击免费试用，0成本启动】

       Linphone是老牌的sip，支持平台广泛 windows, mac,ios,android,linux，技术会比较成熟。但是linphone在Android上的bug有点多。imsdroid,csipsimple,linphone都想法设法调用webrtc的音频技术，测试过Android端的webrtc内网视频通话效果比较满意。但是要把webrtc做成一个移动端的IM软件的话还有一些路要走，不过webrtc基本技术都已经有了，包括p2p传输，音视频codec,音频处理技术。不过其因为目前仅支持VP8的视频编码格式（QQ也是）想做高清视频通话的要注意了。VP8在移动端的硬件编解码支持的平台没几个（RK可以支持VP8硬件编解码）。不过webrtc代码里看到可以使用外部codec,这个还是有希望调到H的。

       æƒ³è¦äº†è§£æ›´å¤šå…³äºŽwebrtc的相关信息，推荐咨询ZEGO即构科技。ZEGO即构科技自主研发的高音质语音视频引擎，能够提供实时清晰的多人语音视频通话。支持多路视频画面，保障每一路语音视频都清晰流畅提供端到端的SDK、分布式转码、接入鉴权云服务接入、摆脱运维、轻松支撑海量用户运营。

谈谈MediaStream

       MediaStream 是连接 WebRTC API 和底层物理流的中间层，webRTC将音视频经过Vocie / Video engine进行处理后，再通过MediaStream API给暴露给上层使用。

        MediaStreamTrack是WebRTC中的基本媒体单位，一个MediaStreamTrack包含一种媒体源（媒体设备或录制内容）返回的单一类型的媒体（如音频，视频）。单个轨道可包含多个频道，如立体声源尽管由多个音频轨道构成，但也可以看作是一个轨道。

        WebRTC并不能直接访问或者控制源，对源的一切控制都可以通过轨道控制 MediaTrackConstraints 进行实施。

        MediaStreamTrack MDN文档

        MediaTrackConstraints MDN文档

        MediaStream是MediaStreamTrack的合集，可以包含 >=0 个 MediaStreamTrack。MediaStream能够确保它所包含的所有轨道都是是同时播放的，以及轨道的单一性。

        MediaStream MDN文档

        再MediaTrack的源码中，MediaTrack都是由对应的source和sink组成的。

        浏览器中存在从source到sink的媒体管道，其中source负责生产媒体资源，包括多媒体文件，web资源等静态资源以及麦克风采集的音频，摄像头采集的视频等动态资源。而sink则负责消费source生产媒体资源，也就是通过<img>，<video>，<audio>等媒体标签进行展示，或者是通过RTCPeerConnection将source通过网络传递到远端。RTCPeerConnection可同时扮演source与sink的角色，作为sink，可以将获取的source降低码率，缩放，调整帧率等，然后传递到远端，作为source，将获取的远端码流传递到本地渲染。

        source 与sink构成一个MediaTrack，多个MeidaTrack构成MediaStram。

        MediaTrackConstraints 描述MediaTrack的功能以及每个功能可以采用的一个或多个值，从而达到选择和控制源的目的。 MediaTrackConstraints 可作为参数传递给 applyConstraints() 以达到控制轨道属性的目的，同时可以通过调 getConstraints() 用来查看最近应用自定义约束。

        可将MediaStream对象直接赋值给 HTMLMediaElement 接口的 srcObject 属性。

        srcObject MDN文档

        可通过调用 MediaDevices.getUserMedia() 来访问本地媒体，调用该方法后浏览器会提示用户给予使用媒体输入的许可，媒体输入会产生一个 MediaStream ，里面包含了请求的媒体类型的轨道。此流可以包含一个视频轨道（来自硬件或者虚拟视频源，比如相机、视频采集设备和屏幕共享服务等等）、一个音频轨道（同样来自硬件或虚拟音频源，比如麦克风、A/D转换器等等），也可能是其它轨道类型。

        通过 MediaDevices.enumerateDevices() 我们可以得到一个本机可用的媒体输入和输出设备的列表，例如麦克风，摄像机，耳机设备等。

        列表中的每个媒体输入都可作为MediaTrackConstraints中对应类型的值，如一个音频设备输入audioDeviceInput可设置为MediaTrackConstraints中audio属性的值

        将该constraint值作为参数传入到 MediaDevices.getUserMedia(constraints) 中，便可获得该设备的MediaStream。

        MediaDevices.enumerateDevices() MDN文档

        MediaDevices.getUserMedia() MDN文档

        使用 MediaDevices.getDisplayMedia() 方法，可以提示用户去选择和授权捕获展示的内容或部分内容（如一个窗口），并将录制内容在一个 MediaStream 里。

        MediaDevices.getDisplayMedia() MDN文档

        使用 HTMLCanvasElement.captureStream() 方法返回的 CanvasCaptureMediaStream 是一个实时捕获的canvas动画流。

        HTMLCanvasElement.captureStream() MDN文档

        CanvasCaptureMediaStream MDN文档

        可通过构造函数 MediaStream() 返回新建的空白的 MediaStream 实例

        MediaRecorder MDN文档

如何在网页中使用js录屏插件?

       探索如何仅使用JavaScript创建网页录屏插件

       实现录屏功能，我们首先需要理解`getDisplayMedia` API。此API允许网站在用户同意的情况下捕获屏幕或屏幕部分的媒体流，常用于实现屏幕共享、视频会议和直播。

       基本使用步骤：

       1. 调用`navigator.mediaDevices.getDisplayMedia()`方法。linux源码运行该方法返回一个Promise，解析结果为包含屏幕捕获数据的MediaStream对象。

       2. 通过脚手架快速生成插件框架。选择Chrome插件模板，使用脚手架快速创建项目。

       3. 在浏览器右键菜单添加按钮，监听右键点击事件。选择百度首页作为触发录屏事件的中间页面。

       4. 根据`isStartMediaRecorder`参数判断是否需要弹窗提示用户。

       5. 开始录屏，监听结束事件，并通过a标签将录制视频下载至本地。

       为了方便使用，源码改进提供插件下载地址：gitee.com/zheng_yongtao...

       安装步骤：下载解压后，导入Chrome的`extensions/`目录，选择解压后的文件夹。

       源码可访问：gitee.com/zheng_yongtao...

       欢迎关注公众号『前端也能这么有趣』，获取更多有趣内容。

       在此，感谢您的支持，我们下次再见。

Android音视频(一) Camera2 API采集数据

       深入剖析Android音视频技术，bqb源码本文聚焦于Camera2 API的采集数据功能。在Android API中，Google以Camera2取代了原本的Camera，带来了显著的变革。

       Camera2的核心是pipeline（管道）概念，它将Android Device与Camera Device相连，通过管道发送CaptureRequest请求，并接收CameraMetadata数据，整个过程在名为CameraCaptureSession的落地源码会话中实现。

       在Camera2架构中，关键类角色包括CameraManager、CameraDevice、CameraCharacteristics、CameraRequest、CameraRequest.Builder、CameraCaptureSession以及CaptureResult。CameraManager用于管理系统摄像头，CameraDevice与硬件摄像头直接联系，fink源码CameraCaptureSession则为Android Device与Camera Device之间的管道，负责数据交流。

       CameraCaptureSession是核心，用于配置捕获请求，并在预览、拍照、再次预览时使用。它在配置成功时触发onConfigured方法，配置失败时触发onConfigureFailed方法。此外，它还管理捕获回调，用于接收捕获请求的状态信息。

       CameraCharacteristics描述了CameraDevice的属性，可以通过CameraManager查询。CameraRequest与CameraRequest.Builder用于描述捕获的参数设置，包括硬件配置、对焦模式、曝光模式等。CaptureResult则包含了从图像传感器捕获单个图像的结果的子集。

       为了深入理解Camera2 API，Google提供了两个示例程序：android-Camera2Basic和android-Camera2Video。这些示例涵盖了预览、拍照、录像等功能，是学习入门的优秀资源。通过回顾整个流程，可以更深刻地理解Camera2 API的使用。

       流程大致如下：

       打开摄像头

       创建会话，开始预览

       拍照

       录像

       了解MediaRecorder录制视频的相关代码后，可以更全面地掌握Camera2 API在预览、拍照和录像过程中的应用。

       总之，Camera2 API的采集数据功能复杂且重要，后续会继续深入分析原理和源码，为Android开发提供更全面的技术支持。