在 WebRTC 框架中， SDP 被用于点与点之前的会话协商。协商基于 SDP 的 Offer/Answer 交换机制。SDP 包含了流信息, 以 Offers/Answers 的形式发送给对端。SDP 描述了多媒体会话，包括音视频，传真以及其他的流。它提供了一套标准用于全方位的描述多媒体会话，如 ...

概要本文分析 webrtc 音频全过程(以 linux 平台， opus 为例)。 模块分层图分成编解码和传输这两个大的模块。 粗略的分为三个代表性的层。 ADM(AudioDeviceModule) 音频设备模块，负责音频采集和播放。VOE(VoiceEngine) 语音引擎，原则上 ADM 也属 ...

这篇博客只记录在 linux 平台下使用 WebRtc 的过程，以及遇到的一些问题。并没有很系统的分析，不具备很强的参考性。 webrtc branchremotes/branch-heads/4147 (m84) 附上 webrtc 分支名称查询链接 webrtc branchs google ...

概要webrtc 中会用到多种协议，包括 STUN、rtp、rtcp， 但是他们会共用一个端口，这里记录一下 webrtc 中是如何分流数据的。 webrtc branch4147 (m84)， 本文代码属于该分支。 rtp/rtcp/STUN 协议头这里再贴一下协议头，方便查看 123456789 ...

概要本文所涉及的代码均采自 4147 (m84) 分支。基于此分支，分析 webrtc 是如何设置 opus 编码器的比特率的。做这个事情的原因是希望找到一个降低流量的方案，目前能想到的是降低编码器的比特率来达成目标。 初始化比特率的过程 设置及计算编码器相关参数 12345678910111213 ...

什么是抖动在实时音视频通信中，理想情况下，接受端收到的每个包与上一个包的间隔应该是一致的。比如三个包的到达时间为 t1、t2、t3, 那么 t3 - t2 = t2 - t1 = pack_len_ms (以 ms 为单位的帧长， 后面我们用 IAT 表示到达间隔), 这种情况下，接收端收到的音视 ...

概要分析一下 webrtc 中的线程，以及各个线程的职能分别是什么。 线程模型来自官方的说明。WebRtc Native APIs 有两个全局线程: signaling 线程和 worker 线程。这两个线程可以在创建 PeerConnectionFactory 时指定，如果不指定，其内部会创建缺省 ...

概要在 webrtc 框架中如何实现自定义的编解码器。近期对服务器做一下压测，但是模拟客户端在建立大量的推拉流对象时占用 cpu 过多，所以想实现一个简单的编码器，在具体编码时跳过编码算法，直接读取一段预加载好的音频数据，期望将cpu占用将下来，以提升压力测试的规模。所以这里记录一下 webrtc ...

webrtc 使用 rtp/rtcp 作为通信协议。rtp 是数据传输协议，rtcp 是 rtp 的扩展，发送一些控制信息，提供会话质量、通信性能等信息。rtp和rtcp可以共用一个通道，虽然头部略有不同，不过标准通过对 payloadtype 进行规划以区分两者，这样可以节省一个通道资源。 rtc ...

参考rfc5389 STUN 协议用于协商 NAT 穿透。终端使用它来获取 NAT 映射地址。它也被用于进行终端间的连通性测试以及终端间的连接保活。STUN 可工作于多种 NAT 下(有多种 NAT 实现)。 需要注意的是，STUN 不是 NAT 穿透的解决方案，它只是 NAT 穿透解决方案中用到的 ...