WebRTC的愿景就是各浏览器之间可以快速开发可以实时互动的音视频的应用场景!!!
1.过多的协议,WebRTC太庞大、烦杂,门槛高
2.客户端与服务端分离,WebRTC只有客户端,没有服务端,需要自己根据业务实现
3.相关资料少
4.网上代码错误太多
WebRTC与FFmpeg是音视频领域的两个佼佼者,两个侧重点不同,FFmpeg侧重于多媒体文件的编辑,音视频的编解码....;WebRTC侧重于处理网络抖动、丢包、评估以及音频处理,回音降噪等等。
WebRTC实现了基于网页的视频会议,标准是WHATWG 协议,目的是通过浏览器提供简单的javascript就可以达到实时通讯(Real-Time Communications (RTC))能力。
第一部分为绿色区域,为webrtc库所提供的核心功能
第二部分为紫色区域,是浏览器提供的javascript的API层—也就是说浏览器对webrtc的核心层的C++ API做了一层封装,封装成为了javascript接口
第三部分为箭头区域,是很多的上层应用
分为如下4层:
第一层为C++ API,是WebRTC库提供给浏览器javascript层的核心功能API接口(不多,简单,比如:连接、P2P进行连接、传输质量、设备管理....)
第二层为Session层,上下文管理层,音频、视频、非音视频的数据传输,都通过session层处理,实现相关逻辑
第三层包括音频引擎、视频引擎、传输模块
第四层与硬件相关,包括音视频的采集、网络IO (可重载的,可以使用自己的方案)
注意:在webrtc中没有对视频进行渲染处理,所以需要我们在应用中自己实现!!
将这3个模块分隔开来,逻辑更加清晰。另外音视频的同步不是在引擎层实现
iSAC(Internet Speech Audio Codec):针对VoIP和音频流的宽带和超宽带音频编解码器,是WebRTC音频引擎的默认的编解码器
采样频率:16khz,24khz,32khz;(默认为16khz) 自适应速率为10kbit/s ~ 52kbit/s; 自适应包大小:30~60ms; 算法延时:frame + 3ms
采样频率:8khz;
20ms帧比特率为15.2kbps
30ms帧比特率为13.33kbps
标准由IETF RFC3951和RFC3952定义
NetEQ算法:自适应抖动控制算法以及语音包丢失隐藏算法。使其能够快速且高解析度地适应不断变化的网络环境,确保音质优美且缓冲延迟最小。 是GIPS公司独步天下的技术,能够有效的处理由于网络抖动和语音包丢失时候对语音质量产生的影响。
PS:NetEQ 也是WebRTC中一个极具价值的技术,对于提高VoIP质量有明显效果,加以AEC\NR\AGC等模块集成使用,效果更好。
Noise Reduction (NR):噪声抑制也是一个基于软件的信号处理元件,用于消除与相关VoIP的某些类型的背景噪声(嘶嘶声,风扇噪音等等… …)
VP8适合实时通信应用场景,因为它主要是针对低延时而设计的编解码器。
PS:VPx编解码器是Google收购ON2公司后开源的,VPx现在是WebM项目的一部分,而WebM项目是Google致力于推动的HTML5标准之一
由于浏览器需要安全传输,所以使用了SRTP协议,为了进行控制,使用了RTCP; 为了处理多个流复用同一个通道,实现了Multiplexing
最下面实现了P2P相关的协议,比如STUN + TRUN + ICE
连通性TCP要优于UDP,假如国内外通信,可能某些区域不允许通过UDP进行实时传输。为了保证连通率,优先选择UDP,如果UDP无法通信,则选择TCP,以此来保证连通率。
当然,也存在部分情况,TCP依旧不通,比如通过企业内部网访问,网关拒绝访问外网,这时可以使用Https。这时不太保证实时性了
api目录 如果我们要增加接口或者调整接口,就需要到API目录下去修改相关接口!
call目录 当与对端进行连接之后,同一个端的流通过Call进行管理;如果与多个对端进行连接,就会存在多个Call
media目录 内部实现了编解码的逻辑处理(并没有实现编解码内部逻辑,是在Module中实现的),只是对编解码算法进行了调用控制(决定在哪调用)
mudule目录 有很多子模块
pc目录 代表与对端的连接,可以获取流,获取统计信息(上层的统一接口层)
audio_mixer目录 实现混音操作,比如在多人通话时候,需要对多个音频进行混合处理,这样在传输时比较方便,减少了音频流
audio_processing目录 实现音频的前后处理,比如降噪、回音消除...
video_processing目录 实现视频的前后处理,可以添加如人脸识别等操作....
轨:比如一路音频,就是一路轨;一路视频,也是一路轨。两条轨之间是不相交的,单独存放!!两路音频也是两路轨,也是不相交的
流:媒体流,内部包含了很多轨,两者属于层级关系
MediaStream同前面的讲解
RTCPeerConnection:是整个WebRTC中最重要的类(大而全),包含了很多的功能。对于应用层非常方便,在应用层只要创建了PeerConnection,然后将流放入PeerConnection中即可,其他的逻辑全部由peerConnection内部实现
RTCDataChannel:对于非音视频的数据,都通过dataChannel进行传输。其中RTCDataChannel是通过RTCPeerConnection获取的
PeerConnection中包含两个线程,Worker线程和Signaling线程,可以创建PeerConnectionFactory,
之后PerrConnectionFactory可以创建PeerConnection和LocalMediaStream和LocalVideo/AudioTrack
通过AddTrack将我们创建的多个Track轨加入到MediaStream流中,通过AddStream可以将多个MediaStream流(与多方通信,每一方(每一个参与单位)都是对应一个Stream)加入同一个PeerConnection中(复用),
【SDP描述信息】内容:有哪些音视频数据,音视频数据的格式分别是什么,传输地址是什么等;
FROM https://www.cnblogs.com/ssyfj/p/14778839.html
文章浏览阅读1.3w次。转载自 http://www.miui.com/thread-2003672-1-1.html 当手机在刷错包或者误修改删除系统文件后会出现无法开机或者是移动定制(联通合约机)版想刷标准版,这时就会用到线刷,首先就是安装线刷驱动。 在XP和win7上线刷是比较方便的,用那个驱动自动安装版,直接就可以安装好,完成线刷。不过现在也有好多机友换成了win8/8.1系统,再使用这个_mt65驱动
文章浏览阅读1k次。SonarQube是一个代码质量管理平台,可以扫描监测代码并给出质量评价及修改建议,通过插件机制支持25+中开发语言,可以很容易与gradle\maven\jenkins等工具进行集成,是非常流行的代码质量管控平台。通CheckStyle、findbugs等工具定位不同,SonarQube定位于平台,有完善的管理机制及强大的管理页面,并通过插件支持checkstyle及findbugs等既有的流..._sonar的客户端区别
文章浏览阅读3.4k次,点赞2次,收藏27次。神经图灵机是LSTM、GRU的改进版本,本质上依然包含一个外部记忆结构、可对记忆进行读写操作,主要针对读写操作进行了改进,或者说提出了一种新的读写操作思路。神经图灵机之所以叫这个名字是因为它通过深度学习模型模拟了图灵机,但是我觉得如果先去介绍图灵机的概念,就会搞得很混乱,所以这里主要从神经图灵机改进了LSTM的哪些方面入手进行讲解,同时,由于模型的结构比较复杂,为了让思路更清晰,这次也会分开几..._神经图灵机方法改进
文章浏览阅读2.8k次。一、模型迭代方法机器学习模型在实际应用的场景,通常要根据新增的数据下进行模型的迭代,常见的模型迭代方法有以下几种:1、全量数据重新训练一个模型,直接合并历史训练数据与新增的数据,模型直接离线学习全量数据,学习得到一个全新的模型。优缺点:这也是实际最为常见的模型迭代方式,通常模型效果也是最好的,但这样模型迭代比较耗时,资源耗费比较多,实时性较差,特别是在大数据场景更为困难;2、模型融合的方法,将旧模..._模型迭代
文章浏览阅读2.3k次。1、前言上传图片一般采用异步上传的方式,但是异步上传带来不好的地方,就如果图片有改变或者删除,图片服务器端就会造成浪费。所以有时候就会和参数同步提交。笔者喜欢base64图片一起上传,但是图片过多时就会出现数据丢失等异常。因为tomcat的post请求默认是2M的长度限制。2、解决办法有两种:① 修改tomcat的servel.xml的配置文件,设置 maxPostSize=..._base64可以装换zip吗
文章浏览阅读1k次,点赞17次,收藏22次。Opencv自然场景文本识别系统(源码&教程)_opencv自然场景实时识别文字
文章浏览阅读1.3k次。拷贝虚拟机文件时间比较长,因为虚拟机 flat 文件很大,所以要等。脚本完成后,以复制虚拟机文件夹。将以下脚本内容写入文件。_exsi6.7快速克隆centos
文章浏览阅读2k次。本文主要实现基于二度好友的推荐。数学公式参考于:http://blog.csdn.net/qq_14950717/article/details/52197565测试数据为自己随手画的关系图把图片整理成文本信息如下:a b c d e f yb c a f gc a b dd c a e h q re f h d af e a b gg h f bh e g i di j m n ..._本关任务:使用 spark core 知识完成 " 好友推荐 " 的程序。
文章浏览阅读367次。南京大学高级程序设计期末复习总结,c++面向对象编程_南京大学高级程序设计
文章浏览阅读3.1k次,点赞2次,收藏12次。实现朴素贝叶斯分类器,并且根据李航《统计机器学习》第四章提供的数据训练与测试,结果与书中一致分别实现了朴素贝叶斯以及带有laplace平滑的朴素贝叶斯%书中例题实现朴素贝叶斯%特征1的取值集合A1=[1;2;3];%特征2的取值集合A2=[4;5;6];%S M LAValues={A1;A2};%Y的取值集合YValue=[-1;1];%数据集和T=[ 1,4,-1;..._朴素贝叶斯 matlab训练和测试输出
文章浏览阅读1.6k次。Markdown 文本换行_markdowntext 换行
文章浏览阅读6.7w次,点赞2次,收藏37次。win10 2016长期服务版激活错误解决方法:打开“注册表编辑器”;(Windows + R然后输入Regedit)修改SkipRearm的值为1:(在HKEY_LOCAL_MACHINE–》SOFTWARE–》Microsoft–》Windows NT–》CurrentVersion–》SoftwareProtectionPlatform里面,将SkipRearm的值修改为1)重..._错误: 0xc0000022 在运行 microsoft windows 非核心版本的计算机上,运行“slui.ex