科天云以音视频技术赋予各行业新的生命力

　　科天云研发团队汇集了很多曾在思科、华为、IBM等企业就职的人才，有非常丰富的音视频产品研发经验。

　　如图所示，科天云自研的音视频通用SDK可将各种设备接进来，无论是在公有云上直接用，还是在私有云上部署，满足各类客户的需求。

　　实时音视频技术RTC的两个难点：一是如何兼容海量设备，二是怎样应对复杂多变的网络。

　　先从设备开始。图上主要说明了视频会议如何涵盖从口袋到董事会会议室的需求，从最左边最简单的手机、Pad，到桌面设备，到双屏、三屏的网真。用过视频会议的人应该都听说过网真，它的屏幕可以与真人大小一样，很多电视采访都使用了网真设备。

　　在公司会议室开会时，大多数依然使用SIP/H.323硬件终端。一些有安全要求的制造业客户用VDI虚拟桌面，这种硬件跑会议会碰到很多问题，VDI点对点呼叫会有所谓发卡效应，音视频都要到虚拟服务器绕一圈。在这种服务器上做音视频、会议客户端要采取特殊措施。

　　SIP/H.323协议兼容其实非常复杂，最少要兼容国际厂商例如思科、POLYCOM、AVAYA，国内厂商例如华为、中兴，这些头部厂商都要支持，甚至这些厂商多年前的老设备老版本也要兼容。

　　

　　到去年，随着万物互联的兴起，以及母公司TCL（因为其做屏幕有各种家电）提出将整个音视频带到所有家电中的战略，科天云开始扩展适配终端的类型。这也是非常大的挑战。

　　以前主要做安卓手机，现在安卓电视要适配CPU、GPU，还有分辨率的适配、竖屏变横屏等。现在市场上也推出了带摄像头的扫地机器人，带屏幕的吸油烟机、冰箱，智能门铃也有屏幕摄像头，这些设备多种多样。

　　音视频赋能智能家电是很有意义的，一些老人和小孩还是习惯看电视，新的电视机上有摄像头，在外办公的我们想看家里的老人和孩子时，在手机上点一下，在家那端的老人孩子无需做任何操作就能音视频通话了，很方便，可以时刻关爱家人。

　　

　　我们花了很大功夫去做上述终端的适配。用纯C代码实现端侧所有功能，WebRTC是用C++写的，用C语言才能做到可移植，做到非常小的安装包，适应超低功耗，利用不同编译器适应不同平台。虽然我们做了移植和裁减，但在抗弱网能力和首帧低延时方面还是实现了非常好的效果。

　

　　音频整体比视频从发送到接收要简单一些。整个损耗大部分发生在网络侧，设备侧损耗和信号处理方面也有一些，抗丢包拥塞控制方面，音视频的技术都类似。

　　

　　在客户端方面，我们科天云自研的冗余算法比较好，实测下在70%左右的网络丢包场景下音频可接受。在浏览器和SIP终端能做的优化手段，没有软客户端那么多，只能利用Opus带内FEC，可对抗40%左右丢包。

　

　　上图是RTC视频全流程的简图。它比音频复杂，做视频传输的核心是码率控制器，需要控制编码码率、FEC冗余度、丢包重传码率，最后通过Paced Sender控制发送码率到接收端。期间经过了很多代的迭代，最早完全靠接收端在REMB报文中反馈可接收带宽，现在主要在发送端进行带宽评估（基于接收端反馈的Transport-CC报文）。

　　最后通过以上各个环节优化，科天云在视频方面可对抗60%左右的丢包。根据NACK请求进行丢包重传，在低RTT的场景下NACK重传的抗丢包效果还是比较明显，同时也结合一些FEC的纠错。SIP在视频方面需要根据SIP设备反馈的丢包率及时延情况，动态调整视频分辨率和码率，SIP终端的软件硬件都比较难控制，有很多厂家，相较软客户端调优难度系数大。

　　如果把音视频都做到较好的弱网对抗性了，信令就是我们接下来需要优化的点了，要考虑信令的升级。最早比较多同行用WebSocket传信令，还有人在私有的RUDP协议上做信令传输，WebRTC新标准在推WebTransport，用它做信令升级，相较于基于TCP的WebSocket有很多优势。比如：更快的连接握手、连接多路复用、扩展FEC机制、支持连接迁移、改进的拥塞控制算法等。

　　如需获得完整版演讲PPT内容，请您扫码留下联系方式。

　　科天云专注为企业用户提供领先的专业级音视频协作服务和解决方案。科天云凭借多年视频会议及智能客服的音视频能力沉淀积累，依托音视频功能模组（aPass中台）的开发能力，打造“音视频+AIOT+场景应用解决方案”的实时音视频连接应用服务，为各类品牌设备商、ISV、SI提供最专业的音视频、云边协同、智能化的解决方案和服务能力。科天云服务已覆盖制造、教育、医疗、政府、金融、地产等诸多行业，为超过10万家企业客户加速推动协作变革和数字转型。