iis网站主目录,seo设置是什么,赣州seo公司,上海品牌网站制作直播#xff0c;已经成为了“剁手党”们最喜闻乐见的一种购物形式。对直播体验的极致追求#xff0c;也是淘宝技术人们长期的努力方向。为了提升用户购物体验#xff0c;让直播更加丝滑#xff0c;让剁手更快一些#xff0c;在2020双十一期间#xff0c;淘宝首次启用了阿…直播已经成为了“剁手党”们最喜闻乐见的一种购物形式。对直播体验的极致追求也是淘宝技术人们长期的努力方向。为了提升用户购物体验让直播更加丝滑让剁手更快一些在2020双十一期间淘宝首次启用了阿里云CDN的GRTN全球实时传输网络。数据显示和传统的HTTPFLV/RTMP方式相比在启用了GRTN后直播端到端的延时降低了83%。那么GRTN到底是什么其背后究竟隐藏了哪些核心技术
这篇文章会通过回顾互联网直播技术的发展历程深度剖析直播延时的技术挑战并解读阿里云全球实时传输网络GRTN的设计思路、技术原理、特质与应用实践以及GRTN在摆脱传统直播技术所面临的内卷化Involution窘境所作出的尝试。GRTN不单单是为互联网直播而设计诸如时音视频RTC等流媒体技术的使用者比如云会议、云游戏、云桌面等在将业务迁移至GRTN后可以有什么新玩法和创新机遇本文将为您解答。
作者子融阿里云高级技术专家负责阿里云视频直播产品和流媒体实时加速平台研发
互联网直播技术的进化趋势
互联网直播技术的发展大致可以被分为了4个阶段分别是创新期、演进期、量产期和瓶颈期。 互联网上的第1场比较有名的直播还要追溯到20多年前那是20世纪的最后一年维多利亚秘密Victoria Secret在线上直播了她们的时尚走秀也就是大家今天比较熟知的维密秀尽管画面及其不清晰但也吸引了数以百万级的观众充分展现了直播这个新物种巨大的吸引力要知道今天全球著名的流媒体公司Netflix奈非当时还是在靠DVD租赁来维持生计。这段时期我们称之为直播技术的创新期它革命性的将观众的观影体验从离线文件下载和DVD租赁升级到了线上但这个时期的直播体验还是比较差的体现在时延和卡顿上就是分钟级的延时并且经常卡顿。
接下来伴随着互联网的基础设施的演进流媒体技术也得到了长足的发展这其中典型的代表是流媒体技术演进出了一种对CDN非常友好的模式即媒体流切片模式媒体流被分割成2-10s不等的切片文件并通过CDN来进行分发这种特性很好地适应了互联网延时抖动从而提供了一种相对流畅的观影体验并且将时延从数分钟压缩到了数十秒。这一时期我们称之为互联网直播的演讲期这一时期的直播应用主要以电视台体育赛事为主。
时间来到2016年随着移动互联网迎来4G时代美女主播、游戏主播等应用的兴起互动直播开始爆发各种直播App如雨后春笋般涌现这一时期网红们已经可以通过自己的手机随时随地的开播此时国内主流的协议有耳熟能详的RTMP、HTTPFLV、HLS等由于底层的传输仍然采用TCP延时普遍在5-10s之间但画面已经比较清晰和流畅了。
时至今日互联网直播经历了4年的高速期发展用户对体验的要求越来越高传统的5-10s延时很难进行实时互动比如时下很火的直播带货和在线教育业务主播和观众、老师和学生的实时互动体验还是有很大的改进空间的另外随着5G时代的到来新的场景比如AR/VR沉浸式直播、4K全息投影远程直播都要求更高带宽和更低延时。但直播技术近几年却未能有本质性的突破各家直播CDN厂商都投入了大量的精力在对现有基于TCP的RTMP/FLV直播体系的质量优化上主要优化手段有精细化的调度、精准的覆盖、优质的资源、优化缓存命中率、TCP协议栈优化、直播业务行为分析等质量优化系统做得越来越精致但在时延的提升上也就是在几百ms左右甚至就是在扣那几十ms卡顿的降低也都是在几个百分点左右对实际用户体验的提升已经是非常有限了互联网直播技术开始遇到了瓶颈这种内卷化的发展其实是一定程度上制约了业务的发展。
互联网直播延时分布和技术挑战
那么如何才能在延时上有所突破呢 要解决这个问题首先需要剖析一下直播延时的整体分布互联网直播全链路可以分为7个步骤分别是采集、编码、发送、分发、接收、解码和渲染。 其中采集编码解码渲染总体延时比较固定共100ms左右变动比较大的部分是分发和接收从数十毫秒到数秒不等主要取决链路时延抖动、协议栈的优化情况以及CDN资源的覆盖情况。
在传统的架构里这个7个环节相互独立互不相干这样做的好处是团队分工比较明确但问题就是优化手段很难做到跨界融合导致无法做到系统级优化。比如编码器如果可以考虑发送时的拥塞情况来实时调整码率就可以一定程度上缓解拥塞从而降低延时再比如传统的流媒体传输中媒体数据发送和底层的传输是相互独立的底层TCP传输的拥塞控制算法是个通用算法不会考虑媒体的特性这样的一个分层结构是很难形成即时反馈系统的那么为了保障流畅度缓存区的大小设计会相对保守从而牺牲了端到端的时延如果传输层和应用层是一体化的QoS控制针对媒体特性来专门设计同时配合编码侧的码率控制就能通过组合拳的方式大大地降低延时。
所以上述各个环节应该是环环相扣做到全链路相互感知才能将延时压缩到极致。
业界主流低延时直播方案对比
业界主流的5种流媒体协议和技术其中包括WebRTC、QUIC、SRT、CMAF、LLHLS。 这里的对比从下述8个维度来展开 提出时间WebRTC是最早被提出的QUIC紧随其后最晚的是去年Apple新发布的LLHLS 完备度这里的完备度主要关注这项技术是否涉及我们前面提到的直播全链路中的各个环节比如WebRTC我们认为是全覆盖的它涉及了从采集、编解码、传输和渲染的全部环节所以严格来讲WebRTC并不是一个协议而是一个开放的实时流媒体通信框架那我们再来看QUIC它是一个正在被IETF标准化的新一代传输协议SRT在2017年刚开源的时候的只是一个视频传输协议但随着很多编码器厂商的支持也开始可以影响编码侧的码率从而保持相对稳定的时延。 底层传输协议和类型WebRTC、QUIC、SRT都是基于UDP的而且都是流式的传输而CMAF和LLHLS都是切片方式的底层基于HTTP。
标准和终端支持WebRTC已经是W3C标准并且使用了大量的IETF RFC规范目前几乎所有的浏览器以及手机操作系统都支持WebRTCQUIC预计在今年年底会正式成为下一代HTTP标准即HTTP/3目前Chrome已经支持。
场景和延时WebRTC是为实时音视频通信场景设计端到端延时是在400ms以内250ms左右 而其它几个协议要做到2s以内都还需要很多的额外技术投入。
综合各方面因素阿里云的新一代传输网络选择了WebRTC技术不仅延时低而且支持单通道全双工可以做到真正意义上的低延时互动。
GRTN的定位
为了能够降低直播的端到端延时阿里云CDN与视频云联合手淘技术、达摩院XG实验室在先后从直播、短延时直播拓展到RTC领域并在 QoS和AAA方面发力最终成功构建了GRTNGlobal Realtime Transport Network全球实时传输网。
GRTN的定位是基于中心云和边缘云的异构节点构建超低延时、全分布式下沉的通信级流媒体传输网络。GRTN目前融合了互联网直播和RTC等多种业务场景的音视频流传输和交换。基于GRTN的短延时直播RTS可以支持标准H5 WebRTC推播在千万级并发情况下延时可以控制在1s以内RTC端到端延时可以控制在250ms左右。
GRTN架构
下图是一个传统互动直播系统的典型架构这个架构的特点是 • 树状层级结构 • 上行推流主流协议RTMP/WebRTC • 下行播放的主流协议 HTTPFLV/ RTMP/HLS • 直播分发和RTC推流系统分离 • 端到端延时~6s 传统架构的主要缺点是
• 成本高主要是媒体数据经过的链路长、直播分发和RTC推流系统孤立 • 延时大因为采用的基于TCP的RTMP/HTTP-FLV协议而且媒体数据经过的链路长 • 扩展难由于RTMP/HTTP-FLV协议在传输上不是全双工的所以业务形态是只能支持单向直播视频互动需要借助旁路的连麦系统。
相比于传统的直播架构GRTN架构的技术特点是
• 混合组网树状层级结构对等图形网 • 能力下沉协议边缘卸载内部传输协议归一化 • 控制和数据分离动态路径规划全分布式SFU 架构升级所带来的核心价值是
• 降成本GRTN是一个多业务融合的网络可以支持直播、RTC和视频上云等多种场景业务复用率高另外 GRTN内部链路更短节点内的成本也更低。 • 提质量GRTN内部组网支持采用动态选路的方式来构建的网状结构内部链路延时可以做到20ms左右并且内部链路采用了私有协议来进行高效传输。另外客户端的推流和分发都是基于WebRTC来构建的QoS拥塞控制是专门针对流媒体特性来进行设计的并且还在基于线上数据建设进行持续迭代和打磨。 • 易扩展GRTN支持了WebRTC协议可以在单个连接通道上进行全双工的通信从而可以很自由的进行发布和订阅媒体流在业务的扩展性上带来了更大的想象空间。
GRTN核心技术 – 对等组网和路径动态规划
传统的直播架构是一种层级的树状结构由于媒体流的链路相对比较固定这种结构的在产品初期可以把研发资源更多的投入在媒体协议的处理上对于快速构建产品能力是相对风险可控的。但随着业务的发展这种架构的缺陷也会越发明显比如延时高、成本高而且扩展性也比较差等在一定程度上是阻碍业务发展的比如延时很难突破到6s以下视频的互动只能借助旁路连麦系统等。
为了根本上解决这一系列问题并结合层级结构有助于系统运维和容量评估而网状结构有益于构建高质量和低成本的网络的特性GRTN采用了混合组网方式即层级结构和对等图形方式相结合的组网的方式。选路中心会周期性收集内部链路探测的结果为了配合动态组网流媒体大脑模块需要对流信息进行管理同时还需要支持路径切换、容量规划以及在成本和质量之间做综合的调度。
GRTN核心技术 – 多路径传输
为了能够提高GRTN内部链路传输的可靠性以及考虑在成本和质量间的均衡GRTN支持如下3种内部链路多路径传输模式竞速模式、备选模式和智能模式可以在高可靠质量成本等诸多因素控制下进行适配和自适应的切换。
GRTN核心技术 – 能力下沉
流媒体技术向来以协议多著称主要是因为业务的多样性导致下面是流媒体行业的技术进化趋势对比表 上表中只整理了相对比较通用的协议可以看到流媒体协议纷繁复杂在传统的架构里这些协议的处理在中心完成边缘主要做透传分发这样的问题就是协议处理的链路太长不仅成本高而且延时大那么很自然的一个想法就是将协议和媒体处理能力下沉到CDN的边缘中心只是做管控从而做到类似Service Mesh的设计思想将控制与数据分离因为这些协议的本质都是在传输音视频的基本流ESElementary Stream比如常见的H.264/H.265/AAC/OPUS/VP8/VP8/AV1等不同的协议解决的是不同的封装格式的传输问题比如有TSTransport Stream、PSProgram Stream、MP4、fMP4fragment MP4、FLV等而不同的封装格式本质上就是针对不同场景下如何封装ES流的问题因此在边缘设计一种通用的针对不同ES流的传输协议和缓存系统是完全可行的。GRTN将协议处理能力下沉到了边缘节点目前可以支持RTMP、HTTP-FLV、WebRTC、GB28181等流式协议。
GRTN核心技术 – 双向实时信令网
前面提到GRTN核心价值之一是高质量高质量除了延时低以外还需要考虑快速容灾切换能力以及提升首屏秒开率等核心指标。 在RTC场景下有一个比较常用的功能是客户端网络的Mobility比如用户在开会的过程中回家或是离开家的时候手机网络需要在4G和wifi之间切换另外考虑客户端接入的CDN节点出现异常的时候这两种情况都会造成客户端在和GRTN通信过程中切换接入节点GRTN构建的双向的实时信令网能够做到切网消息的毫秒级传递当有一个发布端的媒体流发生网络切换后订阅的客户端对GRTN内部发生的切换行为是完全无感知的。
GRTN核心技术 – 持续迭代的QoS
GRTN之所以能够做到在直播延时由6s降低到1s以内RTC通信延时做到250ms左右除了图形网的结构的改造以及协议下沉等技术外最核心的还是有采用了有媒体特性感知的QoS这和TCP或QUIC这类通用QoS策略在本质上是不一样。
WebRTC的QoS是一个针对流媒体特性的多维决策体系涉及到的算法和策略参数非常多为了方便业务层对底层QoS算法和参数的择优GRTN设计了一套可插拔的的QoS集成框架结合GRTN数据化的质量评估体系可以做到一次集成持续迭代不同的算法和参数都可以利用GRTN的A/B质量评估体系进行线上评估形成赛马机制。
同时QoS和文章前面提到的动态路径规划也是有很多结合点的QoS研究中的一个很重要课题就是需要区分出网络的抖动和拥塞如果是拥塞那就需要反馈给上游进行信源带宽调配比如降码率流切换等但如果只是短暂的抖动就可以启用相对激进的抗丢包策略动态路径规划也面临类似的问题如果是只是短暂的拥塞可以保持当前链路并借助QoS的抗丢包策略来扛但如果是链路拥塞了则需要尽快切换链路。
GRTN核心技术 – 流媒体孪生
GRTN升级到网状结构后也会面临一些新的挑战。众所周知在618和双11等大促活动期间确保CDN资源的充足供应是至关重要的在传统的层级结构下可以通过业务命中率来分别对L1/L2/中心分别进行评估而在网状结构下内部链路是动态规划出来的也就意味着流量的分布也是动态的这对于如何评估 CDN的整体容量提出了新的挑战再比如动态选路算法如何在质量和成本之间找到均衡点以确保GRTN系统的低成本高质量 为了解决此类问题GRTN借鉴数字孪生(Digital Twin https://en.wikipedia.org/wiki/Digital_twin)的思想设计了一个流媒体孪生(Streamimg Media Digital Twin)系统用于容量评估、算法训练、事件复盘和模拟压测等。
GRTN核心技术 – 可编程
流媒体技术的上层业务场景非常丰富比如电商直播、视频会议、在线教育、企业直播、新零售等因此有很多定制化开发的需求。可编程化改造是GRTN在提升系统稳定性上的一次尝试目前GRTN的中心流媒体大脑节点侧的业务模块媒体数据发送模块、媒体信令处理模块等都已经进行了可编程化改造大部分情况下都可以避免二进制的发布。
阿里云超低延时直播产品RTS
为了更加方便客户和行业拥抱GRTN阿里云基于GRTN打造了超低延时直播服务RTS其有四个技术特性
一、秒级延时和卓越的抗弱网能力在相同卡顿率下延时可以降低80%相比于传统的RTMP和FLV的5-10s延时RTS的延时可以达到1s以内并且还在基于线上的大数据在自我学习和持续迭代中。
二、成熟稳定RTS历经2年多时间的潜心研发并经历了淘宝直播618大促的线上考验目前已经在淘宝直播上线。
三、开放标准为了能够方便自研播放器的客户使用我们的RTS服务阿里云的WebRTC接入的信令协议的完全开放的、透明的。
四、广覆盖和高并发RTS服务是构建在阿里云2800边缘节点之上可以支持千万级并发播放。
客户接入RTS的两种解决方案
一、对于使用云厂商播放SDK的客户升级播放SDK后可根据业务灵活选择网络传输协议打造更高性价比组合。 1.在现有的直播业务新增一个RTS播流域名一个推流两种方式拉流。 2.主播端无需改造仅升级播放SDK播放端自动识别不同URL参数。 二、对于自研播放器的客户阿里云开放与标准WebRTC协议对接代码示范客户自行升级网络模块底层网络对接更透明 1.在现有的直播业务新增一个RTS播流域名一个推流两种方式拉流。 2.主播端不用改造仅升级播放器网络模块拉取超低延时流播放。 关于低延时互动体验升级路径的未来展望
在流媒体业务的用户体验升级上GRTN今天所带来的不仅仅是延时的降低另外一个很重要的能力就是GRTN所提供的灵活的互动能力GRTN让直播和RTC的边界模糊让连麦和会议的界限模糊。在GRTN的世界里只有媒体流的发布和订阅关系 • 直播1人发布多人订阅 • 1v1客户端连麦直播3人发布多人订阅这里的第3个发布是来自主播侧的合屏流。 • 1v1服务侧连麦直播 3人发布多人订阅这里的第3个发布是来自于服务侧的合流发布当合流发布上来的时候可以利用GRTN的切流能力做到在连麦切换的时候观众无感。 • 视频会议多人发布多人订阅GRTN的切流能力可以用于会议中的视频大小流高清晰度和低清晰度切换。 再配合GRTN基于成本和稳定性所提供的分级的时延能力50ms/250ms/800ms/6s/…就可以勾兑出不同的场景和产品化能力。
在线教育体验升级
在过去在线教育比较典型的架构是旁路直播模式即云端有个基于WebRTC的RTC媒体中心老师以及需要实时互动的学员会接入到WebRTC频道中然后由RTC媒体中心转推一路RTMP流到直播CDN进行旁路直播由于直播时延大且协议的不一致性在这种情况下观看直播的学员如果要切入到RTC频道中进行互动体验是比较差的有时还会有黑屏中断。 如果希望降低延时并完全解决黑屏问题那就需要将云端的WebRTC双向通信频道的能力也下沉到GRTN上由GRTN来承载将互动和分发进行融合从而形成一体化的超低延时互动大频道通过业务层来控制WebRTC流的订阅关系直播和互动频道间不再有明确的界限可以灵活的根据业务情况按需在2种模式间进行切换而且这种切换对学员和老师都是完全无感的
电商直播体验的升级
当下的直播带货整体架构和上面讲的在线教育没有本质区别在架构升级路径上也是可以采用上述同样的思路。这里值得一提的是在使用了GRTN后业务方的技术团队可以将精力更多的集中在做很多创新的事情上比如在小主播的带货房间里以前的互动只有文字或是1v1的连麦接入到GRTN后很容易就可以将这个单向带货介绍的房间改造成一个类似视频会议的多人互动讨论房间用户互动体验提升后是否也能像时延降低一样带来GMV的转换呢 本篇文章重点介绍的是GRTN的服务侧核心能力希望能给做流媒体技术的同学带来些许启发。感谢大家的阅读。 原文链接 本文为阿里云原创内容未经允许不得转载。
