沈阳市营商环境建设监督局网站,修改wordpress热门文章的数量,昆明有多少做网站的公司,网站国际联网备案摘要#xff1a; 本届世界杯互联网直播的顺利进行#xff0c;离不开各大云计算厂商的支持。在这其中#xff0c;阿里云是当之无愧的“C位“#xff0c;除了优酷外#xff0c;阿里云还支撑了CNTV、CCTV5客户端#xff0c;为全网70%的世界杯直播流量保驾护航。 对于世界杯这…摘要 本届世界杯互联网直播的顺利进行离不开各大云计算厂商的支持。在这其中阿里云是当之无愧的“C位“除了优酷外阿里云还支撑了CNTV、CCTV5客户端为全网70%的世界杯直播流量保驾护航。 对于世界杯这种超大观看量级、超强影响力的重要体育赛事阿里云一直致力研究的AI技术一定不会缺席。
本届世界杯互联网直播的顺利进行离不开各大云计算厂商的支持。在这其中阿里云是当之无愧的“C位“除了优酷外阿里云还支撑了CNTV、CCTV5客户端为全网70%的世界杯直播流量保驾护航。对于世界杯这种超大观看量级、超强影响力的重要体育赛事阿里云一直致力研究的AI技术一定不会缺席。如何用AI替代传统的内容加工模式高效地产出比赛集锦并将精彩内容快速呈现给观众呢世界杯期间阿里云联合阿里巴巴机器智能技术实验室利用“视频AI云剪辑媒资管理”的技术实时产生精彩集锦和球星集锦满足球迷们的重温赛事和追星的需求本文将揭晓技术实现过程。从整场赛事维度产生精彩集锦首先要做的事情是让机器比人更懂视频。通过对过去多届世界杯的多场赛事以及上万篇足球或世界杯相关文稿的学习阿里云视频AI对球场、球员、比赛机制、特定行为等都有了全面的理解所以它具备像观众一样去客观地认知和感受每一场世界杯球赛的能力。其次大量的标注工作也是必不可少的包括对帧图景深、位置、事件、红黄牌、不同角色行为、禁区危险画面及球星人脸的标注也包含对音频中关键词、音频事件等的标注。最后便是准确地提取“精彩”的内容。在这个环节算法和工程上进行了多处创新。包括将视频进行多模态分析从视频画面、音频、文字等多个维度提取关键信息再通过融合或者相互校验大幅度提高锁定精彩内容的准确性。将音频的信息分析和视频行为分析结果取权重融合判断将视频时域、空域网络权重与音频事件、ASR网络自适应累加从而对射门、进球、犯规、精妙传球等精彩镜头准确捕获同时结合实时事件信息分析结果进行合理回溯或预测完成事件提取比如受伤、换人、过人等事件相关的回放、特写、裁判行为抓取等。利用多维数据进行相互校验结合事件回溯和预测技术进行进一步的信息平滑处理在直播过程中逐渐累积精彩集锦或球星集锦。从球星的维度产生球星集锦赛事精彩集锦是以比赛本身为核心对精彩信息进行定义、提取、汇聚与展示而球星集锦是以特定球员为核心获取直播赛事中与球星相关的关键画面或关键事件。这一技术不仅能为视频生产方实时提供素材也能快速呈现球星爱豆的精华镜头让球迷们过足眼瘾。简单来说球星集锦的实现通过对世界杯场景进行深入理解和分析从比赛视频、解说词音频、球星库及人物场记等各个维度进行识别与分析并利用多模态融合技术从而实现复杂场景下的集锦效果。在视频AI处理中通过识别视频中已注册的球星并进行人物追踪同时做了一定程度的容错处理和补偿优化并针对不同位置的球星微调追踪模型最终对球星在视频中出现的时间线、幅面坐标及置信度进行综合的动态分析。在解说词AI处理中 则使用了世界杯场景的语音识别模型该模型对球员名称、足球术语、解说员的语速/语气/语调等进行了额外的训练和优化尤其是在声学模型上针对足球场景下的球场及观众噪声进行了适应性训练使得其最终对世界杯解说词的识别准确率提升了超过10个百分点。云剪辑是生成球星集锦的最后一步它能够接收视频AI输出的最终时间线对原始素材进行剪切合并。云剪辑可根据需要来开启并行剪辑模式这种模式下原始素材片段越多剪辑倍速越高。另外云剪辑还可接收高级剪辑参数如在不同剪辑片段之间增加转场在球星首次特写帧增加贴纸增加背景音乐、片头片尾等丰富集锦的娱乐效果。如何瞬时产出视频集锦对于直播体育赛事集锦视频产出的高效性非常重要。这也是视频AI真正可以替代人力发挥其价值的依据之一。而这对于视频云的流传输、音视频编解码、直转点以及云剪辑等技术能力都是极大的挑战。在保证实时性上阿里视频云利用直转点技术先碎片化进行实时多模态分析再结合事件回溯与预估对精彩集锦进行累积和快速调整最终合理聚合产出优质集锦。依靠强大的流媒体处理能力可以保证每场比赛的精彩集锦以及所有球星集锦在3-5分钟内生成再由平台快速发布出去。技术经历过无数次大“舞台”的洗练本次世界杯中再一次完美地解决了这一问题。可预见的未来激情赛事已经过半阿里云视频AI技术在本次世界杯中也成功落地而这并不是结局这是将视频AI应用于体育行业以及更多其他行业的开端。经历了对世界杯如此大型赛事的稳定保障阿里视频云将更成熟、稳定地去应对赛事场景下的视频分析与处理。AI技术也将渗透到各个行业中帮助用户有效提高视频的生产效率让内容更快、更准、更优。除了视频AI之外阿里云在本次世界杯中用到的窄带高清、50帧极清、CDN智能调度等技术也为2018年的世界杯的广大体育迷提供了更好的观看体验。阿里云目前已经是国内视频服务体量最大的云计算公司客户涵盖社交、教育、电商、游戏等未来也将不断致力释放技术红利帮助越来越多的客户实现业务飞速增长站领行业“C位”。原文链接本文为云栖社区原创内容未经允许不得转载。
