利用亚马逊的开源媒体重放引擎(MRE)框架,实现视频剪辑和重放生成的自动化, 以及亚马逊网络服务(AWS)的基础设施和解决方案, Catch Up With Highlights是一个端到端解决方案,可以接收广播流, 通过人工智能训练的计算机视觉识别有价值的比赛时刻, 然后用跨用户设备的元数据编码交付流. AWS已经成为福克斯公司媒体工作流程的基础, 开发团队能够在大约8周的时间内完成复杂的新功能.
福克斯数据产品和机器学习(ML)战略副总裁, 菲尔·马丁, 谁领导了“赶上亮点”开发和首次部署, 共享, “在过去的五年里,我们的团队通过构建先进的智能平台和产品,在释放数据的力量方面取得了巨大的成功. 此外,我们真的团结在革命性的粉丝的想法. 我们相信运动应该是愉快的,每个人都可以接触到, 这就是为什么我们设计我们的平台,使其易于参与和享受. 我们的“赶上亮点”功能就是这种理念的一个很好的例子. 我们知道,在世界杯这样的赛事中,比赛的水平是非同寻常的, 我们希望我们的功能能够反映这一标准. 为了实现这个目标, 我们开发了一种尖端的人工智能技术,创造了一个可以实时动态复述游戏故事的亮点引擎, 突出关键时刻和事件,因为他们展开. 这确保了我们的用户能够跟上最新的动作并体验游戏的兴奋感, 不管他们在哪里. 在这段旅程之前和之后, AWS一直是我们值得信赖的合作伙伴,我们一起在世界上最大的体育舞台上,用数据革命球迷领域又向前迈出了一步.”
发布后,该功能无缝运行,几乎没有人为输入. Martin和他的团队创建了Catch Up With Highlights,以便随着比赛的进行不断优化精彩回放视频, 通过事件驱动的更新,在每场比赛中重述游戏故事20次以上. 这一方法确保了观众能够获得迄今为止游戏的全面回顾, 可以通过福克斯体育应用程序在联网电视和移动设备上观看. 基于性能推出了渐进式改进, such as adding a thumbs-up or down; and event enhancements, 包括扑出的射门和罚球. 最终,在61场比赛中自动发布了731个回顾视频.
“赶上亮点”工作流包括AWS Lambda事件驱动的无服务器计算, 以及亚马逊重新识别的计算机视觉. 体育数据存放在Amazon DynamoDB NoSQL数据库中,然后通过管道传输到MRE中. 现场视频通过AWS Elemental MediaConnect快速交付给观众, 视频存储在Amazon Simple Storage Service (Amazon S3)中, Amazon ElastiCache用于缓存实时剪辑.
“足球通常被称为‘美丽的运动’,因为它流畅而富有艺术风格,客观上它是一项简单的运动:比对手进更多的球,马丁解释道. “然而, 训练模型和围绕缺乏固定模式的游戏开发逻辑并不简单. 更复杂的是, 这是我们第一次公开发布一个摄取多个并发流的平台特性, 截断剪辑以进行推理, 情境化和优化每个片段, 并在事件发生的瞬间将其转码并直接发送到我们的CMS中.”
此外,该团队从活动组织者那里获得的参考信息有限. 相反,他们依靠音频线索和摄像机角度来帮助训练计算机视觉模型. 弹夹是用抛光元件自动组装的, 比如过渡和渐黑, 确保为粉丝提供高水准的观赛体验. 现在, 经过验证的, 可伸缩的方法, 马丁期待着在其他体育节目中复制《百家乐app下载》的剧本.
马丁的结论, “我们非常看好这个领域,并已经扩展到其他体育产业. 球迷们今天可以在美国职业棒球大联盟(MLB)的转播中体验到这一功能。, 美国足球联盟(USFL)和国际足联女足世界杯™?. Catch Up With Highlights将于今年秋天在足球转播中播出,更多个性化的内容即将出现. 可能性是无限的,我们才刚刚开始热身.”
在人工智能出现之前,许多被贴上“人工智能驱动”标签的产品都在做同样的事情. 但将它们熟悉的功能贴上“人工智能驱动”的标签,会让同样的技术看起来新鲜而创新.
2024年4月11日