背景
近些年，随着双11、618等营销活动的常态化，优酷对内部的数据分析能力提出了更高的要求。主要体现在以下三方面：
-
实时性：传统的离线数据分析已无法满足强实时性的数据分析需求。在面向直播的数据大屏中，需要实时计算在线人数、CDN带宽水位、直播体验（错误、卡顿等）等大盘数据指标，需要全网的客户端日志以及个别服务端日志，无疑对数据的实时性提出了更高的挑战；
-
灵活性：除已经固化的业务报表外，新上线的活动、研发为了优化某一个模块所依赖的数据分析，都需要灵活、个性化的维度；
-
平台化：尽管依赖阿里集团的数据生态体系，但Case By Case的业务开发仍旧无法满足实时大屏需求，开发、维护成本增加，如何快速支撑实时大屏的流式计算成为数据团队要解决的核心问题。
面对上述三个方面的挑战，优酷数据团队首先解决了数据实时性问题，并在过程中沉淀出了面向实时、离线的多维度聚合统计分析类场景，提供模型搭建、数据计算、数据可视化的一站式数据服务平台。
前身：实时多维度聚合计算
每年的双11，除阿里集团的双11媒体大屏外，每个BU的大促、活动、战役都有自己的实时大屏，优酷也不例外。面对的主要挑战如下：
-
技术挑战：实时大屏都对数据有非常高的要求，同时面临着高吞吐、低延时、零差错、高稳定等多方面的挑战。仅世界杯期间，直播相关日志的实时流计算处理峰值就达到1千万条/秒，处理的总数据量高达百亿，期间实时大屏的稳定性保持在3个9的水平，并且要求分钟级的数据延时，涉及多维度分析；
-
业务挑战：在面向直播的数据大屏中，为了实时计算在线人数、CDN带宽水位、直播体验（错误、卡顿等）等大盘数据指标，需要全网的客户端日志以及个别服务端日志。另外为了让技术同学更全面的分析流量，增加了很多实时的数据维度，比如理论带宽降级策略需要端、版本、清晰度等，再比如播放体验卡顿相关需要运营商、省份城市、网络制式等维度。这些数据监控了当日直播的方方面面，也是活动应急决策的重要依据。
-
整体架构：
原文链接:【https://www.infoq.cn/article/4Y3VDIVBaEYe6BbEzEWo】。未经作者许可，禁止转载。