本文作者：馬星顯 唱吧大數據負責人
使用 MaxCompute之前，唱吧使用自建體系來存儲處理各端收集來的日誌數據，包括請求訪問記錄、埋點數據、服務器業務數據等。初期這套基於開源組件的體系有力支撐了數據統計、業務報表、風控等業務需求。但隨着每天處理數據量的增長，積累的歷史數據越來越多，來自其他部門同事的需求越來越複雜，自建體系逐漸暴露出了能力上的短板。同時期，唱吧開始嘗試阿里雲提供的ECS、OSS等雲服務，大數據部門也開始使用 MaxCompute來彌補自建體系的不足。
在內部ELK實現的基礎上，從自建機房向MaxCompute進行數據同步工作是比較簡單的，實踐中我們主要採取兩種方式：一是利用阿里雲提供的datahub組件，直接對接logstash；二是把待同步數據落地到文件，然後使用tunnel命令行工具上傳至MaxCompute的