日誌服務數據入湖
日誌服務（SLS）是雲原生觀測分析平臺，爲Log/Metric/Trace等數據提供大規模、低成本、實時平臺化服務。一站式提供數據採集、加工、分析、告警可視化與投遞功能。阿里雲提供了企業級的數據湖解決方案，存儲層基於阿里雲對象存儲OSS構建。日誌服務支持開箱即用的OSS投遞入湖功能，實現數據的端到端的入湖。
本文主要介紹如何藉助日誌服務將關係型數據庫MySQL數據入湖和實踐，並介紹數據在入湖之前可以日誌服務可以提供哪些開箱即用的功能。
入湖流程
日誌服務中數據庫MySQL入湖流程主要包括數據導入和數據投遞兩部分，日誌服務在其中充當了數據通道和數據處理（ETL）的角色，藉助日誌服務的角色功能，可以爲入湖提供更多附加的價值。
MySQL數據導入
MySQL作爲一種關係型數據庫，往往存儲了企業核心的業務數據。典型的電商屬性的企業系統會有供應商表、庫存表、訂單表、用戶表等數據；社區屬性的企業系統會有用戶表、文章表、評論表等。隨着業務的發展數據量往往變得非常龐大，MySQL作爲一種OLTP數據庫，擅長事務的處理，在海量數據下，對商務運營查詢分析統計能力的需求並不友好，往往需要將數據導入到OLAP中進行分析統計。
日誌服務提供了一站式數據接入能力，支持各類數據源的接入，本文主要介紹MySQL數據如何進行接入。
隨着企業上雲的數量越來越多，很多的企業直接使用了雲上數據庫，比如阿里雲提供的RDS數據庫，也有一些企業依然使用自建數據庫，日誌服務的MySQL數據導入提供了對兩種部署形態的數據庫的支持。
自建數據庫
自建數據庫主要包括在ECS上自建的數據庫或者客戶環境部署的數據庫，對於ECS自建數據庫，往往是部署在VPC網絡下，日誌服務提供了直接通過VPC鏈接ECS自建數據庫的能力。對於雲下環境部署的數據庫，出於安全考慮一般不會提供公網的訪問鏈接，可以使用SLS的Logtail插件進行MySQL數據的導入，對於Logtail採集MySQL數據可以參考《採集MySQL查詢結果》，這了不在贅述。
RDS數據庫
對於RDS數據庫，日誌服務數據接入提供了原生的網絡連通能力，支持直接在VPC網絡下的連通，不走公網流量，VPC方式是比較推薦的使用方式。
控制檯數據導入流程
- 登錄SLS控制檯，在Project列表頁面，選擇已有的Project或者創建新的Project。
- 在日誌庫標籤頁，選擇已有Logstore或者單擊+圖標創建新的Logstore。
- 在日誌庫的數據接入 > 數據導入，單擊+圖標。選擇MySQL數據導入。
1.在數據源配置頁面，配置相關信息。輸入信息完畢後，也可以點擊預覽查看預覽結果。注意：如果是VPC網絡下，建議選擇與VPC網絡相同的區域以避免公網流量。
2.到相應的Logstore查看MySQL數據庫是否正確接入，接入後可以選擇開啓索引。
3.任務管理和報表展示。
數據入湖
將數據接入到日誌服務後，日誌服務以Logstore作爲數據接入抽象層，屏蔽了數據源的複雜性，Logstore數據以統一的方式入湖。具體使用方法可以參考：《SLS投遞OSS功能升級：打造更順暢的日誌入湖體驗》。
日誌服務的提供了全託管的數據投遞功能和便捷的Wizard支持創建投遞任務。僅需填寫少量的字段即可完成入湖操作。
並提供了統一的任務管理頁面和報表展示頁面。
日誌服務功能
日誌服務提供了一站式的數據接入、加工、分析、告警可視化、數據投遞等功能，在入湖之前還可以對數據進行更多價值的挖掘，下面舉些列子來看下日誌服務可用做些什麼。
高性能、全功能查詢分析能力
日誌服務除了提供海量數據的存儲之外，也提供了高性能數據的查詢分析能力，支持秒級處理十億級數據。
- 支持靈活的分析語法，支持SQL92語法，與MySQL的數據查詢無縫切換。使用參考分析概述。
- 對於數據量巨大的情況，日誌服務提供了獨享SQL，支持千億級數據的高性能分析。適合分析性能要求高的場景、大規模業務數據分析場景、長週期數據分析場景。可以有效的彌補MySQL分析數據能力不足。
- 提供了豐富的內置機器學習函數，可以通過機器學習函數調用機器學習算法，分析某一字段或若干字段在一段時間內的特徵。
- 支持Scheduled SQL，支持對海量數據的Roll Up。使用可以參考Scheduled SQL。
數據加工
日誌服務提供可託管、可擴展、高可用的數據加工服務。數據加工服務可用於數據的規整、富化、流轉、脫敏和過濾。通過數據加工可以完成數據規整、數據分派、數據融合等場景下數據處理。
可視化
日誌服務提供了豐富的可視化功能，支持創建儀表盤、統計報表、和第三方可視化工具。通過SQL查詢出的結果，選擇合適的統計圖表類型來展示分析結果。
儀表盤作爲圖表的聚合容器，支持自動刷新、報表訂閱、設置告警等功能。可以作爲企業大盤來使用。
支持豐富的圖表類型，包括表格、線圖、流圖以及靈活的變量配置和自定義事件等功能。
告警
日誌服務提供了一站式的告警監控、降噪、事務管理、通知分派的智能運維平臺。商務運營人員（市場、客戶運營、財務人員）可以通過告警功能對各種數據庫或者指標（例如用戶數、活躍度、廣告點擊率、商品轉化率）等進行持續監控；識別指標的變化情況或者異常並相應，以提升運營效率、減少業務風險或財務風險。
參考
- 日誌服務（SLS）：https://www.aliyun.com/product/sls
- SLS投遞OSS功能升級：打造更順暢的日誌入湖體驗：https://developer.aliyun.com/article/873022
- 導入MySQL數據：https://help.aliyun.com/document_detail/407399.html
- 採集MySQL查詢結果：https://help.aliyun.com/document_detail/64955.html
- 數據加工概述：https://help.aliyun.com/document_detail/125384.html
- 日誌服務告警：https://help.aliyun.com/document_detail/209951.html
- 開啓SQL獨享版：https://help.aliyun.com/document_detail/223777.html
- 日誌服務機器學習語法與函數：https://help.aliyun.com/document_detail/93023.html
本文爲阿里雲原創內容，未經允許不得轉載。