系列文章：
- IOT/智能設備日誌解決方案（1）：概述
- IOT/智能設備日誌解決方案（2）：全方位數據採集
- IOT/智能設備日誌解決方案（3）：上下游對接
- IOT/智能設備日誌解決方案（4）：計算與分析
- IOT/智能設備日誌解決方案（5）：線上問題調查
- IOT/智能設備日誌解決方案（6）：實時監控
- IOT/智能設備日誌解決方案（7）：搭建業務大盤
數據採集
LogHub提供30+種開箱即用的數據採集手段，包括直接和雲產品打通的日誌、移動端、服務端、程序、SDK、網頁、嵌入端等。在全方位日誌採集中，我們對於各種方式進行了簡要介紹。下面我們主要介紹IOT場景下主要涉及的兩類數據採集：設備端採和服務器數據採集。
服務器數據採集
服務器日誌採集通過Logtail實現，Logtail作爲日誌採集Agent，可通過中央服務器進行管控，只需點點鼠標或API就能夠在幾秒鐘內對百萬機器下達數據採集指令。
Logtail覆蓋了阿里全站的物理機、虛擬機、容器，每天負責百萬級服務器的數據採集，同時在阿里雲公有云、友商雲及用戶IDC中都有幾十萬的安裝量，適配所有Linux版本、Window、Docker、K8S等環境；支持幾十種數據源對接，並且經歷雙十一、新春紅包等挑戰。
得益於集團複雜場景的錘鍊，Logtail和開源Agent（例如Fluentd、Logstash、Beats）相比，性能、資源消耗、可靠性和多組合隔離等硬指標上較爲領先。可以滿足國內最大的直播網站、最大的教育類網站、最大的金融類網站的苛刻要求。和開源Agent主要差距在於日誌格式的豐富性（當前Logtail版本已支持Logstash、Beats協議，既可以將這些開源插件無縫跑在Logtail之上）。
Kubernetes數據採集
目前越來越多的IOT公司開始把服務端應用搭建在K8S/Docker上，用以適用輕量化部署、快速擴容、降低運維成本等需求，Logtail對於K8S/Docker場景也支持的非常友好。
Logtail針對Docker/K8S等場景做了非常多的適配工作，包括：
- 一條命令一個參數即可實現部署，資源自動初始化
- 支持CRD方式配置，支持K8S控制檯、kubectl、kube api等，與K8S發佈、部署無縫集成
- K8S RBAC鑑權，日誌服務STS鑑權管理
可以自豪地說，Logtail方案是K8S下所有Agent中最全，最完整的，感興趣可以參見LC3視角：Kubernetes下日誌採集、存儲與處理技術實踐 。
設備端全球數據採集
C Producer Library 繼承Logtail穩定、邊界特點，可以定位是一個“輕量級Logtail”，雖沒有Logtail實時配置管理、文件採集機制，但具備除此之外70%功能，包括：
- 提供多租戶概念：可以對多種日誌（例如Metric，DebugLog，ErrorLog）進行優先級分級處理，同時配置多個客戶端，每個客戶端可獨立配置採集優先級、目的project/logstore等
- 支持上下文查詢：同一個客戶端產生的日誌在同一上下文中，支持查看某條日誌前後相關日誌
- 併發發送，斷點續傳：支持緩存上線可設置，超過上限後日志寫入失敗
- 本地調試：支持將日誌內容輸出到本地，並支持輪轉、日誌數、輪轉大小設置
- 細粒度資源控制：支持針對不同類型數據/日誌設置不同的緩存上線、聚合方式
- 日誌壓縮緩存：支持將未發送成功的數據壓縮緩存，減少設備內存佔用
關於C Producer Library的更多內容參見目錄：https://yq.aliyun.com/articles/304602
目前針對不同的環境（例如網絡服務器、ARM設備、以及RTOS等設備）從大到小我們提供了3種方案：
同時對於Producer我們進行了一系列的性能和資源優化，確保數據採集可以“塞”到任何IOT設備上，其中C Producer Bricks版本更是達到了極致的內存佔用（庫體積13KB，運行內存4KB以內）。
使用C Producer系列的客戶有： 百萬日活的天貓精靈、小朋友們最愛的故事機火火兔、 遍佈全球的碼牛、釘釘路由器、 兼容多平臺的視頻播放器、 實時傳輸幀圖像的攝像頭等。
這些智能SDK每天DAU超百萬，遍佈在全球各地的設備上，一天傳輸百TB數據。關於C Producer Library 的細節可以參考這篇文章: 智能設備日誌利器：嵌入式日誌客戶端（C Producer）發佈。
數據採集全球加速
IOT設備作爲典型的“端”設備，通常都會部署在全國、甚至全球各地，部署區域的網絡條件難以保證，這會對數據採集產生一個巨大的問題：數據採集受網絡質量影響，可靠性難以保證。
針對以上問題，日誌服務聯合阿里雲CDN推出了一款全球數據上傳自動加速方案：“基於阿里雲CDN硬件資源，全球數據就近接入邊緣節點，通過內部高速通道路由至LogHub，大大降低網絡延遲和抖動 ”。
該方案有如下特點：
- 全網邊緣節點覆蓋：全球1000+節點，國內700+節點，分佈60多個國家和地區，覆蓋六大洲
- 智能路由技術：實時探測網絡質量，自動根據運營商、網絡等狀況選擇最近接入
- 傳輸協議優化：CDN節點之間走私有協議、高效安全
- 使用便捷：只需1分鐘即可開通加速服務，只需切換到專屬加速域名即可獲得加速效果
在我們的日誌上傳基準測試中，全球7個區域對比整體延時下降50%，在中東，歐洲、澳洲和新加坡等效果明顯。除了平均延時下降外，整體穩定性也有較大提升（參見最下圖，幾乎沒有任何抖動，而且超時請求基本爲0）。確保無論在全球的何時何地，只要訪問這個加速域名，就能夠高效、便捷將數據採集到期望Region內。
關於全球採集加速的更多內容，可參考我們的文章：數據採集新形態-全球加速 。
