日誌服務(Cloud Log Service)提供一站式的日誌數據解決方案。用戶無需關注擴縮容等資源問題,五分鐘快速便捷接入,即可享受從日誌採集、日誌存儲到日誌內容搜索、統計分析等全方位穩定可靠的日誌服務。協助用戶更便捷的進行業務問題的定位,指標監控、安全審計等日誌問題。大大降低日誌運維門檻
相關概念:
*LogListener: 是騰訊雲日誌服務提供的日誌採集 Agent,通過在服務器上安裝loglistener可以實時採集指定路徑上的日誌,並對日誌原始數據進行結構化後推送至日誌服務中樞。
*日誌服務中樞:這裏指的是騰訊雲日誌服務CLS,日誌服務負責對日誌的存儲,過濾,推送等任務。推送於過濾操作均由控制檯操作,步驟簡單。通過控制檯定義日誌索引key,通過索引關鍵字搜索能夠快速找到相應日誌記錄,通過日誌記錄反饋能夠快速進行業務問題的定位。
*COS存儲桶:通過控制檯日誌服務配置推送任務,可以將日誌進行冷備存儲;數據存儲於對象存儲中,可以聯動騰訊雲大數據產品進行COS存儲桶的數據拉取,進行日誌分析。
*Ckafka:CLS日誌服務目前騰訊雲消息隊列產品Ckafka進行實時的消費,目前只需在控制檯點擊開啓按鈕即可實現該功能。
一、CLS日誌服務Agent部署Demo.
示例環境架構:
1、騰訊雲上創建一臺centos7.2的cvm,搭建Nginx服務。
Shell>yum install nginx -y //安裝nginx服務
Shell> vim /etc/nginx/conf.d/default.conf //這裏需要做一個配置更改、不然啓動服務會報錯。
7 # listen [::]:80 default_server; //將配置文件第七行註釋掉。
Shell>nginx //開啓Nginx服務。
2、Nginx服務器上部署Agent採集服務logListener。
logListener下載鏈接:
https://main.qcloudimg.com/raw/ee52812a5bf211d08f7ed1a4c894a747/loglistener.2.2.0.tar.gz
Shell>yum install lrzsz -y //安裝上傳文件工具
Shell>rz //通過工具上傳logListener.tar.gz安裝包
Shell>tar -zxvf loglistener.tar.gz && cd loglistener/tools/
Shell>./install.sh $(SecretId) $(secretkey) $(region) //API密鑰ID需官網獲取
Shell>./start.sh //啓動Agent服務
logListener服務介紹參考官網說明:https://cloud.tencent.com/document/product/614/17414
3.1、創建日誌集,設置採集配置.
3.2、設置索引配置.
參考鏈接:https://cloud.tencent.com/document/product/614/16981
3.3日誌檢索
索引語法匹配規則參考鏈接:https://cloud.tencent.com/document/product/614/16981
4、配置投遞任務管理(配置定時任務將採集到的日誌冷備推送至COS)
投遞配置參考鏈接: https://cloud.tencent.com/document/product/614/14035
二、 總結
1、日誌服務CLS非常適用於批量機器的日誌採集聚合,通過安裝Agent採集服務,定義日誌主題與機器羣組將應用日誌實時採集到CLS中進行檢索查詢,便捷運維人員日誌管理與應用服務故障定位.
2、在使用日誌服務CLS中,如果日誌類型本身屬於結構化的日誌記錄,那麼配合過濾器使用可以將日誌進行更精準的定位。
示例: 日誌樣例:10002345987;write;error;topic does not exist 定義符號;作爲分割符,並給vlaue定義key. KEY vlaue uin 10002345987 Status write Code error Information topic does not exist 過濾器配置: KEY 過濾規則 Code error #過濾規則支持正則匹配 通過過濾器可以將code=error的日誌過濾、並匯聚到CLS上。通過報錯內容進行日誌分析。
3、目前CLS支持API/SDK手動配置日誌上傳、或安裝Agent採集服務進行在日誌上傳。目前安裝Agent做實時的日誌採集需要佔用一定的系統資源消耗,如果針對數據量大的日誌採集需要提前對系統資源消耗進行測試評估。