大數據產品日誌服務問題排查思路

1.使用Nginx配置要和服務器的的Nginx的配置一致。
2.數據投遞到maxCompute丟失,考慮下日誌服務中是否包含了/,會被maxCompute丟棄
3.需要把group by order by的字段設置成索引。
4.默認查詢的時候,分鐘級別數據一定是嚴格有序的。但是一分鐘內,多個s級別數據不一定有序。如果有嚴格要求,可以使用排序語句
5.分詞符包含的符號不允許再查詢時整體查找(並且不建議使用中文符號作爲分詞符,如【】)。
6.count_if(x)/count()出來是整型的,需要0.1變成double
7.通過rsync複製的日誌可能會採集重複。
8.K8S集羣採集日誌阿里雲的NAS文件系統管理 掛載到容器需要將logtail也掛載到這個nas
9.where ip = "192.168.0.1"報錯,需改成單引號
10.json格式的數據key必須是英文,gbk的話搜索中文時也有可能返回不符合條件的數據
11.同一時刻運行的SQL併發最大爲15
12.logstore和RDS關聯查詢僅支持,北京、青島、杭州。可以把日誌服務遷移到青島,RDS可以在上海
13.想要查詢必須添加字段爲索引字段或者開啓了全文索引
14.跨region訪問日誌服務只能走公網入口,會有一定的延遲,建議使用全球加速。全球加速不會影響現有業務
15.ip_to_country(ip,'en')和ip_to_country_code(ip) 結果一樣,語義不一樣,一個是英文國家名,一個是國家編碼
16.日誌服務不支持刪除日誌數據(可以設置日誌保存時間),也不支持Quick BI,一個文件只能被一個Logtail採集
17.直接搜索和* and 字段:關鍵字。直接搜索是全文檢索,另一個是字段檢索。
18.投遞到OSS,如果需要刪除OSS的日誌,需要進行OSS的設置,設置生效要過了當天的12:00
19.現搜索的__time__不準確,可查詢服務器的時區是否是UTC
20.不支持使用代碼中的方法獲取sql的結果數量,如果想要獲取sql結果數量,可以在SQL外層嵌套count(1)獲取行數
21.K8S容器,一個物理機上的所有容器對應一個logtail容器。
22.internal-alert-history 不可刪除
23.自定義域名在全球加速中遇到。
24.索引包含中文生效以後之前的數據不會再生效,並且可以進行拆分查找。
25.split log lines fail:please check log_begin_regex 需查看行首正則表達式
26.web Tracking 默認支持https
27.目前日誌服務查詢時間範圍指定,確實只支持精確到分,不支持精確到秒的,即使以前支持配置精確到秒,實際上還是有分鐘級別的誤差的
28.from後面只能加log,如果想使用count(*)可以使用group by
29.SDK支持跨logstore查詢,界面不支持。
30.livetail除非集羣或者docker,否則只能採集單臺機器的日誌
31.查詢的索引顯示null,是文本文檔的格式,不支持,建議使用文本的索引來實現。
32.目前只支持中國地圖,世界地圖,高德地圖。
33.換行符,定位不到,不支持,換行符也無法高亮顯示

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章