ADS-實時數據-每日巡檢

1. 連接adsmeta 執行 (看昨天20點自動處理實時數據的時候,統計的結果)
select table_schema,table_name, task_state,create_time, update_time,data_version, properties from build_current_task where task_type='pangu' order by length(properties) desc limit 10; 
注意task_state、data_version和properties三個字段,若有以下異常,請聯繫ads運維同學確認:


1)如果data_version 是今天或昨天的日期表示正常,如果是前天或更早的日期,表示不正常;
2)如果有incrementalSize比平時大,比如超過5’000‘000‘000(這個表示單分區5G數據),數據量過大可能導致系統不穩定;
3)task_state一列,如果有Failed狀態,需要確認。


2. 對每個重要DB, 
       2.1 隨機登陸一個computenode上,cd 到日誌目錄,執行 grep jvm engine.log。如果有大量少於15000的jvmFree值,表示內存不足。需要聯繫ads 研發
       (可以查看當前有多少實時數據量沒有merge)2.2 隨機登陸一個computenode上,執行find /home/admin  -name "922*" | xargs du -sh | egrep “[0-9]G”。如果有超過1GB以上的路徑,建議執行optimize 對應的表,並確認該表寫入量是否正常。
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章