大数据产品日志服务问题排查思路

1.使用Nginx配置要和服务器的的Nginx的配置一致。
2.数据投递到maxCompute丢失,考虑下日志服务中是否包含了/,会被maxCompute丢弃
3.需要把group by order by的字段设置成索引。
4.默认查询的时候,分钟级别数据一定是严格有序的。但是一分钟内,多个s级别数据不一定有序。如果有严格要求,可以使用排序语句
5.分词符包含的符号不允许再查询时整体查找(并且不建议使用中文符号作为分词符,如【】)。
6.count_if(x)/count()出来是整型的,需要0.1变成double
7.通过rsync复制的日志可能会采集重复。
8.K8S集群采集日志阿里云的NAS文件系统管理 挂载到容器需要将logtail也挂载到这个nas
9.where ip = "192.168.0.1"报错,需改成单引号
10.json格式的数据key必须是英文,gbk的话搜索中文时也有可能返回不符合条件的数据
11.同一时刻运行的SQL并发最大为15
12.logstore和RDS关联查询仅支持,北京、青岛、杭州。可以把日志服务迁移到青岛,RDS可以在上海
13.想要查询必须添加字段为索引字段或者开启了全文索引
14.跨region访问日志服务只能走公网入口,会有一定的延迟,建议使用全球加速。全球加速不会影响现有业务
15.ip_to_country(ip,'en')和ip_to_country_code(ip) 结果一样,语义不一样,一个是英文国家名,一个是国家编码
16.日志服务不支持删除日志数据(可以设置日志保存时间),也不支持Quick BI,一个文件只能被一个Logtail采集
17.直接搜索和* and 字段:关键字。直接搜索是全文检索,另一个是字段检索。
18.投递到OSS,如果需要删除OSS的日志,需要进行OSS的设置,设置生效要过了当天的12:00
19.现搜索的__time__不准确,可查询服务器的时区是否是UTC
20.不支持使用代码中的方法获取sql的结果数量,如果想要获取sql结果数量,可以在SQL外层嵌套count(1)获取行数
21.K8S容器,一个物理机上的所有容器对应一个logtail容器。
22.internal-alert-history 不可删除
23.自定义域名在全球加速中遇到。
24.索引包含中文生效以后之前的数据不会再生效,并且可以进行拆分查找。
25.split log lines fail:please check log_begin_regex 需查看行首正则表达式
26.web Tracking 默认支持https
27.目前日志服务查询时间范围指定,确实只支持精确到分,不支持精确到秒的,即使以前支持配置精确到秒,实际上还是有分钟级别的误差的
28.from后面只能加log,如果想使用count(*)可以使用group by
29.SDK支持跨logstore查询,界面不支持。
30.livetail除非集群或者docker,否则只能采集单台机器的日志
31.查询的索引显示null,是文本文档的格式,不支持,建议使用文本的索引来实现。
32.目前只支持中国地图,世界地图,高德地图。
33.换行符,定位不到,不支持,换行符也无法高亮显示

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章