一、不多的主机和不多的应用部署场景
用linux下的命令：tail，grep，cat，watch，awk，sed，less，sort，more，last，uniqu等
linux日志文件说明
/var/log/message 系统启动后的信息和错误日志，是Red Hat Linux中最常用的日志之一
/var/log/secure 与安全相关的日志信息
/var/log/maillog 与邮件相关的日志信息
/var/log/cron 与定时任务相关的日志信息
/var/log/spooler 与UUCP和news设备相关的日志信息
/var/log/boot.log 守护进程启动和停止相关的日志消息
/var/log/wtmp 该日志文件永久记录每个用户登录、注销及系统的启动、停机的事件
（一）如果日志在更新，如何实时查看
1、tail命令。-f 指定文件 -n 输出行数
tail -f /var/log/*.log -n 10
2、watch 命令。-d表示高亮不同的地方，-n表示多少秒刷新一次。
watch -d -n 1 cat /var/log/messages
该指令，不会直接返回命令行，而是实时打印日志文件中新增加的内容，
这一特性，对于查看日志是非常有效的。如果想终止输出，按 Ctrl+C 即可。
3、看所有的重启、关机记录
last | grep reboot
last | grep shutdown
4、less命令。对文件或其它输出进行分页显示的工具，比more更强大。
b 向后翻一页
d 向后翻半页
h 显示帮助界面
Q 退出less 命令
u 向前滚动半页
y 向前滚动一行
空格键 滚动一行
回车键 滚动一页
[pagedown]： 向下翻动一页
[pageup]： 向上翻动一页
二、多服务器、多应用部署场景的分布式系统日志监控
ELKstack 中文指南
ELK Stack 是 Elasticsearch、Logstash、Kibana 三个开源软件的组合。在实时数据检索和分析场合，三者通常是配合共用，而且又都先后归于 Elastic.co 公司名下，故有此简称。
ELK Stack 在最近两年迅速崛起，成为机器数据分析，或者说实时日志处理领域，开源界的第一选择。和传统的日志处理方案相比，ELK Stack 具有如下几个优点：
处理方式灵活。Elasticsearch 是实时全文索引，不需要像 storm 那样预先编程才能使用；
配置简易上手。Elasticsearch 全部采用 JSON 接口，Logstash 是 Ruby DSL 设计，都是目前业界最通用的配置语法设计；
检索性能高效。虽然每次查询都是实时计算，但是优秀的设计和实现基本可以达到全天数据查询的秒级响应；
集群线性扩展。不管是 Elasticsearch 集群还是 Logstash 集群都是可以线性扩展的；
前端操作炫丽。Kibana 界面上，只需要点击鼠标，就可以完成搜索、聚合功能，生成炫丽的仪表板。
libbeat，该Go库包含了所有beats公共部分来处理任务。beats是一个代理，将不同类型的数据发送到elasticsearch。beats可以直接将数据发送到elasticsearch，也可以通过logstash 将数据发送elasticsearch。
beats有三个典型的例子：Filebeat、Topbeat、Packetbeat。Filebeat用来收集日志，Topbeat用来收集系统基础设置数据如cpu、内存、每个进程的统计信息，Packetbeat是一个网络包分析工具，统计收集网络信息。架构图如下：
转自博客园