記一次 Linux服務器被***後的排查思路

 賬號安全：

1、用戶信息文件 /etc/passwd

# 格式：account:password:UID:GID:GECOS:directory:shell
# 用戶名：密碼：用戶ID：組ID：用戶說明：家目錄：登陸之後的 shell
root:x:0:0:root:/root:/bin/bash

# 查看可登錄用戶：
cat /etc/passwd | grep /bin/bash
# 查看UID=0的用戶
awk -F: '$3==0{print $1}' /etc/passwd
# 查看sudo權限的用戶
more /etc/sudoers | grep -v "^#\|^$" | grep "ALL=(ALL)"

注意：無密碼只允許本機登陸，遠程不允許登陸

2、影子文件：/etc/shadow

# 用戶名：加密密碼：密碼最後一次修改日期：兩次密碼的修改時間間隔：密碼有效期：密碼修改到期到的警告天數：密碼過期之後的寬限天數：賬號失效時間：保留
root:$6$oGs1PqhL2p3ZetrE$X7o7bzoouHQVSEmSgsYN5UD4.kMHx6qgbTqwNVC5oOAouXvcjQSt.Ft7ql1WpkopY0UV9ajBwUt1DpYxTCVvI/:16809:0:99999:7:::

3、查看當前登錄用戶及登錄時長

who     # 查看當前登錄系統的所有用戶（tty 本地登陸  pts 遠程登錄）
w       # 顯示已經登錄系統的所用用戶，以及正在執行的指令
uptime  # 查看登陸多久、多少用戶，負載狀態

4、排查用戶登錄信息

• 查看最近登錄成功的用戶及信息

# 顯示logged in表示用戶還在登錄
# pts表示從SSH遠程登錄
# tty表示從控制檯登錄，就是在服務器旁邊登錄
last

• 查看最近登錄失敗的用戶及信息：

# ssh表示從SSH遠程登錄
# tty表示從控制檯登錄
sudo lastb

• 顯示所有用戶最近一次登錄信息：

lastlog

在排查服務器的時候，***沒有在線，可以使用last命令排查***什麼時間登錄的有的***登錄時，會將/var/log/wtmp文件刪除或者清空，這樣我們就無法使用last命令獲得有用的信息了。

在******之前，必須使用chattr +a對/var/log/wtmp文件進行鎖定，避免被***刪除

5、sudo用戶列表

/etc/sudoers

***排查：

# 查詢特權用戶特權用戶(uid 爲0)：
awk -F: '$3==0{print $1}' /etc/passwd
# 查詢可以遠程登錄的帳號信息：
awk '/\$1|\$6/{print $1}' /etc/shadow
# 除root帳號外，其他帳號是否存在sudo權限。如非管理需要，普通帳號應刪除sudo權限：
more /etc/sudoers | grep -v "^#\|^$" | grep "ALL=(ALL)"

#
 禁用或刪除多餘及可疑的帳號
usermod -L user    # 禁用帳號，帳號無法登錄，/etc/shadow 第二欄爲 ! 開頭
userdel user       # 刪除 user 用戶
userdel -r user    # 將刪除 user 用戶，並且將 /home 目錄下的 user 目錄一併刪除

通過.bash\_history文件查看帳號執行過的系統命令：

打開 /home 各帳號目錄下的 .bash_history，查看普通帳號執行的歷史命令。

爲歷史的命令增加登錄的 IP 地址、執行命令時間等信息：

# 1、保存1萬條命令：
sed -i 's/^HISTSIZE=1000/HISTSIZE=10000/g' /etc/profile

#
 2、在/etc/profile的文件尾部添加如下行數配置信息：
USER_IP=`who -u am i 2>/dev/null | awk '{print $NF}' | sed -e 's/[()]//g'`
if [ "$USER_IP" = "" ]
then
USER_IP=`hostname`
fi
export HISTTIMEFORMAT="%F %T $USER_IP `whoami` "
shopt -s histappend
export PROMPT_COMMAND="history -a"

#
 3、讓配置生效
source /etc/profile

注意：歷史操作命令的清除：history -c

該操作並不會清除保存在文件中的記錄，因此需要手動刪除.bash\_profile文件中的記錄

檢查端口連接情況：

netstat -antlp | more

使用 ps 命令，分析進程，得到相應pid號:

ps aux | grep 6666 

查看 pid 所對應的進程文件路徑：

# $PID 爲對應的 pid 號
ls -l /proc/$PID/exe 或 file /proc/$PID/exe

分析進程：

# 根據pid號查看進程
lsof -p 6071
# 通過服務名查看該進程打開的文件
lsof -c sshd
# 通過端口號查看進程：
lsof -i :22

查看進程的啓動時間點：

ps -p 6071 -o lstart

根據pid強行停止進程：

kill -9 6071

注意： 如果找不到任何可疑文件，文件可能被刪除，這個可疑的進程已經保存到內存中，是個內存進程。這時需要查找PID 然後kill掉

檢查開機啓動項：

系統運行級別示意圖：

運行級別	含義
0	關機
1	單用戶模式，可以想象爲windows的安全模式，主要用於系統修復
2	不完全的命令行模式，不含NFS服務
3	完全的命令行模式，就是標準字符界面
4	系統保留
5	圖形模式
6	重啓動

查看運行級別命令：

runlevel

開機啓動配置文件:

/etc/rc.local
/etc/rc.d/rc[0~6].d

啓動Linux系統時，會運行一些腳本來配置環境——rc腳本。在內核初始化並加載了所有模塊之後，內核將啓動一個守護進程叫做init或init.d。這個守護進程開始運行/etc/init.d/rc中的一些腳本。這些腳本包括一些命令，用於啓動運行Linux系統所需的服務

開機執行腳本的兩種方法：

• 在/etc/rc.local的exit 0語句之間添加啓動腳本。腳本必須具有可執行權限
• 用update-rc.d命令添加開機執行腳本

1、編輯修改/etc/rc.local

2、update-rc.d：此命令用於安裝或移除System-V風格的初始化腳本連接。腳本是存放在/etc/init.d/目錄下的，當然可以在此目錄創建連接文件連接到存放在其他地方的腳本文件。

此命令可以指定腳本的執行序號，序號的取值範圍是 0-99，序號越大，越遲執行。

當我們需要開機啓動自己的腳本時，只需要將可執行腳本丟在/etc/init.d目錄下，然後在/etc/rc.d/rc_.d文件中建立軟鏈接即可

語法：

• update-rc.d 腳本名或服務 <remove|defaults|disable|enable>

#1、在/etc/init.d目錄下創建鏈接文件到後門腳本：
ln -s /home/b4yi/kali-6666.elf /etc/init.d/backdoor

#
2、用 update-rc.d 命令將連接文件 backdoor 添加到啓動腳本中去
sudo update-rc.d backdoor defaults 99

開機即執行。

***排查：

more /etc/rc.local
/etc/rc.d/rc[0~6].d
ls -l /etc/rc.d/rc3.d/

計劃任務排查：

需要注意的幾處利用cron的路徑：

crontab -l  # 列出當前用戶的計時器設置
crontab -r  # 刪除當前用戶的cron任務

上面的命令實際上是列出了/var/spool/cron/crontabs/root該文件的內容：

• /etc/crontab只允許root用戶修改
• /var/spool/cron/存放着每個用戶的crontab任務，每個任務以創建者的名字命名
• /etc/cron.d/將文件寫到該目錄下，格式和/etc/crontab相同
• 把腳本放在/etc/cron.hourly/、/etc/cron.daily/、/etc/cron.weekly/、/etc/cron.monthly/目錄中，讓它每小時/天/星期/月執行一次

小技巧：

more /etc/cron.daily/*  查看目錄下所有文件

***排查：

重點關注以下目錄中是否存在惡意腳本;

/var/spool/cron/* 
/etc/crontab
/etc/cron.d/*
/etc/cron.daily/* 
/etc/cron.hourly/* 
/etc/cron.monthly/*
/etc/cron.weekly/
/etc/anacrontab
/var/spool/anacron/*

***排查：

查詢已安裝的服務：
RPM 包安裝的服務：

chkconfig  --list  查看服務自啓動狀態，可以看到所有的RPM包安裝的服務
ps aux | grep crond 查看當前服務

系統在3與5級別下的啓動項 
中文環境
chkconfig --list | grep "3:啓用\|5:啓用"

英文環境
chkconfig --list | grep "3:on\|5:on"

源碼包安裝的服務:

查看服務安裝位置 ，一般是在/user/local/
service httpd start
搜索/etc/rc.d/init.d/  查看是否存在

異常文件檢查：

按照三種方式查找修改的文件：

• 按照名稱
• 依據文件大小
• 按照時間查找

• 根據名稱查找文件

find / -name a.Test
# 如果文件名記不全，可使用通配符*來補全
# 如果不區分大小寫，可以將-name 替換爲-iname

• 依據文件大小查找：

find / -size +1000M
# +1000M表示大於1000M的文件，-10M代表小於10M的文件

• 依據時間查找：

# -atime 文件的訪問時間
# -mtime 文件內容修改時間
# -ctime 文件狀態修改時間（文件權限，所有者/組，文件大小等，當然文件內容發生改變，ctime也會隨着改變）
# 要注意：系統進程/腳本訪問文件，atime/mtime/ctime也會跟着修改，不一定是人爲的修改纔會被記錄

#
 查找最近一天以內修改的文件：
find / -mtime -1 -ls  | more 
# 查找50天前修改的文件：
find ./ -mtime +50 -ls

• 根據屬主和屬組查找：

-user 根據屬主查找
-group 根據屬組查找
-nouser 查找沒有屬主的文件
-nogroup 查找沒有屬組的文件

#
 查看屬主是root的文件
find ./ -user root -type f
# -type f表示查找文件，-type d表示查找目錄
# 注意：系統中沒有屬主或者沒有屬組的文件或目錄，也容易造成安全隱患，建議刪除。

• 按照CPU使用率從高到低排序：

ps -ef --sort -pcpu

• 按照內存使用率從高到低排序：

ps -ef --sort -pmem

補充：

1、查看敏感目錄，如/tmp目錄下的文件，同時注意隱藏文件夾，以“..”爲名的文件夾具有隱藏屬性。

2、得到發現WEBSHELL、遠控***的創建時間，如何找出同一時間範圍內創建的文件？
可以使用find命令來查找，如find /opt -iname "*" -atime 1 -type f 找出 /opt 下一天前訪問過的文件。

3、針對可疑文件可以使用 stat 進行創建修改時間。

系統日誌檢查：

日誌默認存放位置：/var/log/

必看日誌：secure、history

查看日誌配置情況：more /etc/rsyslog.conf

日誌文件	說明
/var/log/cron	記錄了系統定時任務相關的日誌
/var/log/cups	記錄打印信息的日誌
/var/log/dmesg	記錄了系統在開機時內核自檢的信息，也可以使用dmesg命令直接查看內核自檢信息
/var/log/mailog	記錄郵件信息
/var/log/message	記錄系統重要信息的日誌。這個日誌文件中會記錄Linux系統的絕大多數重要信息，如果系統出現問題時，首先要檢查的就應該是這個日誌文件
/var/log/btmp	記錄錯誤登錄日誌，這個文件是二進制文件，不能直接vi查看，而要使用lastb命令查看
/var/log/lastlog	記錄系統中所有用戶最後一次登錄時間的日誌，這個文件是二進制文件，不能直接vi，而要使用lastlog命令查看
/var/log/wtmp	永久記錄所有用戶的登錄、註銷信息，同時記錄系統的啓動、重啓、關機事件。同樣這個文件也是一個二進制文件，不能直接vi，而需要使用last命令來查看
/var/log/utmp	記錄當前已經登錄的用戶信息，這個文件會隨着用戶的登錄和註銷不斷變化，只記錄當前登錄用戶的信息。同樣這個文件不能直接vi，而要使用w,who,users等命令來查詢
/var/log/secure	記錄驗證和授權方面的信息，只要涉及賬號和密碼的程序都會記錄，比如SSH登錄，su切換用戶，sudo授權，甚至添加用戶和修改用戶密碼都會記錄在這個日誌文件中

/var/log/wtmp 登錄進入，退出，數據交換、關機和重啓紀錄
/var/log/lastlog 文件記錄用戶最後登錄的信息，可用 lastlog 命令來查看。
/var/log/secure 記錄登入系統存取數據的文件，例如 pop3/ssh/telnet/ftp 等都會被記錄。
/var/log/cron 與定時任務相關的日誌信息
/var/log/message 系統啓動後的信息和錯誤日誌
/var/log/apache2/access.log apache access log

日誌分析技巧：

1、定位有多少IP在爆破主機的root帳號：    
grep "Failed password for root" /var/log/secure | awk '{print $11}' | sort | uniq -c | sort -nr | more

定位有哪些IP在爆破：
grep "Failed password" /var/log/secure|grep -E -o "(25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)\.(25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)\.(25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)\.(25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)"|uniq -c

爆破用戶名字典是什麼？
grep "Failed password" /var/log/secure|perl -e 'while($_=<>){ /for(.*?) from/; print "$1\n";}'|uniq -c|sort -nr
 
2、登錄成功的IP有哪些：   
grep "Accepted " /var/log/secure | awk '{print $11}' | sort | uniq -c | sort -nr | more

登錄成功的日期、用戶名、IP：
grep "Accepted " /var/log/secure | awk '{print $1,$2,$3,$9,$11}' 

3、增加一個用戶kali日誌：
Jul 10 00:12:15 localhost useradd[2382]: new group: name=kali, GID=1001
Jul 10 00:12:15 localhost useradd[2382]: new user: name=kali, UID=1001, GID=1001, home=/home/kali
, shell=/bin/bash
Jul 10 00:12:58 localhost passwd: pam_unix(passwd:chauthtok): password changed for kali
#grep "useradd" /var/log/secure 

4、刪除用戶kali日誌：
Jul 10 00:14:17 localhost userdel[2393]: delete user 'kali'
Jul 10 00:14:17 localhost userdel[2393]: removed group 'kali' owned by 'kali'
Jul 10 00:14:17 localhost userdel[2393]: removed shadow group 'kali' owned by 'kali'
# grep "userdel" /var/log/secure

5、su切換用戶：
Jul 10 00:38:13 localhost su: pam_unix(su-l:session): session opened for user good by root(uid=0)

sudo授權執行:
sudo -l
Jul 10 00:43:09 localhost sudo:    good : TTY=pts/4 ; PWD=/home/good ; USER=root ; COMMAND=/sbin/shutdown -r now

webshell查殺:

河馬 WebShell 查殺：http://www.shellpub.com

Linux安全檢查腳本:

https://github.com/grayddq/GScan
https://github.com/ppabc/security_check
https://github.com/T0xst/linux