原创 linux shell中,字符串時間轉化爲時間戳
#!/bin/bash #獲取2小時前的時間 log_date=$(date -d '2 hours ago' "+%F %T") echo $log_date #獲取2小時前的整點時間 start_date=$(date -
原创 shell腳本中執行ll命令,提示ll:command not found
如:查看當前腳本運行路徑下的文件信息 test.sh #!/bin/bash cur_path=`pwd` ll $cur_path 解決方法:使用ls -l (ll是ls -l的別名) #!/bin/bash cur_p
原创 mysql批量導入日誌的方法:load data命令
load命令 load data infile 語句從一個文本文件中以很高的速度讀入一個表中。使用這個命令之前,mysqld進程(服務)必須已經在運行。由於安全原因,當讀取位於服務器上的文件時,文件必須處於數據庫目錄或可被所有人讀
原创 Logstash中實現對字段進行字符串替換
如,將message中的雙引號替換成單引號 logstash.conf input { stdin{} } filter { mutate { gsub => [
原创 python2中下載mysql數據庫中的數據,並保存在csv文本中
本項目幾個要點: 1.數據庫中有中文,且爲unicode編碼,本項目環境爲python2 2.數據庫中時間字段爲13位的字符型的時間戳,導出時需要改成正常的時間 3.導數需求爲每一個小時導前一個小時的日誌 4.導出後,涉及到將文件
原创 Centos7中安裝mysql5.7.21
1.mysql5.7.1下載:https://cdn.mysql.com//Downloads/MySQL-5.7/mysql-5.7.27-linux-glibc2.12-x86_64.tar 將下載的包放在/tmp目錄下 2.
原创 python2中向文本中寫入unicode編碼的中文內容
python2內置庫中的open方法只能讀寫ascii碼,如果想寫入Unicode字符,需要使用codecs包。 如下例子,用open直接寫入會報錯,需要用到codecs.open,並且支持設置編碼 import codecs
原创 centos虛機掛載新硬盤
需求 : 新增加一塊硬盤sdb,將sdb分區,只分一個區,格式化,掛載到目錄/ssd下。 1.查看服務器安裝的硬盤狀態(包含分區和未分區) # fdisk -l 圖中顯示,有sdb硬盤,但是沒有分區。 2.添加新的分區 # fd
原创 在python腳本中執行shell命令
需求:python腳本中執行shell命令 環境:centos7 方法一:利用os.system() import os #shell 命令 cmd='cat a.log' #python中執行shell命令 result=o
原创 centos7系統虛機設置靜態IP
centos7虛機中設置靜態IP 進入虛機系統,使用 ip addr查看系統IP: 編輯 /etc/sysconfig/network-scripts/ifcfg-eno16777736 設置網絡適配器爲NAT模式
原创 shell腳本在shell終端中執行沒問題,但在crontab中定時執行時不生效
問題描述 最近在項目遇到一個問題,想定時檢查logstash進程是否掛掉,若掛掉自動啓動。於是利用linux的crontab功能,添加一個計劃任務,每分鐘執行一個腳本查看logstash的進程是否還在,如果不在則啓動之,否則不做任
原创 Docker鏡像的安裝和使用
1.centos7中安裝docker 安裝依賴軟件: $ sudo yum install -y yum-utils device-mapper-persistent-data lvm2 設置倉庫: $ sudo yum
原创 執行shell腳本報錯,但控制檯執行正常
問題:最近編寫shell腳本,遇到直接執行shell腳本怎麼也不成功,但是在控制檯輸入命令就能執行成功,報錯如下圖所示: 腳本內容如下: 腳本實現功能很簡單,且語法也沒問題,但是運行腳本就報錯,經過艱苦排查,發現問題在於 fi
原创 使用shell腳本獲取程序進程ID並kill
需求:利用shell腳本獲取filebeat進程,並kill掉 filebeat_kill.sh #!/bin/bash ID=`ps -ef | grep filebeat | grep -v grep | awk '{prin
原创 winlogbeat的安裝使用
獲取安裝包 winlogbeat下載地址:https://www.elastic.co/cn/downloads/beats/winlogbeat 安裝步驟 解壓到d:\ 以管理員身份打開PowerShell 進入w