原创 修改linux虛機網卡名稱
虛機中安裝centos7虛機後，默認的網卡爲：eno16777736 ，現在需要修改爲eth0 1. 修改配置文件 ifcfg-eno16777736 該文件位於 /etc/sysconfig/network-scripts目錄下
2020-06-25 23:13:49
原创 mysql查詢，將13位數字符串格式的時間戳轉化成格式化時間
查詢格式： timestamp字段爲字符串：FROM_UNIXTIME(CONVERT(timestamp/1000,signed), ‘%Y-%m-%d %T’) 如： select start_time,FROM_UNIXTI
2020-06-25 23:13:49
原创 shell腳本遠程ssh服務器並執行操作
需求：自動登錄服務器並執行操作指令 使用到的命令：expect expect是一個免費的編程工具，用來實現自動的交互式任務，而無需人爲干預。 send 命令接收一個字符串參數，並將該參數發送到進程。 expect 命令和send命
2020-06-25 23:13:49
原创 Mysql中" Can't connect to local MySQL server through socket '/tmp/mysql.sock' " 問題解決
轉自：Mysql中" Can’t connect to local MySQL server through socket ‘/tmp/mysql.sock’ " 問題解決
2020-06-25 23:13:49
原创 centos7中crontab定時執行python腳本不生效
問題： 最近在項目中遇到crontab中定時執行python腳本不生效，但是手動直接運行python腳本能夠正常執行。 系統環境： centos7 python安裝路徑：/root/anaconda3/bin/python pyt
2020-06-25 23:13:38
原创 shell腳本，指定用戶執行shell命令
系統環境：centos7 如root用戶下，實現用elk用戶啓動es，代碼如下： #!/bin/bash su - elk <<EOF echo "start elasticsearch..." nohup sh /data/e
2020-06-03 20:41:24
原创 使用shell腳本下載sftp文件
功能：shell腳本實現sftp自動登錄並下載文件 系統環境：centos7 使用到的工具：lftp （安裝方式 yum -y install lftp） lftp：lftp 是一個功能強大的下載工具，它支持訪問文件的協議: ft
2020-05-25 22:28:18
原创 利用python實現自動下載sftp文件
實現功能：利用python自動連接sftp，並下載sftp中指定目錄下的所有目錄及文件 系統環境：centos7 python版本：python3 使用模塊包：paramiko ，若未安裝，可使用 pip install para
2020-05-23 16:06:40
原创 centos7中配置sftp服務器
sftp是Secure File Transfer Protocol的縮寫，安全文件傳送協議。可以爲傳輸文件提供一種安全的網絡的加密方法。 在SSH軟件包中，已經包含了一個叫作SFTP(Secure File Transfer P
2020-05-23 02:37:13
原创 求2個字符串的最長公共字串（python算法）
如下，求s1和s2的最長公共字串 s1 = “abcdefghigk” s2 = "efgabcd" 思路一： 第一輪 從s1中依次取出1個字符，在s2中查找，看是否能夠找到子串。如果沒有一個字符在s2中找到，說明就沒有公共子串，
2020-05-19 06:46:25
原创 mysql分組排序後，取前三
需求： 將數據按照用戶進行分組，並根據城市和amount進行排序，取出每個城市排名前3的用戶數據 測試數據文件：test.sql SET FOREIGN_KEY_CHECKS=0; -- ------------------
2020-05-19 06:46:25
原创 pandas中，利用groupby分組後，對字符串字段進行合併拼接
在pandas裏對於數值字段而言，groupby後可以用sum()、max()等方法進行簡單的處理，對於字符串字段， 如果把它們的值拼接在一起，可以用使用 str.cat() 和 lamda 方法。 如，將下面表格中的內容，對sk
2020-05-10 21:52:03
原创 使用python bloomfilter實現大文本去重
需求：項目中在收集數據的時候，遇到日誌中存在大量的重複記錄，數據在入庫之前需要先對日誌文件做一個處理，濾掉重複的事件 bloomfilter原理參考文章：python BloomFilter(布隆過濾器) 項目環境：python3
2020-04-25 23:50:29
原创 kafka集羣+filebeat+logstash日誌平臺搭建
1. 項目需求 搭建一個kafka集羣，用filebat收集linux主機日誌輸出到kafka集羣，並通過logstash消費kafka中的數據 2. 環境準備 服務器系統 IP 角色 centos7 192.168
2020-04-19 12:54:44
原创 shell腳本 - 文本中刪除替換某一行內容（sed用法）
sed在處理文本時是逐行讀取文件內容，讀到匹配的行就根據指令做操作，不匹配就跳過。 sed是Linux下一款功能強大的非交互流式文本編輯器，可以對文本文件進行增、刪、改、查等操作，支持按行、按字段、按正則匹配文本內容，靈活方便，特
2020-02-20 19:44:58