原创 mysql中用戶權限配置

一、創建用戶並授權   格式:GRANT 權限 ON 庫.表 TO '用戶名'@'指定IP' identified by '密碼';select di

原创 oracle定時任務執行報錯並自動導致數據庫關閉

問題描述:    編寫shell腳本在Linux服務器中通過cron服務定時執行自動備份,每次備份完成後在結尾操作中數據庫報錯,服務被關閉。shell

原创 Python(四)——函數、模塊

  python內置了很多函數,可以直接調用,python官方文檔查看網址:http://docs.python.org/3/library/functions.html   abs(),取絕對值,例如:abs(-100) max()可以

原创 mysql備份詳解

【備份】1、冷備份【好處是:穩定,壞處是:得停庫影響收入】2、熱備份一、冷備份備份全部數據    service mysql stop    cp -

原创 遠程WWW服務支持TRACE請求漏洞

最近掃描項目所在的服務器發現一個漏洞,名稱叫“遠程WWW服務支持TRACE請求”,提供的解決辦法沒多大用處,只說是“管理員應禁用WWW服務對TRACE請求的支持”,但具體怎樣做不太清楚,上網搜了一下,利用apache服務器的rewrite

原创 hadoop數據壓縮

1 概述壓縮技術能夠有效減少底層存儲系統(HDFS) 讀寫字節數。壓縮提高了網絡帶寬和磁盤空間的效率。在 Hadoop 下,尤其是數據規模很大和工作負載密集的情況下,使用數據壓縮顯得非常重要。在這種情況下, I/O 操作和網絡數據傳輸要花

原创 shell中使用awk判斷文件中字段的值並進行替換的方法

stime=`date +%s` #獲取當前時間 echo 開始處理文件: B08101007_${month_id}.txt.gz #處理文件 zcat B08101007.txt.gz | awk -F '\x01' '{ #壓縮

原创 oracle數據庫安全基線自動檢測腳本

#!/bin/bash #version 2.1 此腳本在rhel,centos,oel系統均已測試通過,適用於9i 10g 11g。但未在aix,solaris,unix測試,如果遇到問題請自行微調。 #Author: jn #Da

原创 FTP服務器版本信息可被獲取(CVE-1999-0614)漏洞整改方法

vsftpd的banner中默認有當前版本號,可通過/etc/vsftpd/vsftpd.conf中的ftpd_banner項來自定義banner信息1,測試查看版本信息(端口默認21,可根據實際修改)[root@ip1]$ telnet

原创 shell腳本中使用for循環開啓並行方法

大家經常使用for循環來給指定腳本輸入參數,按照參數的輸入順序腳本順序執行,如以下腳本:for (( i = 1; i <= 999; i++ )) do sh diaoyong.sh $i done把1-999不停輸入diaoyon

原创 hive集羣中間(臨時)表定時清理shell腳本

    在使用hive集羣的過程中,經常會生成一些一次性使用的中間表,這種中間表的使用率不高,而已可以再次生成,但大量的中間表會佔用很多的集羣存儲資源,下面我教大家寫一個定時清理hive集羣中間表的shell腳本,但中間表必須有固定格式,

原创 shell腳本中給awk命令傳參方法

awk命令是一種很方便的字段截取工具,然而在編寫shell腳本中,給awk命令傳入參數卻有着嚴格的格式,博主經過多次測試,才找到給awk命令傳參的方法:如以下腳本:#!/bin/bash ##處理腳本 #################

原创 使用mapreduce清洗web訪問日誌並導入hive數據庫流程

編寫一個簡單的日誌清洗腳本,原始訪問日誌如下:192.168.18.1 - - [16/Feb/2017:13:53:49 +0800] "GET /favicon.ico HTTP/1.1" 404 288 192.168.18.2 -

原创 openpyxl的使用(利用python處理excel)

from openpyxl import load_workbook from openpyxl import workbook #讀取 '''wb = load_workbook("train.xlsx") sheetname =wb.

原创 使用PIP在windows下簡易安裝Python第三方模塊openpyxl

1、pip位置:       Python3.4及以上版本pip工具會隨Python安裝時直接安裝,在Scripts目錄下,那麼如何找到該目錄呢?      打開命令提示符工具,或搜索輸入cmd進入      在命令行輸入where py