原创 【轉載】Python-替換或去除不能用於文件名的字符

今天在爬蟲的時候,爬了二十條程序就莫名卡着不動了,還以爲是被服務器禁止訪問。還去加了user-agent池,隨機獲得user-agent構成headers,沒想到居然是最後文件命名的時候出問題了。用於命名的字符串出現了非法的字符。網上查找

原创 selenium基礎1

selenium 是一個用於Web應用程序測試的工具。Selenium測試直接運行在瀏覽器中,就像真正的用戶在操作一樣。支持的瀏覽器包括IE(7, 8, 9, 10, 11),Mozilla Firefox,Safari,Google C

原创 【centos-1】centos7 掛載硬盤,並將空間分配到home目錄

最近在使用centos的時候,發現硬盤裝了但是沒有掛載,最後/home空間不夠,不能存文件。所以有了此文。 目標: 硬盤掛載的兩種情況 格式化分區新硬盤 掛載新增空間到指定節點 硬盤掛載的兩種情況 第1種是直接添加一塊新硬盤

原创 【轉載自CNBLOG】centos7 升級openssh版本

搬運自nmap的cnblog:https://www.cnblogs.com/nmap/p/10779658.html 測試後有效,修正和補充了一些地方(紅字部分)   centos7.3和centos7.6升級完畢測試登錄ssh以及重

原创 按sheet順序合併有多個sheet的多個excel文件

按順序合併有多個sheet的多個excel文件。 在業務中,遇到要合併一個文件夾下多個包含同名、同順序sheet的xlsx文件,通過python3,參考(copy大部分)代碼: https://www.cnblogs.com/zl

原创 【oracle18c安裝-1】centos7 + oracle18c安裝

一直以爲oracle18c安裝和以前的11g差不多,最近採坑踩大了,這次總結出來。本文儘量把我遇到的坑都寫出來。 !!!!!!!!!!! 一些問題的說明!!!!!!!!!!! 1.這裏主要討論靜默安裝(-silent)的方式。

原创 Python爬蟲庫-1-BeautifulSoup的使用

Beautiful Soup是一個可以從HTML或XML文件中提取數據的Python庫,簡單來說,它能將HTML的標籤文件解析成樹形結構(網頁原本就是一個樹形結構),然後獲取到指定標籤的對應屬性。 通過Beautiful Soup庫,我們

原创 【Centos7】防火牆端口管理

需求背景 在系統部署過程中,發現目標服務器之間網絡正常,但是端口不通,檢查防火牆狀態,顯示防火牆開啓,外網服務器不應該輕易關閉防火牆,因此需要對防火牆進行端口配置。 防火牆狀態檢查和改變: #1、查看防火牆狀態 sudo sy

原创 centos服務器修改SSL祕鑰

背景:總平臺修改證書,作爲分平臺需要更新以前的SSL證書,以便總平臺用戶正常訪問。   實現思路:刪除舊證書,加入新證書。 1.需要導入的證書上傳到服務器根/sso文件夾 2.查看祕鑰信息,打開jdk下的security文件夾,找到cac

原创 【python】實現類似sublime正則表達式的批量文件修改功能

需求背景 因爲通過sublime批量替換10多個G的xml文件遇到困難,sublime批量修改的時候,會打開指定文件,導致內存空間爆炸,哪怕內存容量夠,每5G的修改,會在開始替換的時候再次內存爆炸。 因此,本文計劃以python的

原创 【python】pandas匹配拼接兩個excel列

在excel處理大量數據匹配過程中,雖然可以使用vlookup,但是數據量超過10萬進行批量匹配的時候,效率非常差,因此使用python。經查,發現python通過pandas庫的merge可以實現類似於SQL中join的功能,具體參考下

原创 【oracle18c安裝-2】centos7 + oracle18c建庫啓動

情景設定: 在完成系列1文章當中,oracle18c數據庫安裝後,進行sqlplus / as sysdba,可以登錄到oracle,但是在啓動的時候,startup,發現啓動異常。調試了半天,試了各種手動配置.ora文件,新建c

原创 pyinstaller打包python(py)腳本爲exe文件時的坑(os和sys)

今天寫了一個簡單的批處理腳本,爲了給沒有環境的同事用,通過pyinstaller -F xxx.py進行打包成可執行的單個exe文件 py文件在調試的時候一切正常,但是打包成exe文件以後,運行出現一閃而退的現象。最後通過cmd命

原创 centos7 + oracle18c安裝

oracle18c安裝和以前的11g差不多,這裏掛出來的部分並不完全,僅針對我在安裝過程中遇到的問題。 流程大致如下: 確定系統是否滿足要求 下載oracle18c安裝包 安裝依賴包 配置oracle安裝路徑和用戶 配置環境變量

原创 selenium基礎3-修改header、cookies等webdriver初始options

雖然ip可以使用代理,但是在爬取過程中,瀏覽器請求還是很容易被waf等工具識別出來,非常容易被牆,所以在使用selenium的時候,就在想,能不能在發送請求的時候像使用request一樣,動態修改header。 先說結論,在查閱資