原创 基於selenium的動態網頁Xpath測試工具
最近在搞一些Xpath網頁規則的編寫，發現網上的Xpath測試工具很多，但都是基於靜態頁面的。暫時還沒有發現基於動態頁面的Xpath測試工具，爲了後續的測試方便，於是就自己動手寫了一個 from tkinter import
2020-06-21 03:36:02
原创 網站反爬方案分析
目錄：一、爬蟲識別方法二、常見反爬蟲策略三、針對反爬策略攻擊者可能會採取的措施四、方案選型 一、爬蟲識別方法 1、http日誌和流量分析 對IP訪問頻率統計，設置一個閾值，如果單位時間內某個IP訪問頻率和流量超過特定閾值就可以界定
2020-06-21 03:36:02
原创 Windows下網頁連接VNC操作手冊
所需軟件： tigervnc noVnc（https://github.com/novnc/noVNC） websockify（https://github.com/novnc/websockify） 配置環境： 安裝並配置tig
2020-06-21 03:36:02
8
原创 Kafka中數據通過SpringBoot-WebSocket進行實時數據可視化
最近需要做一個網絡流量的實時可視化，決定採用Kafka+WebSocket的方式實現。 一、WebSocket簡介 WebSocket網上很多教程，這裏不詳細描述。簡單來說：WebSocket協議是基於TCP的一種新的網絡協議
2020-06-21 03:36:02
原创 Python根據dict動態創建mysql表並寫入數據
此代碼實現將dict寫入mysql指定表中。 如果指定表不存在，則根據dict中key的字段創建表，然後將dict寫入表中 import pymysql from scrapy.conf import settings cl
2020-06-20 21:35:56
原创 用Python爬取解析過的網頁
之前呢，我怕去了百度貼吧的一些圖片，並且保存的下來，然後我想用相同的方法爬取淘女郎-美人庫的內容，發現不管怎麼編寫正則表達式都獲取不了“Elements”其中的圖片鏈接，之後去網上一查發現，原來我需要爬取的內容都是經過瀏覽器解析過
2020-06-20 19:36:17
原创 Centos7在線安裝CDH5
以下步驟親測有效無誤！！！！！ 一、 基礎環境準備 1）軟件清單 Centos7(64位)服務器3臺，地址如下： jdk1.8 Mysql5.7 （必須要5.7的版本！！） mysql-connector-java-5.1.4
2020-06-20 19:36:17
原创 CDH大數據節點宕機測試
一、集羣現狀 集羣組件說明：目前集羣中安裝了若干大數據相關組件，包括HDFS、Hbase、Hive等存儲相關組件與Flume、Spark、Kafka等數據採集與處理相關組件。 集羣主機說明：目前集羣中有5臺主機，爲同一臺宿主機上
2020-05-26 04:19:00
原创 HDFS文件上傳異常分析：put: `test.txt': No such file or directory
問題描述 Linux上傳本地文件到HDFS中時，出現“No such file or directory” 但是你發現當前文件夾下此文件是存在的 這個時候你也許擔心會不會是文件權限的問題，因爲我們在使用hdfs命令時，切換到了
2020-05-10 17:08:23
原创 JAVA線程的創建(學習筆記)
導語 線程區別於進程，進程是單獨運行的一個程序，線程是程序運行時的不同工作。一個程序可以同時完成多種不同的工作，這些都是依靠線程來實現的 Java線程具有五中基本狀態 新建狀態（New）：當線程對象對創建後，即進入了新建狀態，如：
2020-02-22 13:18:53
原创 JAVA圖形化界面實現文件的“讀取和寫入”
本段程序結合I/O和Swing圖形界面進行編寫 源代碼如下 package IO; import java.awt.BorderLayout; import java.awt.Container; import java.aw
2020-02-22 13:18:43