原创 pymysql連接池

接觸了pymysql,在測試數據過程中,使用普通的pymysql插入100W條數據,消耗時間很漫長,實測990s也就是16.5分鐘左右才能插完,於是,腦海中誕生了一個想法,能不能造出一個連接池出來,提升數據呢?就像一根管道太小,那就多加幾

原创 字體加密破解技術分享-01

1. 什麼是字體加密 簡單的說,字體加密即爲所複製非所得。如下圖,我們複製186.37萬字得到𘠜𘠚𘠗𘠛𘠖𘠔萬字。那麼這裏的186.37這個數字就被加密了,用到的技術爲字體加密。 網址:https://book.qidian.com

原创 js逆向技巧分享

當我們抓取網頁端數據時,經常被加密參數、加密數據所困擾,如何快速定位這些加解密函數,尤爲重要。本片文章是我逆向js時一些技巧的總結,如有遺漏,歡迎補充。 所需環境:Chrome瀏覽器 1. 搜索 1.1 全局搜索 適用於根據關鍵

原创 微信公衆號爬蟲技術分享

採集方案分析對比 目前主流的抓取公衆號文章及動態信息不同採集方案對比如下: 由上圖可知: 如果需要長期監控公衆號實時的文章,我推薦使用逆向的方式; 如果要做獲取文章閱讀點贊評論量或搜狗微信轉永久鏈接等接口,推薦使用萬能key的方

原创 用JAVA讀取XML文件

解析XML的步驟如下:   1.創建DocumentBuilder工廠   2.創建DocumentBuilder對象   3.DocumentBuilder對象的parse方法得到Document對象   4.Document對象的

原创 計算機網絡基礎知識總結

計算機網絡學習的核心內容就是網絡協議的學習。網絡協議是爲計算機網絡中進行數據交換而建立的規則、標準或者說是約定的集合。因爲不同用戶的數據終端可能採取的字符集是不同的,兩者需要進行通信,必須要在一定的標準上進行。一個很形象地比喻就是我們的

原创 json 格式解析 及使用

JSON的定義:          一種輕量級的數據交換格式,具有良好的可讀和便於快速編寫的特性。業內主流技術爲其提供了完整的解決方案(有點類似於正則表達式 ,獲得了當今大部分語言的支持),從而可以在不同平臺間進行數據交換。JS

原创 java 調用 C++

javah 使用  (java 調用 c++) 1、首先聲明 含有native 的方法 2、編譯工程 生成該類的 class 文件 3、找到改class文件的包級目錄 錄入改文件在com.Test 包下 ,則進到com包

原创 mongo mongoexport 導出數據

導出的方法如下: -h arg 主機 --port arg 端口 -u arg 用戶名 -p arg 密碼 -d arg 數據庫 -c arg 集合 -f arg 字段名 逗

原创 Python多線程學習

 一、Python中的線程使用:     Python中使用線程有兩種方式:函數或者用類來包裝線程對象。 1、  函數式:調用thread模塊中的start_new_thread()函數來產生新線程。如下例:   import t

原创 微信公衆號抓取

採集方案對比 抓取公衆號文章及文章動態信息不同採集方案對比如下: 基於中間人方式已在github上開源:https://github.com/striver-ing/wechat-spider 下面爲基於逆向方式 1 訂閱公衆

原创 JAVA Hibernate工作原理及爲什麼要用

hibernate 簡介: hibernate是一個開源框架,它是對象關聯關係映射的框架,它對JDBC做了輕量級的封裝,而我們java程序員可以使用面向對象的思想來操縱數據庫。 hibernate核心接口 session:負責被持

原创 VIM中文亂碼解決方案

set langmenu=zh_CN.utf8 set fileencodings=utf-8,cp936,big5,latin1 set ambiwidth=double let $LANG=’en’ 或者也可以: set en

原创 自己實現一個Native方法的調用

JNI 開始本篇的內容之前,首先要講一下JNI。Java很好,使用的人很多、應用極 廣,但是Java不是完美的。Java的不足體現在運行速度要比傳統的C++慢上許多之外,還有Java無法直接訪問到操作系統底層如硬件系統,爲此

原创 java對象與json對象間的相互轉換

1.簡單的解析json字符串 首先將json字符串轉換爲json對象,然後再解析json對象,過程如下。 JSONObject jsonObject = JSONObject.fromObject(jsonStr); [java