原创 appium體驗
1.背景 appium可以用作測試工具，也可以用作app爬蟲 2.準備工作 下載軟件(注意需要加入環境變量)： 1.Node.js: node-v6.9.4-x64.msi 2.NET Framework
2020-06-29 15:51:47
原创 OSError: mysql_config not found報錯解決
在centos上部署的時候 pip install mysqlclient 的時候報錯OSError: mysql_config not found,由於我執意要安裝mysql而,所以就在mysql的yum源安裝了,但是mysql_co
2020-06-29 15:51:47
1
原创 基於python圖像處理API
1.圖像處理庫 import cv2 as cv from PIL import * 常用的圖像處理技術有圖像讀取，寫入，繪圖，圖像色彩空間轉換，圖像幾何變換，圖像形態學，圖像梯度，圖像邊緣檢測，圖像輪廓，圖像分割，圖像去噪，圖像加水印
2020-06-29 15:51:47
2
原创 c++高級進階，文件流，異常，模板，命名空間，信號處理，多線程等
1.c++文件流 到目前爲止，我們已經使用了 iostream 標準庫，它提供了 cin 和 cout 方法分別用於從標準輸入讀取流和向標準輸出寫入流。本教程介紹如何從文件讀取流和向文件寫入流。這就需要用到 C++ 中另一個標準庫 fst
2020-06-02 04:59:10
原创 hadoop的mapreducer處理數據（Python）
1.hadoop客戶端環境 1.直接找有hadoop服務的機器，這樣你訪問的就是本機的hadoop集羣，也就不用在配置了 2.如果你要遠程其他hadoop集羣，那麼你需要配置相關文件，配置方式如同配置hadoop集羣一樣 hadoop集羣
2020-06-02 04:59:10
原创 docker-compose創建網橋，添加子網，刪除網卡
1.創建docker網卡 [root@i ~]# brctl addbr docker0 [root@i ~]# ip addr add 192.168.42.1/24 dev docker0 # 這裏的ip是給docker內部用
2020-06-02 04:59:10
原创 mapreduce的Python操作方法
1.mrjob簡介 mrjob是一個編寫mapreduce任務Python開源框架，它既可以模擬hadoop的mapreduce，也可以之間在hadoop上運行 2.安裝mrjob [root@i ~]# yum -y install
2020-06-02 04:59:10
2
原创 基於pyppeteer模擬瀏覽器方式破解極驗滑塊驗證碼
1.背景 在爬蟲領域中，可能你有很多中破解手段，但是隨着產品的迭代和技術新進，反爬措施也就趨於智能化，我們也就要模擬人的想法來破解了 2.目標 本節將介紹基於pyppeteer技術來模擬瀏覽器方式的滑塊驗證碼圖片 主要步驟： a.獲取沒有
2020-03-19 09:50:56
5
原创 基於docker使用elasticsearch-dump，es數據導入導出
1.拉去dump鏡像 [root@localhost ~]# docker pull taskrabbit/elasticsearch-dump 2.相關實例 1.創建文件存放路徑 [root@localhost ~]# mkdi
2019-08-28 17:47:12
原创 activiti服務API文檔
activiti服務API文檔 官方文檔地址： http://www.mossle.com/docs/activiti/index.html#N16608 1.繪製流程圖的UI界面 GET http://192.168.1.2:
2019-08-08 17:19:57
1
原创 es數據庫查詢API
1.背景 ES數據庫是非關係型數據庫 2.ES數據庫優點 1.存儲優化 內存中使用有限狀態機FST優化 本質上是前綴樹加上後綴樹的結合，利用這個數據結構可以把Term更節省內存地放置並查詢，它有着字典樹的查詢時間複雜度，但是由於做了後綴合
2019-08-08 17:19:57
原创 webftp/filebrowser文件管理系統
1.背景 由於很多時候我們需要構建一個大文件的上傳與下載服務，也許ftp, python相關庫可以幫你實現文件的上傳與下載，但是我現在需要一個瀏覽器可以直接打開的服務，因爲很多時候都是小白需要這麼一個快速服務，也不需要安裝下載什麼應用 2
2019-08-08 17:19:57
3
原创 OSError: mysql_config not found
在centos上部署的時候pip install mysqlclient的時候報錯OSError: mysql_config not found,由於我執意要安裝mysql而,所以就在mysql的yum源安裝了,但是mysql_confi
2019-07-13 16:52:36
原创 基於selenium的分佈式爬蟲-微瀏覽器
文檔：https://github.com/SeleniumHQ/docker-selenium 1.背景 在無法使用的正常的接口請求數據時，我們想到最多的就是使用了瀏覽器進行抓取 2.正常流程 windows下使用selenium找標籤
2019-04-11 17:21:03
原创 docker網絡配置
查看docker網絡 [root@i zhizhu]# docker network ls NETWORK ID NAME DRIVER SCOPE 946691
2019-04-11 17:21:03