台部落燎原_

原创 Mac OS X下安裝抓包工具Charles，mitmproxy

最近在學習python網絡爬蟲，需要對一些app的數據進行爬取，所以下載安裝了抓包工具Charles，下面就是在Mac下的安裝和配置過程。一、安裝Charles Charles是一個網絡抓包工具，相比Fiddle，功能更加強大，而且跨平

2020-06-09 19:26:16

原创 Python網絡爬蟲開發(一) 環境配置（python3安裝，請求庫，解析庫，存儲庫，Web庫，App抓包工具，爬蟲框架，部署相關庫的安裝）

最近在學習Python的網絡爬蟲開發，把自己的一些經驗分享出來。本章介紹一下我在學習爬蟲之前的準備工作，一些庫的安裝已經環境配置等。系統信息：系統：macOS Mojave 10.14.4 python版本：python 3.7 I

2020-06-09 19:26:16

原创 Mac下單例/分佈式安裝Elasticsearch及Head插件

一、ES安裝 Elasticsearch有不同的版本，不同的JDK選擇不同的版本，我這邊安裝的是es5.6版本，jdk是1.8版本。可以上官網下載最新版本https://www.elastic.co/cn/downloads/elast

2020-03-06 12:55:31

原创 H5+Css+Js+SpringMvc實現簡單購物車

一、導言最近在做一個移動商城的webapp的課程設計，主要是關於湖人隊各種商品的銷售，在做的過程接觸了很多新的東西，覺得購物車這一塊還是比較多的人會用到的，網上有關的教程很多比較亂，就分享一下自己的經驗。大致思路，首先用後臺寫關於

2019-09-03 07:36:07

2

原创劍指offer（第二版） Java實現 2-10

目錄劍指offer（第二版） Java實現 2-10題面試題2 實現Singleton模式面試題3 數組中重複的數字面試題4 二維數組中的查找面試題5 替換空格面試題6 從尾到頭打印鏈表面試題7 重建二叉樹面試題8 二

2019-08-23 07:42:44

原创 Python爬蟲使用selenium爬取淘寶商品信息並保存到MongoDB中

一、前期準備需要首先安裝好以下的軟件 1.chrome瀏覽器 2.chromedriver （和瀏覽器的版本要對應） 3.selenium瀏覽器自動化測試框架 4.MongoDB數據庫（可以的話安裝可視化工具Robo 3T） Mac電

2019-07-30 07:08:03

1

原创 Java實現算法——歸併排序

一、原理歸併排序（MERGE-SORT）是建立在歸併操作上的一種有效的排序算法,該算法是採用分治法（Divide and Conquer）的一個非常典型的應用。將已有序的子序列合併，得到完全有序的序列；即先使每個子序列有序，再使

2019-07-05 07:41:52

原创簡單爬蟲Ajax數據爬取——今日頭條圖片爬取

一、Ajax簡介什麼是Ajax？ Ajax 即“Asynchronous Javascript And XML”（異步 JavaScript 和 XML），是指一種創建交互式網頁應用的網頁開發技術。通過在後臺與服務器進行少量數據交換，

2019-05-14 11:45:20

7

原创 python操作數據庫MongoDB進行增刪改查

NOSQL泛指非關係型數據庫，是基於鍵值對的，數據之間沒有耦合性，性能非常高。這裏介紹利用pyython對MongoDB的數據庫進行操作。一、前期準備確保已經成功安裝好了MongoDB，並且成功啓動。如果遇到無法連接到27017端口的

2019-05-10 04:37:44

3

原创 OS X安裝pyspider遇到的坑

在安裝爬蟲框架pyspider時，遇到了幾個坑，在這裏記錄一下問題一、在安裝完之後，輸入 pyspider all準備啓動pyspider，報錯 Traceback (most recent call last): File "

2019-04-19 08:03:22

5

原创 Python網絡爬蟲開發(一) 環境配置（python3安裝，請求庫，解析庫，存儲庫，Web庫）