原创 Redis安裝配置、內存維護、數據持久化、遠程與GUI、Docker安裝、基本數據類型和命令、springboot與Jedis和Lettuce、事務、集羣

1、安裝和啓動 使用VMware創建一個CentOS7的系統環境。到Redis官網可以查看下載、編譯和運行的操作命令: wget http://download.redis.io/releases/redis-5.0.7.tar.

原创 【Scrapy-02】圖片網站的爬蟲開發技巧和案例

1、主要用到的技巧。 ——繞過反爬的一些設置主要在settings.py裏面,這個案例用了三個設置。 # Crawl responsibly by identifying yourself (and your website) o

原创 ElasticSearch7:安裝摺騰、基本命令、搜索和高級查詢、分詞器、字段類型、kibana、實用技能、springboot整合、集羣搭建、原理簡介

文章目錄1、全文搜索說明2、單機安裝(非集羣)3、基本概念4、基本使用5、搜索的簡單使用6、分詞器7、字段類型8、Kibana的簡單實用9、批量導入測試數據10、高級查詢11、Elasticsearch的高級使用12、spring

原创 【Scrapy-01】安裝、創建項目、創建爬蟲、簡單爬取百度title的例子以及工作流程簡介

下載python的時候,如果下載的是比較新的版本,一般都自帶了pip,這是pip官網說的,我們一般只需要更新一下pip即可,有時候也不需要更新,因爲下載的最新版本一般都是自帶最新的pip。pip官網:https://pip.pyp

原创 JVM類加載器、代碼初始化執行順序

(1)下面第一種和第二種會初始化A執行它的static裏面的代碼塊,但是第三種不會,主要原因就在於第三種情況訪問的A的靜態變量是靜態常量,所以雖然是主動調用了A,但是不會去初始化A,這算是靜態常量的特殊性。JVM01是入口類,所以

原创 【Jenkins】Java和Vue項目部署

文章目錄1、Jenkins安裝2、部署Java程序3、部署Vue程序 1、Jenkins安裝 準備CentOS7的系統,虛擬機安裝或者找個雲服務器。 更新yum update -y,安裝Java,因爲要運行Jenkins的war

原创 【解決方案】mac:stack Error: `gyp` failed with exit code:1

1、問題描述 npm安裝的時候報錯,網上各種卸載重裝node-gyp的方法試了都沒用,是沒找到問題根源: gyp ERR! stack Error: `gyp` failed with exit code: 1 gyp ERR!

原创 Nginx基礎:安裝、反向代理、負載均衡、高可用配置以及基本原理

1、基本概念 (1)什麼是Nginx?詳細概念不說了。我們更應該知道Nginx可以做什麼,目前主流的用法是用作反向代理、負載均衡和動靜分離,都說明Nginx是一個web服務器。 (2)什麼是反向代理?其實正常情況下,客戶端直接訪問

原创 【Node.js-7】MySQL數據庫的簡單使用、增加和查詢數據

1、第一步,還是安裝mysql的模塊: >npm install mysql 2、在正式寫代碼之前,得搞定數據庫以及建個表,整點數據進去。接下來直接看代碼吧: const mysql = require('mysql'); va

原创 Docker虛擬環境搭建、CentOS7、鏡像容器基礎命令、數據卷、Commit、Dockerfile以及自定義鏡像

一、虛擬環境準備 下載VMWare,CentOS官網下載CentOS的ISO鏡像。選擇相應的版本後,再選擇阿里雲的國內鏡像網址下載。因爲CentOS7以及7之前的版本對於Docker安裝和使用有一些區別,所以我們此次採用7的版本

原创 【Node.js-5】multer的三種上傳情況:單個文件,多個同名文件,多個不同名文件

1、我們之前可以用body-parser或者querystring等模塊去獲取和處理get和post裏面的數據,但是這些數據如果是上傳的一個或多個文件呢?這個時候,就需要用multer了。建議直接訪問官方文檔,因爲每個版本的使用不

原创 【Node.js-6】consolidate模板引擎集成、router路由介紹

1、consolidate可以說是一個各種模板引擎的結合體。它包括了我們之前的jade和ejs。通過配置就可以使用多種模板引擎。我們這裏使用一個簡單的例子。 ——我們的文件目錄結構以及直接寫在html裏面的模板,如下圖: ——

原创 【Node.js-8】一個簡單的登錄案例

1、整個項目的目錄結構如下: 2、這裏面主要的調整有,還是統一的入口server.js,只不過在這個入口裏面利用require把不同的模塊路由分開了。這樣可以保證主入口文件的簡潔。 const express = requir

原创 【Scrapy-03】布隆過濾器、存儲數據庫以及其他一些圖片爬取的技巧

Python3+Windows的環境,使用布隆過濾器確實不是一個很明智的選擇,因爲要麼現成的模塊不支持Windows平臺,要麼就是隻支持Python2,要麼就是對文件操作的支持不理想。經過不懈努力,找到一個叫做bloom_filt

原创 達文西,用JS寫個兼容IE8瀏覽器的類選擇器

基於某些考慮,有時我們項目中會盡量使用原生js,這種情況下連最簡單的類選擇器可能都要進行兼容性處理。getElementsByClassName是後來引入的,歷史不如getElementById和getElementsByTagNam