原创 部署traefik並實現http和https訪問
一、背景1. rancher、kubernetes-dashboard等應用需要通過https方式訪問，所以此次部署將開啓traefik對https的支持。2. 基於之前的rancher HA是部署在cattle-sys
2020-05-30 18:54:29
2
原创 scrapy導出文件中文亂碼問題
背景： 使用scrapy crawl spidername -o filename.json命令執行爬蟲，並將item寫入文件，發現中文亂碼，比如這樣子： 解決方法 第一種方法： 使用scrapy命令導出時指定編碼格式 scrapy cra
2020-02-20 14:36:07
原创 python3爬蟲中文亂碼之請求頭‘Accept-Encoding’：br 的問題
當用python3做爬蟲的時候，一些網站爲了防爬蟲會設置一些檢查機制，這時我們就需要添加請求頭，僞裝成瀏覽器正常訪問。header的內容在瀏覽器的開發者工具中便可看到，將這些信息添加到我們的爬蟲代碼中即可。‘Accept-Encoding’
2019-10-24 14:31:39
3
原创 requests模塊tcp連接過多問題
報錯： HTTPSConnectionPool(host='xxx.xxx.com', port=443): Max retries exceeded with url: /xxxxxxxxxxxxxxxxxx (Caused by Ne
2019-09-15 14:01:47
原创 python爬蟲--2019中國好聲音評論爬取
2019中國好聲音火熱開播，作爲一名“假粉絲”，這一季每一期都刷過了，尤其剛播出的第六期開始正式的battle。視頻視頻看完了，那看下大家都是怎樣評論的。 1.網頁分析部分 本文爬取的是騰訊視頻評論，第六期的評論地址是：http://cor
2019-08-29 14:02:44
5
原创 Ceph（v13.2.5 mimic穩定版）分佈式存儲部署
一、ceph簡介 1. 功能特性 ceph提供了對象存儲（RADOSGW）、塊存儲（RBD）和文件存儲（Ceph FS）三種功能：RADOSGW：基於LIBRADOS之上，提供當前流行的RESTful協議的網關，並且兼容S3和Swif
2019-05-29 13:52:45
2
原创 利用rancher部署監控系統並實現存儲持久化
一、背景 通過rancher來管理k8s集羣是一個非常不錯的選擇，其自帶的應用商店非常豐富，對於某些應用可以幫助我們快速實現，以下記錄了利用rancher快速部署prometheus監控系統，並實現持久化存儲。 二、實現步驟 Rancher
2019-05-29 13:52:45
6
原创 K8S使用Ceph RBD作爲後端存儲
一、準備工作 Ceph版本：v13.2.5 mimic穩定版 1、Ceph上準備存儲池 [root@ceph-node1 ceph]# ceph osd pool create k8s 128 128 pool 'k8s' created
2019-05-29 13:52:45
1
原创 利用Helm部署高可用rancher集羣
一、背景 Rancher HA有多種部署方式： Helm HA安裝，將Rancher部署在已有的Kubernetes集羣中，Rancher將使用集羣的etcd存儲數據，並利用Kubernetes調度實現高可用性。 RKE HA安裝，使用R
2019-05-09 13:55:10
1
原创 Helm安裝和使用
一、 Helm簡介 Helm是Kubernetes首選的包管理工具，在K8S中一個應用可能多個YAML清單文件，當應用很多時這些清單文件就會顯得很亂。Helm便能很好解決這種問題，Helm charts可以爲K8S YAML清單文件提
2019-05-09 13:55:09
原创 kubeadm部署高可用K8S集羣（v1.14.0）
一、 集羣規劃 主機名 IP 角色 主要插件 VIP 172.16.1.10 實現master高可用和負載均衡 k8s-master01 172.16.1.11 master kube-apiserver、kube
2019-04-24 13:51:57
1
原创 Elasticsearch索引備份與清理
一、背景 1.我們ES節點個數有限，而環境中日誌量又非常龐大，久而久之ES的性能便會下降，所以要對以前的索引做定時清理。2.ES副本提供了高可靠性，它們讓你可以容忍零星的節點丟失而不會中斷服務。但是，副本並不提供對災難性故障的保護。對這種情
2019-03-10 13:34:58
2
原创 ELK實戰--分析Apache訪問日誌並生成視圖
一、背景 我們的ELK架構如下圖所示，各個應用節點日誌直接通過rsyslog實時傳輸到Logstash節點，Logstash對生成的各節點日誌文件做處理後傳輸到Elashticsearch。 二、 logstash配置文件 input部分
2019-02-22 17:00:00