原创 在讀取文件中出現\ufeff,解決 \ufeff的問題

語言:python 編程工具:pycharm 硬件環境:win10 64位 讀取文件過程中發現一個問題:已有記事本文件(非空),轉碼 UTF-8,複製到pycharm中,在開始位置打印結果會出現  \ufeff, 打印代碼如下 f = o

原创 細談八種架構設計模式及其優缺點概述

作者:風平浪靜如馬 一、什麼是架構 我想這個問題,十個人回答得有十一個答案,因爲另外的那一個是大家妥協的結果。哈哈,我理解,架構就是骨架,如下圖所示: 人類的身體的支撐是主要由骨架來承擔的,然後是其上的肌肉、神經、皮膚。架構對於軟件的重要

原创 終於有人把 Docker 講清楚了

  作者 :樂章 一、簡介 1、瞭解Docker的前生LXC LXC爲Linux Container的簡寫。可以提供輕量級的虛擬化,以便隔離進程和資源,而且不需要提供指令解釋機制以及全虛擬化的其他複雜性。相當於C++中的NameSpace

原创 mongodb的監控與性能優化

一.mongodb的監控 mongostat是mongdb自帶的狀態檢測工具,在命令行下使用。它會間隔固定時間獲取mongodb的當前運行狀態,並輸出。如果你發現數據庫突然變慢或者有其他問題的話,你第一手的操作就考慮採用mongostat

原创 mongodb創建超級用戶和普通用戶(對應數據庫的用戶)

1、創建管理員,下面以用戶test1爲例: use admin db.createUser({user: "test1", pwd: "test1", roles: [{role: "root", db: "admin"}]})    

原创 文件或目錄損壞,小編教你文件或目錄損壞且無法讀取怎麼辦

將u盤插入電腦的時候爲什麼會出現“文件或目錄損壞且無法讀取”的提示框呢?遇到這個問題時又該怎麼處理呢?別慌,下面小編就來給大家演示一下子解決文件或目錄損壞且無法讀取這個問題的解決方法。   我們在日常的生活當中經常都會遇到各種各樣的問題。比

原创 json與bson的區別

bson是由10gen開發的一個數據格式,目前主要用於mongoDB中,是mongoDB的數據存儲格式。bson基於json格式,選擇json進行改造的原因主要是json的通用性及json的schemaless的特性。   bson主要會實

原创 JS中判斷某個字符串是否包含另一個字符串的五種方法

String對象的方法 方法一: indexOf()   (推薦) ? 1 2 var str = "123" console.log(str.indexOf("2") != -1); // true i

原创 python爬蟲錯誤:http.client.HTTPException: got more than 100 headers的解決方法

python爬蟲錯誤:http.client.HTTPException: got more than 100 headers的解決方法 Traceback (most recent call last): File "C:\Users\

原创 go語言的時間日期模塊

time 包爲我們提供了一個數據類型 time.Time(作爲值使用)以及顯示和測量時間和日期的功能函數。 當前時間可以使用 time.Now() 獲取,或者使用 t.Day()、t.Minute() 等等來獲取時間的一部分;你甚至可以自定

原创 docker安裝mysql 8

1. 運行容器,自動下載鏡像 docker run --name mysql -e MYSQL_ROOT_PASSWORD=123456 -d mysql 2. 創建主機掛載配置文件 mkdir -p ~/i/apps/mysq

原创 scrapy 僞裝代理和fake_userAgent的使用

僞裝瀏覽器代理 在爬取網頁是有些服務器對請求過濾的不是很高可以不用ip來僞裝請求直接將自己的瀏覽器信息給僞裝也是可以的。 第一中方法: 1.在setting.py文件中加入以下內容,這是一些瀏覽器的頭信息 USER_AGENT_LIST

原创 Linux連續執行多條命令

引自:這裏 每條命令使用";"隔開,則無論前邊的命令執行成功與否都會繼續執行下一條命令這裏,故意將第二條命令中的echo多寫了一個o,命令執行出錯,但並不影響後續命令的執行可以這麼想,如果用分號來間隔命令,就相當於將命令分隔在了不同的行,無

原创 python爬蟲scrapy之如何同時執行多個scrapy爬行任務

背景:   剛開始學習scrapy爬蟲框架的時候,就在想如果我在服務器上執行一個爬蟲任務的話,還說的過去。但是我不能每個爬蟲任務就新建一個項目吧。例如我建立了一個知乎的爬行任務,但是我在這個爬行任務中,寫了多個spider,重要的是我想讓他

原创 scrapy實戰,使用內置的xpath,re和css提取值

以伯樂在線文章爲爬取目標blog.jobbole.com,發現在"最新文章"選項中可看到所有文章   一般來說,可以用scrapy中自帶的xpath或者css來提取數據,定義在spiders/jobbole.py中的def parse(se