原创 04_linux權限管理

權限管理 1 文件權限 文件的權限主要針對三類對象,分別是: owner:u: 所屬用戶 group:g: 所屬組 other:o: 其他人    u、g、o 都有讀(read)、寫(write)、執行(excute) 三個權限

原创 linux系統管理基本命令使用

linux系統管理基本命令使用 1 命令入門 1.1 ls 列出當前目前下的所有文件或文件夾 ls命令參數: -l 可展示出是文件還是目錄,和一些權限,創建時間的具體信息 -a 可展示出該目錄下的隱藏文件 -lh 可方便的清晰的展示

原创 go 文件寫入

package main import ( "bufio" "fmt" "io/ioutil" "os" ) func writeDemo1(filename string) { // 指定模式打開文件 追加 文件不存在則創

原创 go語言 什麼是接口

接口 1 什麼是接口 把所有的具有共性的方法定義在一起,任何其他類型只要實現了這些方法就是實現了這個接口 接口定義了一組方法,如果某個對象實現了某個接口的所有方法,則此對象就實現了該接口 2 接口的定義 /* 定義接口 */ type in

原创 go 空接口的應用

空接口的定義 interface{} 空接口的應用 package main import "fmt" /* 空接口 // 聲明一個鍵爲任意類型 值也爲任意類型的集合 var dt map[interface{}]interface{

原创 fastapi異步web框架入門

1 如何快速實現一個fastapi 1.1 準備工作 使用Python來寫後端,基本上使用的是Django和Flask。fastapi不僅僅高效率而且還很適合產品級的開發。 需要安裝一下fastapi以及ASGI(ASGI是WSGI的升級版

原创 redis基本使用教程

redis基本技術總結 1 redis 簡介 基於內存、分佈式、可選持久性的鍵值對(Key-Value)存儲數據庫 redis是一個高性能的key-value存儲系統。它支持存儲的value類型相對更多,包括string(字符串)、list

原创 MySQL中的主從複製

MySQL中的主從複製 條件 主庫開啓binlog日誌(設置log-bin參數) 主從server-id不同(這個要小心) 從庫服務器能連通主庫 原理 從庫生成兩個線程,一個I/O線程,一個SQL線程; I/O線程去請求主庫的binl

原创 k-prototypes聚類算法

1 k-prototypes聚類 https://github.com/nicodv/kmodes.git 1 k-prototypes算法 K-prototype是K-means與K-modes的一種集合形式,適用於數值類型與字符類型集合

原创 單元測試框架unittest

單元測試框架 1 unittest框架 unittest的設計靈感最初來源於Junit以及其他語言中具有共同特徵的單元框架。它支持自動化測試,在測試中使用setup(初始化)和shutdown(關閉銷燬)操作,組織測試用例爲套件(批量運行)

原创 解決matplotlib中文不顯示問題

import matplotlib.pyplot as plt # import matplotlib import rcParams # 設置顯示中文字體 plt.rcParams["font.sans-serif"] = ["SimH

原创 loguru日誌使用

loguru日誌方案 日誌相關內容: 目志輸出渠道: 文件,控制檯輸出 日誌級別: DEBUG < INFO < WARNING < ERROR < CRITICAL 日誌內容: 年月日、時分秒、級別、哪行代碼報錯、具休報錯 日的注

原创 scrapy框架使用總結

scrapy總結 1 scrapy項目開發流程 1.1 創建項目命令 scrapy startproject guokespider 1.2 創建一個爬蟲 在終端中,先進入到爬蟲項目目錄下, 然後執行生成爬蟲命令,格式scrapy gen

原创 scrapy_redis框架總結

1 Scrapy 和 scrapy-redis的區別 Scrapy 是一個通用的爬蟲框架,但是不支持分佈式,Scrapy-redis是爲了更方便地實現Scrapy分佈式爬取,而提供了一些以redis爲基礎的組件(僅有組件)。 pip in

原创 爬蟲數據提取

請求響應數據提取 1 響應分類 1.1 結構化數據 1.1.1 json數據 josn格式數據出現比較高頻,使用json,re,jsonpath等模塊提取數據。 1.1.2 xml數據 xml是一種可擴展標識語言,功能更加專注於存儲和傳輸數