原创 Scrapy爬蟲框架
Scrapy爬蟲框架 一、Scrapy五大基本構成: Scrapy框架主要由五大組件組成，它們分別是調度器(Scheduler)、下載器(Downloader)、爬蟲（Spider）和實體管道(Item Pipeline)、Scr
2019-06-11 08:35:07
原创 Django框架全面講解二
Django框架全面講解二 七、中間件（MiddleWare） django 中的中間件（middleware），在django中，中間件其實就是一個類，在請求到來和結束後，django會根據自己的規則在合適的時機執行中間件中相應
2019-06-11 08:35:07
1
原创 MySQL集羣高可用架構
MySQL集羣高可用架構 前言 高可用架構對於互聯網服務基本是標配，無論是應用服務還是數據庫服務都需要做到高可用。對於一個系統而言，可能包含很多模塊，比如前端應用，緩存，數據庫，搜索，消息隊列等，每個模塊都需要做到高可用，才能保證
2019-06-11 08:35:07
原创 Python多進程
Python多進程方面涉及到的模塊主要包括： subprocess: 可以在當前程序中執行其他程序或命令 mmap：提供一種基於內存的進程間通信機制 multiprocessing：提供支持多處理器技術的多進程編程接口，並且接口
2019-06-11 08:35:07
原创 裝飾器
裝飾器 裝飾器只不過是一種函數，接收被裝飾的可調用對象作爲它的唯一參數，然後返回一個可調用對象 第一個例子：函數註冊 registry = [] # 被裝飾的對象，是一個可調用對象 def register(decorated):
2019-06-11 08:35:07
原创 網絡編程1
網絡編程 ISO七層模型 ——》網絡通信工作流程的標準化 應用層 ： 提供用戶服務，具體功能由特定的程序而定 表示層 ： 數據的壓縮優化，加密 會話層 ： 建立應用級的連接，選擇傳輸服務 傳輸層 ： 提供不同的傳輸服務。流量控制
2019-06-11 08:35:07
原创 IO 多路複用
IO 多路複用 IO密集型程序 ： 在程序執行過程中存在大量IO操作，而cpu運算操作較少。消耗cpu較少，運行效率較低 計算密集型程序（cpu密集型程序）：在程序執行中cpu運算較多，IO操作相對較少。消耗cpu大，運行速度快
2019-06-11 08:35:07
原创 正則表達式
正則表達式 產生的原因： 文本處理已經成爲計算機的常見工作之一 對文本內容的搜索，定位，提取是邏輯比較複雜的工作 爲了快速解決上述問題，產生了正則表達式技術 定義： 即文本的高級匹配模式，提供搜索，替代等功能。其本質是一系列由
2019-06-11 08:35:07
原创 分佈式數據庫集羣
分佈式數據庫集羣 Mysql cluster是適用於分佈式計算環境的高可用、高冗餘版本的mysql，其技術在分佈式系統中爲mysql數據提供了冗餘特性，增強了安全性，使得單個mysql服務器故障不會對系統產生巨大的負面效應，系統的
2019-06-11 08:35:07
原创 python Web框架之Flask
python Web框架 我們討論一下Flask和Django Flask框架一個輕量級的框架，是一個依賴Jinjia2模板引擎和WSGI的微型框架 安裝Flask sudo pip3 install flask 框架模型
2019-05-12 14:07:24
3
原创 ORM 框架
ORM 框架 轉：https://www.cnblogs.com/pycode/p/mysql-orm.html SQLAlchemy是Python編程語言下的一款ORM框架，該框架建立在數據庫API之上，使用關係對象映射進行數據庫操
2019-05-11 12:26:56
原创 Docker學習筆記
Docker學習筆記 Docker 是一個開源的應用容器引擎，基於 Go 語言 並遵從Apache2.0協議開源。 Docker 可以讓開發者打包他們的應用以及依賴包到一個輕量級、可移植的容器中，然後發佈到任何流行的 Linux 機器
2019-05-10 11:30:43
原创 各種網絡測試小工具的用法2
tcpdump: tcpdump [ -DenNqvX ] [ -c count ] [ -F file ] [ -i interface ] [ -r file ] [ -s snaplen ] [ -w file ] [ expr
2019-05-01 14:44:44
原创 各種網絡測試小工具的用法
nohup 用法： nohup Command [Arg…] [&] 操作系統有三種常見的流： 0：標準輸入流 stdin 1：標準輸出流 stdout 2：標準錯誤流 stderr 一般當我們用 > console.txt，實際是
2019-05-01 14:44:44
原创 數據分析06
數據分析06 數據平滑處理 在做數據分析時, 由於數據的噪聲太多, 需要對數據進行數據平滑處理. 通常包含有降噪/擬合等操作. 降噪的功能在於去除額外的影響因素. 擬合的目的在於數學模型化,可以通過更多的數學方法識別曲線特徵. 降噪手
2019-04-09 02:30:41