原创 docker實戰(一):docker容器生態系統簡介和docker machine多主機管理配置

docker容器生態系統簡介 容器技術 docker目前作爲容器技術使用最爲廣泛的容器技術,可以說已經成爲了容器技術的代名詞。在介紹docker之前首先介紹一下容器技術和虛擬機技術的區別,區分好容器和虛擬機這兩個概念,便能夠很好得

原创 Python高級特性與網絡爬蟲(五):Scrapy框架簡介

Scrapy框架簡介 scrapy是一個基於Twisted的異步處理框架,是一個純Python實現的爬蟲框架,其架構清晰,模塊之間的耦合程度低,可擴展性很強,我們可以通過定製開發幾個模塊就可以實現一個功能強大的爬蟲。一個Scrap

原创 openstack(queens)多節點手動安裝(四):控制節點和計算節點neutron組件的安裝

neutron組件概述 neutron核心組件向用戶提供了雲平臺中定義網絡的功能,它負責管理虛擬網絡組件,包括Networks,Switches,Subnets和Routers,同時也會提供一些高級網絡服務,如Load Balan

原创 openstack開發實踐(五):RPC遠程調用解析

RPC服務實現分析 openstack的項目(如nova,cinder,glance以及neutron等)中,各個組件之間主要是通過REST API接口進行通信,而同一個組件內部(比如nova中的nova-scheduler與no

原创 openstack開發實踐(三):Dashboard開發

Dashboard概述 Dashboard是openstack中提供的一個web前端控制檯,以此來展示openstack的功能。Dashboard是一個基於Django Web Framework開發的標準的Python WSGI

原创 openstack開發實踐(四):Nova源碼解析

nova-api服務解析 nova-api服務介紹 nova作爲openstack雲中的計算組織控制器,負責支持openstack雲中實例生命週期的所有活動,先前在nova組件手動安裝https://blog.csdn.net/w

原创 openstack開發實踐(一):devstack搭建all-in-one的openstack開發環境

Devstack簡介 devstack是面向開發者的一個openstack部署工具,用戶可以指定不同的版本分支進行安裝。devstack藉助於Shell腳本實現openstack自動化部署,devstack源碼中的stack.sh

原创 Python高級特性與網絡爬蟲(一):使用Ajax請求爬取用戶微博內容和python多進程爬取用戶圖片

最近閱讀了崔慶才寫的《Python3網絡爬蟲開發實戰》,系統地學習一下利用Python寫網絡爬蟲。由於這本書出版時間是2018年,很多書中案例涉及的網站已經改版,基本上每個案例都需要自己再研究一下網站改版後新的結構來爬取數據。這篇

原创 Python高級特性與網絡爬蟲(四):異步多協程維護代理池

在做爬蟲的時候,如果我們過於頻繁地訪問某個網站,可能會導致我們的ip被封掉,在這個時候我們需要代理來僞裝自己的ip,網上的代理服務有很多,免費的和收費的都有。這些ip有的時候不太穩定,所以我們需要維護一個能夠實時從代理服務網站上爬

原创 Python高級特性與網絡爬蟲(三):Python多進程與多線程解決數據競爭的方法

多進程通過multiprocess.Manager()解決共享變量的問題 之前寫多進程爬取微博用戶圖片的時候https://blog.csdn.net/weixin_41977332/article/details/1055910

原创 openstack開發實踐(二):Django框架簡介和Django應用的編寫

Django框架簡介 Django是Python最有代表性的一個網絡框架。使用Django可以方便地實現一個功能全面、管理簡便的網站或者APP後端。openstack中用來提供圖形化界面服務的Dashboard就是利用Django

原创 openstack開發實踐(六):Neutron源碼解析

neutron核心架構 neutron組件爲用戶提供了雲平臺中軟件定義網絡的功能,它負責管理虛擬網絡組件,包括Networks、Switches、Subnets和Routers,同時提供高級網絡服務,如Load Balance、F

原创 openstack開發實踐(八):基於協程的多線程技術在openstack中的應用

協程簡介 Python相比較C++等其他編程語言,由於全局解釋鎖(GIL)的存在,在同一時刻只能有一條線程可以向前進行,無法利用多線程進行並行計算,因此Python無法很方便地實現多線程。在Python的世界裏,要想實現多線程的功

原创 openstack(queens)多節點手動安裝(一):基礎服務的安裝+控制節點數據庫和消息隊列組件的安裝

本安裝教程適用於openstack(queens)版本,系統爲centos7,在virtualbox中創建多個虛擬機來模擬各個節點,安裝的節點包括一個控制節點controller node,兩個計算節點compute node1以

原创 openstack(queens)多節點手動安裝(五):控制節點和存儲節點cinder組件的安裝

cinder組件概述 cinder組件,負責openstack中的塊存儲(cinder本身並不是一種存儲技術,只是提供一箇中間的抽象層,然後通過調用不同存儲後端類型的驅動接口來管理對應的後端存儲)。cinder提供的塊存儲服務,可