原创 C++ 按位與、或、異或等方法介紹

按位與運算符(&) 參加運算的兩個數據,按二進制位進行“與”運算。 運算規則:0&0=0;   0&1=0;    1&0=0;     1&1=1;        即:兩位同時爲“1”,結果才爲“1”,否則爲0 例如:3&5  即 00

原创 python 刪除文本文件中每一行末尾的^M符號

1.^M字符的來歷和作用: 在DOS/Windows裏,文本文件的換行符爲\r\n,而在*nix系統裏則爲\n,所以DOS/Windows裏編輯過的文本文件到了*nix裏,每一行都多了個^M。所以^M只是一個換行符號,沒有實際的用處,我們

原创 使用python在hadoop下編寫map-reduce

Hadoop Streaming提供了一個便於進行MapReduce編程的工具包,使用它可以基於一些可執行命令、腳本語言或其他編程語言來實現Mapper和 Reducer,從而充分利用Hadoop並行計算框架的優勢和能力,來處理大數據。

原创 Python中BeautifuSoup庫的用法

BeautifulSoup簡介 Beautiful Soup是python的一個庫,最主要的功能是從網頁抓取數據。官方解釋如下: Beautiful Soup提供一些簡單的、python式的函數用來處理導航、搜索、修改分析樹等功能。它是一

原创 linux服務器查看進程數量

Linux系統的進程是由線程組成的,當然Linux進程下的線程數是不固定的,可以是一個進程,也可以是多個進程。 一、使用命令查看Linux進程的線程數   1、使用top命令,具體用法是 top -H   加上這個選項,top的每一行就不

原创 Linux服務器查看負載情況

負載(load)是linux機器的一個重要指標,直觀了反應了機器當前的狀態。如果機器負載過高,那麼對機器的操作將難以進行。Linux的負載高,主要是由於CPU使用、內存使用、IO消耗三部分構成。任意一項使用過多,都將導致服務器負載的急劇攀

原创 SecureCRT上操作SVN

1.從svn下載代碼到本地 一般新建一個文件夾,下載所需的代碼,例如 mkdir code,然後進入code文件夾中,開始進行下載 svn co https://svn路徑 ./ 此處需要注意:如果想要下載一整個文件夾下的代碼/項目,在

原创 Linux殺死進程的多種方法

1.查找需要kill掉的線程: ps -elf|grep 【線程關鍵信息】    比如:ps -elf|grep java 這樣找到所有JAVA 線程 比如要刪除tomcat線程,可以執行:ps -elf|grep tomcat 這樣就可

原创 Linux環境 行末尾的^M符號刪除

出現^M的原因: Window系統中用/r/n來表示換行,linux中用/n來表示換行,Windows的文本文件,直接拿到linux中使用可能會會出錯,因爲多出了“/r”字符,這就是我們看到的^M。   解決方案: 1.使用正則表達式刪除

原创 C++ STL之vector用法總結

雖然已經寫過很多關於vector的博客,但久不用總是會忘,趁着這次使用再次熟練一下,再做一次總結,就當給自己寫筆記了   介紹 vector是表示可變大小數組的序列容器。 就像數組一樣,vector也採用的連續存儲空間來存儲元素。也就是意

原创 urllib、urllib2、requests的區別

urllib和urllib2的區別 urllib和urllib2模塊都做與請求URL相關的操作,但他們提供不同的功能。 urllib2.urlopen可以接受一個Request對象或者url,(在接受Request對象時候,並以此可以來設

原创 經典算法Semi-Global Matching(SGM)文獻筆記(二)

上一篇博客中提到了SGM的第一部分,基於分層互信息(HMI)的代價計算,本文繼續說說自己對SGM代價聚合部分的理解。 SGM的代價聚合,其實仔細看看,這並不是嚴格意義上的代價聚合,因爲SGM是爲了優化一個能量函數,這和一般的全局算法一樣,

原创 python中dict()的高級用法

collections中defaultdict的用法 一、字典的鍵映射多個值 將下面的列表轉換成字典 一個字典就是一個鍵對應一個單值得映射,而上面的列表中有相同的鍵,如果你想要一個鍵映射多個值,那麼就需要將這多個值放到另外的序列中,比如

原创 requests + xpath抓取網站內容

1.Requests 第三方的python HTTP庫,其口號是“讓HTTP服務人類(HTTP for Humans)”,功能豐富,接口簡潔優雅,文檔也很完備。支持python 2.6-3.5 安裝 通過 pip 安裝: pip inst

原创 requests庫的 text / content / json的區別

最近在爬一些數據,剛開始用urllib.request 庫,一直連不到數據 ; 後來通過CHROME瀏覽器的F12,發現該 網站用的是JSON格式{}'Content-Type': 'application/json',},不同於以往的提