原创 由於GIL，Python想做多任務，最好在多核上用多進程方式實現
1、GIL是什麼？GIL的全稱是Global Interpreter Lock(全局解釋器鎖)，來源是python設計之初的考慮，爲了數據安全所做的決定。 2、每個CPU在同一時間只能執行一個線程（在單核CPU下的多線程其實都只是併發，
2020-02-23 23:04:22
原创 ssh 原理
主要內容 1. 初見SSH SSH是一種協議標準，其目的是實現安全遠程登錄以及其它安全網絡服務。 SSH僅僅是一協議標準，其具體的實現有很多，既有開源實現的OpenSSH，也有商業實現方案。使用範圍最廣泛的當然是開源實現OpenS
2020-02-23 23:04:22
原创 hbase系統架構
一、Hbase簡介 HBase是一個開源的非關係型分佈式數據庫（NoSQL），它參考了谷歌的BigTable建模，實現的編程語言爲 Java。它是Apache軟件基金會的Hadoop項目的一部分，運行於HDFS文件系統之上，爲 Had
2020-02-23 23:04:22
原创 Linux 在一個命令行上執行多個命令
轉自：http://www.cnblogs.com/emanlee/p/4886948.html Linux 在一個命令行上執行多個命令 1. [ ; ] 如果被分號(;)所分隔的命令會連續的執行下去，就算是錯誤的命令也會繼續執行
2020-02-23 23:04:22
原创 mysql中的本文存儲（varchar char text blob）
在 MySQL5.0以上的版本中，varchar數據類型的長度支持到了65535，也就是說可以存放65532個字節的數據，起始位和結束位佔去了3個字 節。 字符類型若爲gbk，每個字符最多佔2個字節，最大長度不能超過32766;
2020-02-23 23:04:22
原创 文本文件與其他二進制文件的區別
首先，計算機中所有存儲的信息都是二進制代碼。文本文件是一種二進制文件，因爲它與其他二進制文件相比較爲特殊，所以有了這個“區別”問題，即fopen時參
2020-02-23 23:04:22
原创 代理與反向代理
正向代理中，proxy和client同屬一個LAN，對server透明； 反向代理中，proxy和server同屬一個LAN，對client透明。 代理的用途 正向代理中，proxy和client同屬一個LAN，對server透
2020-02-23 23:04:22
原创 python小程序：把名稱列表從csv文件讀入mongo，再從mongo導入redis（anaconda3.5.2）
#/usr/bin/env python import redis import csv import pymongo def readDictCS
2020-02-23 23:04:22
原创 在centos7上安裝kvm，用virsh 管理
一、安裝kvm及其相關組件 1. 驗證CPU是否支持KVM；如果結果中有vmx（Intel）或svm(AMD)字樣，就說明CPU的支持的。 egrep '(vmx|svm)' /proc/cpuinfo 2. 關閉SELin
2020-02-23 23:04:22
原创 什麼場景該用 MongoDB?
案例1 用在應用服務器的日誌記錄，查找起來比文本靈活，導出也很方便。也是給應用練手，從外圍系統開始使用MongoDB。用在一些第三方信息的獲取或者抓取，因爲MongoDB的schema-less，所有格式靈活，不用爲了各種格式不一
2020-02-23 23:04:22
原创 RAW（裸） 與 QCOW2（寫時複製） 的區別
qemu-img是QEMU的磁盤管理工具，在qemu-kvm源碼編譯後就會默認編譯好qemu-img這個二進制文件。qemu-img也是QEMU/KVM使用過程中一個比較重要的工具，可以用其創建兩種格式（raw和qcow2）的虛擬機磁盤。
2020-02-23 23:04:22
原创 初識圖數據庫
爲什麼選擇圖形數據庫，爲什麼選擇Neo4j？ 最近在抓取一些社交網站的數據，抓下來的數據用MySql存儲。問我爲什麼用MySql，那自然是入門簡單，並且我當時只熟悉MySql。可是，隨着數據量越來越大，有一個問題始終困擾着我，那
2020-02-23 23:04:22
原创 從機器學習算法的發展 理解 端到端（end to end）學習
經典機器學習方式是以人類的先驗知識將raw數據預處理成feature，然後對feature進行分類。分類結果十分取決於feature的好壞。 傳統機器學習專家將大部分時間花費在設計feature上。那時的機器學習有個更合適的名字叫feat
2020-02-23 23:04:22
原创 python小程序：以後臺服務方式 定時 監視redis隊列 （anaconda3.5.2）
#!/usr/bin/env python import datetime, threading, redis interval = 60*60 def chkRedis(): global interval now=datet
2020-02-23 23:04:22