原创 分佈式存儲系統HBASE-基礎

HBASE是一個高可靠性、高性能、面向列、可伸縮的分佈式存儲系統,利用HBASE技術可在廉價PC Server上搭建起大規模結構化存儲集羣。 HBASE的目標是存儲並處理大型的數據,更具體來說是僅需使用普通的硬件配置,就能夠處理由

原创 tornado之多進程服務

tornado多進程開啓 在前文"tornado之hello world"中簡單介紹過tornado的基本使用。tornado默認啓動的是單進程,啓動方式如下: if __name__ == "__main__": app

原创 redis原理和使用-安裝和分佈式配置

在之前的blog中,介紹過redis分佈式鎖實現。在日程的工作中,redis也使用得非常頻繁,包括緩存,分佈式鎖,消息隊列等。本系列將系統性地對redis做一個完整的介紹和總結。 Redis服務安裝和遠程訪問 Redis安裝網上

原创 M2Crypto安裝失敗問題處理

先下載swig 3.0.4版本:http://prdownloads.sourceforge.net/swing.swing-3.0.4.tar.gz 解壓縮後執行命令: ./configure --prefix=/usr 會報

原创 wps提示系統缺失字體

由於ubuntu自帶的libreoffice實在難用,於是卸載之後換成wps,但是在ubuntu環境下打開wps提示缺失字體,在網上找了一圈,有個百度網盤的字體庫資源(大小是250k,名稱是wps-symbol-fonts.zip

原创 分佈式存儲系統HBASE-API操作

上一篇介紹了HBase的基本概念,以及其在linux環境下的安裝和交互,本文將繼續介紹如何通過java和python來操作hbase。 在通過api操作hbase之前,首先要保證hadoop和hbase已經都啓動了。 Java操

原创 python中list的排序

list可以通過list的內置函數list.sort()或序列類型函數sorted(list)來進行排序。 兩者的區別是: list.sort()不會返回對象,改變原有的list順序。 sorted(list)返回一個對象,可以

原创 讀書筆記: 數據庫與MySql(3)

本文將主要介紹MySql數據庫的鎖機制,內容主要出自《MySql性能調優與架構優化》。 MySql數據庫鎖定機制 爲了保證數據的一致性,任何一個數據庫都存在鎖定機制。鎖定機制的優劣直接影響到一個數據庫系統的併發處理能力和性能,所

原创 讀書筆記: 數據庫與MySql(2)

索引在數據庫中非常重要,它決定着數據庫查詢的速度。 2 索引 索引是對數據庫表中的一列或多列的值進行排序的一種結構,使用索引可提高數據庫中特定數據的查詢速度。 2.1 索引簡介 索引是一個單獨的、存儲在磁盤上的數據庫結構,它們包

原创 讀書筆記: 數據庫與MySql(1)

MySql5.6從零開始學這本書比較基礎,也是博主很早以前看過的一本書。《高性能mysql》和《MySQL性能調優與架構設計》則偏向底層原理與實踐優化,需要有一定的數據庫基礎。這幾本都是非常經典的數據庫方面的書籍。 從本章開始,博

原创 ORM框架之Sqlalchemy

SQLAlchemy是Python編程語言下的一款開源軟件,提供了SQL工具包及對象關係映射(ORM)工具,使用MIT許可證發行。SQLAlchemy採用簡單的Python語言,爲高效和高性能的數據庫訪問設計,實現了完整的企業級持

原创 Spring Bean的生命週期和Spring容器

Spring Bean的生命週期 衆所周知,Spring中的bean由Spring容器負責管理,包括對象的整個生命週期:創建、裝配、銷燬。 具體的生命週期通過下圖可以描述: 說明如下: Spring實例化一個bean,默認是單

原创 redis原理和使用-基本特性

上一篇blog中介紹了redis的分佈式安裝和集羣方式,本文將介紹redis支持的數據結構,持久化方式和數據過期策略。 redis支持的數據結構 Redis支持的數據結構類型有:String(字符串),List(列表),Set(

原创 堆外內存的使用

待續 參考資料 [1]https://www.jianshu.com/p/17e72bb01bf1

原创 爬蟲技術 - 代理

使用爬蟲的時候肯定會有頻繁訪問某一網站的情況,這個時候有些服務器會識別到這是非正常訪問,就會把請求的IP禁掉,這個時候就需要用代理了。就好比現實生活中,我需要向A借一件東西,但是我跟A是仇人,直接向他借的話他不會借給我,這個時候我