使用Python調用happybase庫。thrift 是facebook開發並開源的一個二進制通訊中間件，通過thrift，我們可以用Python來操作Hbase
1、概述
Thrift最初由Facebook開發的，後來提交給了Apache基金會將Thrift作爲一個開源項目。當時facebook開發使用它是爲了解決系統中各系統間大數據量的傳輸通信以及系統之間語言環境不同需要跨平臺的特性問題。Thrift是一個跨語言的服務部署框架。Thrift通過一箇中間語言(IDL, 接口定義語言)來定義RPC的接口和數據類型，然後通過一個編譯器生成不同語言的代碼（目前支持C++,Java, Python, PHP, Ruby, Erlang, Perl, Haskell, C#, Cocoa, Smalltalk和OCaml）,並由生成的代碼負責RPC協議層和傳輸層的實現。
Thrift實際上是實現了C/S模式，通過代碼生成工具將接口定義文件生成服務器端和客戶端代碼（可以爲不同語言），從而實現服務端和客戶端跨語言的支持。在Thirft描述文件中聲明自己的服務，這些服務經過編譯後會生成相應語言的代碼文件，然後實現服務便可以了。其中protocol（協議層, 定義數據傳輸格式，可以爲二進制或者XML等）和transport（傳輸層，定義數據傳輸方式，可以爲TCP/IP傳輸，內存共享或者文件共享等）被用作運行時庫。
首先開啓Hadoop平臺的HadoopMaster的thrift服務，用Xshell連接HadoopMaster，用root用戶登錄，如果想關閉終端之後，thrift服務繼續運行，可以用daemon模式運行
2.安裝happybase和thrift
pip install happybase
pip install thrift
3.嘗試連接Hbase
import happybase
connection = happybase.Connection('172.8.10.142')
print connection.tables()
此時會出現下面的錯誤：
import happybase報錯，ThriftPy does not support generating module with path in protocol 'c'
Traceback (most recent call last):
File "F:\workspace_weiy\PythonDBTest\src\com\siger\hbase\hbasetest.py", line 9, in <module>
import happybase
File "C:\Python27\lib\site-packages\happybase\__init__.py", line 10, in <module>
'Hbase_thrift')
File "C:\Python27\lib\site-packages\thriftpy\parser\__init__.py", line 30, in load
include_dir=include_dir)
File "C:\Python27\lib\site-packages\thriftpy\parser\parser.py", line 496, in parse
url_scheme))
thriftpy.parser.exc.ThriftParserError: ThriftPy does not support generating module with path in protocol 'c'
解決方法：
- 進入如下 你的Python的安裝路徑下，找到parser.py文件
C:\Python27\Lib\site-packages\thriftpy\parser
打開parser.py文件，找到488行。註釋掉原來488行代碼，添加
#if url_scheme == '':
if len(url_scheme) <= 1:
或者可以修改爲
if url_scheme in ('c', ''):
如果是報錯’d’上面就寫’d’，‘f’就寫’f’
修改的時候注意py代碼縮進
問題原因：
happybase1.0在win下不支持絕對路徑
具體原因：happybase要讀取Python\Lib\site-packages\happybase\Hbase.thrift，但在Python\Lib\site-packages\thriftpy\parser\parser.py中的487行。path是Hbase.thrift的絕對路徑（我的是“F:\SoftWare\Python27\Lib\site-packages\happybase\Hbase.thrift”），但經過urlparse(path).scheme後，url_scheme變成了“c”，（這也就是報錯信息中最後的“c”）。根據代碼，url_scheme既不爲“”，也不包含 （‘http’,’https’），則只能爲raise報錯。
相關資料：https://github.com/eleme/thriftpy/issues/234
4.happybase的使用
請參考http://happybase.readthedocs.io/en/latest/index.html
在此做一下簡單的使用介紹
（1）建立連接
import happybase
connection = happybase.Connection('172.8.10.142')
當connection被創建的時候，默認自動與Hbase建立socket連接的。
若不想自動與Hbase建立socket連接，可以將autoconnect參數設置爲False
connection = happybase.Connection('172.8.10.142', autoconnect=False)
然後手動與Hbase建立socket連接
connection.open()
（2）連接建立好之後查看可以使用的table
print connection.tables()
因爲還沒有創建table，所以返回結果是 []
（3）創建一個table
connection.create_table(
'my_table',
{
'cf1': dict(max_versions=10),
'cf2': dict(max_versions=1, block_cache_enabled=False),
'cf3': dict(), # use defaults
}
)
此時，我們再通過connection.tables()查看可以使用的table，結果爲['my_table']
創建的table即my_table包含3個列族：cf1、cf2、cf3
（4）獲取一個table實例
一個table被創建好之後，要想對其進行操作，首先要獲取這個table實例
table = connection.table('my_table')
（5）使用table的命名空間
因爲一個Hbase會被多個項目共同使用，所以就會導致table的命名衝突，爲了解決這個問題，可以在創建table的時候，手動加上項目的名字作爲table名字的前綴，例如myproject_xyz。
但是這樣做比較麻煩，happybase幫我們做好了工作，我們可以在與Hbase建立連接的時候，通過設置table_prefix參數來實現這個功能
connection = happybase.Connection('172.8.10.142', table_prefix='myproject')
此時connection.tables()只會返回包含在該命名空間裏的tables，且返回的tables的名字會以簡單的形式顯示，即不包含前綴。
（6）存儲數據：Hbase裏 存儲的數據都是原始的字節字符串
cloth_data = {'cf1:content': u'牛仔褲', 'cf1:price': '299', 'cf1:rating': '98%'}
hat_data = {'cf1:content': u'鴨舌帽', 'cf1:price': '88', 'cf1:rating': '99%'}
shoe_data = {'cf1:content': u'耐克', 'cf1:price': '988', 'cf1:rating': '100%'}
author_data = {'cf2:name': u'LiuLin', 'cf2:date': '2017-03-09'}
table.put(row='www.test1.com', data=cloth_data)
table.put(row='www.test2.com', data=hat_data)
table.put(row='www.test3.com', data=shoe_data)
table.put(row='www.test4.com', data=author_data)
使用put一次只能存儲一行數據
如果row key已經存在，則變成了修改數據
（7）更好的存儲數據
table.put()方法會立即給Hbase Thrift server發送一條命令。其實這種方法的效率並不高，我們可以使用更高效的table.batch()方法。
# 使用batch一次插入多行數據
bat = table.batch()
bat.put('www.test5.com', {'cf1:price': 999, 'cf2:title': 'Hello Python', 'cf2:length': 34, 'cf3:code': 'A43'})
bat.put('www.test6.com', {'cf1:content': u'剃鬚刀', 'cf1:price': 168, 'cf1:rating': '97%'})
bat.put('www.test7.com', {'cf3:function': 'print'})
bat.send()
更有用的方法是使用上下文管理器來管理batch，這樣就不用手動發送數據了，即不再需要bat.send()
# 使用with來管理batch
with table.batch() as bat:
bat.put('www.test5.com', {'cf1:price': '999', 'cf2:title': 'Hello Python', 'cf2:length': '34', 'cf3:code': 'A43'})
bat.put('www.test6.com', {'cf1:content': u'剃鬚刀', 'cf1:price': '168', 'cf1:rating': '97%'})
bat.put('www.test7.com', {'cf3:function': 'print'})
還可以刪除數據
# 在batch中刪除數據
with table.batch() as bat:
bat.put('www.test5.com', {'cf1:price': '999', 'cf2:title': 'Hello Python', 'cf2:length': '34', 'cf3:code': 'A43'})
bat.put('www.test6.com', {'cf1:content': u'剃鬚刀', 'cf1:price': '168', 'cf1:rating': '97%'})
bat.put('www.test7.com', {'cf3:function': 'print'})
bat.delete('www.test1.com')
batch將數據保存在內存中，知道數據被send，第一種send數據的方法是顯示地發送，即bat.send()，第二種send數據的方法是到達with上下文管理器的結尾自動發送。這樣就存在一個問題，萬一數據量很大，就會佔用太多的內存。所以我們在使用table.batch()的時候要通過batch_size參數來設置batch的大小
# 通過batch_size參數來設置batch的大小
with table.batch(batch_size=10) as bat:
for i in range(16):
bat.put('www.test{}.com'.format(i), {'cf1:price': '{}'.format(i)})
（8）掃描一個table裏的數據
# 全局掃描一個table
for key, value in table.scan():
print key, value
結果如下：
這種全局掃描一個表格其實代價是很大的，尤其是當數據量很大的時候。我們可以通過設置開始的row key 或結束的row key或者同時設置開始和結束的row key來進行局部查詢
# 通過row_start參數來設置開始掃描的row key
for key, value in table.scan(row_start='www.test2.com'):
print key, value
# 通過row_stop參數來設置結束掃描的row key
for key, value in table.scan(row_stop='www.test3.com'):
print key, value
# 通過row_start和row_stop參數來設置開始和結束掃描的row key
for key, value in table.scan(row_start='www.test2.com', row_stop='www.test3.com'):
print key, value
另外，還可以通過設置row key的前綴來進行局部掃描
# 通過row_prefix參數來設置需要掃描的row key
for key, value in table.scan(row_prefix='www.test'):
print key, value
（9）檢索數據
# 檢索一行數據
row = table.row('www.test4.com')
print row
直接返回該row key的值（以字典的形式），結果爲：
{'cf2:name': 'LiuLin', 'cf2:date': '2017-03-09'}
# 檢索多行數據
rows = table.rows(['www.test1.com', 'www.test4.com'])
print rows
返回的是一個list，list的一個元素是一個tuple，tuple的第一個元素是row key，第二個元素是row key的值
如果想使檢索多行數據即table.rows()返回的結果是一個字典，可以這樣處理
# 檢索多行數據，返回字典
rows_dict = dict(table.rows(['www.test1.com', 'www.test4.com']))
print rows_dict
如果想使table.rows()返回的結果是一個有序字典，即OrderedDict，可以這樣處理
# 檢索多行數據，返回有序字典
from collection import OrderedDict
rows_ordered_dict = OrderedDict(table.rows(['www.test1.com', 'www.test4.com']))
print rows_ordered_dict
（10）更好地檢索數據
# 通過指定列族來檢索數據
row = table.row('www.test1.com', columns=['cf1'])
print row
# 通過指定列族中的列來檢索數據
row = table.row('www.test1.com', columns=['cf1:price', 'cf1:rating'])
print row
print row['cf1:price']
在Hbase裏，每一個cell都有一個時間戳timestamp，可以通過時間戳來檢索數據
# 通過指定時間戳來檢索數據，時間戳必須是整數
row = table.row('www.test1.com', timestamp=1536565689624)
print row
默認情況下，返回的數據並不會包含時間戳，如果你想獲取時間戳，這樣就可以了
# 在返回的數據裏面包含時間戳
row = table.row(row='www.test1.com', columns=['cf1:rating', 'cf1:price'], include_timestamp=True)
print row
對於同一個單元的值，Hbase存儲了多個版本，在創建表的時候可以通過max_versions參數來設置一個列族的最大版本號，如果想檢索某一cell所有的版本，可以這樣
# 檢索某一個cell所有的版本
cells = table.cells(b'www.test1.com', column='cf1:price')
print cells
也可以通過version參數來指定需要檢索的前n個版本，如下
# 通過設置version參數來檢索前n個版本
cells = table.cells(b'www.test1.com', column='cf1:price', versions=3)
print cells
（11）刪除數據
# 刪除一整行數據
table.delete('www.test4.com')
# 刪除一個列族的數據
table.delete('www.test2.com', columns=['cf1'])
# 刪除一個列族中幾個列的數據
table.delete('www.test2.com', columns=['cf1：name', 'cf1:price'])
（12）使用連接池
Hbase自帶有線程安全的連接池，踏允許多個線程共享和重用已經打開的連接。這對於多線程的應用是非常有用的。當一個線程申請一個連接，它將獲得一個租賃憑證，在此期間，這個線程單獨享有這個連接。當這個線程使用完該連接之後，它將該連接歸還給連接池以便其他的線程可以使用
# 創建連接，通過參數size來設置連接池中連接的個數
pool = happybase.ConnectionPool(size=3, host='172.8.10.142', table_prefix='myProject')
# 獲取連接
with pool.connection() as connection:
print connection.tables()
轉自：https://my.oschina.net/wolfoxliu/blog/856175