詳解NoSQL數據庫Apache Cassandra的配置

在這裏我們將介紹的是NoSQL數據庫Apache Cassandra的配置與相關問題。現在數據庫市場對於NoSQL的關注度日益升高,我們也該看到未來數據庫技術的變革

上次說了安裝的問題,可以參考《VirtualBox 虛擬機 Debian系統上安裝Cassandra步驟及遇到的問題》。當然,在windows下也可以使用,但是要設置JAVA_HOME參數,然後啓動目錄 bin裏的cassandra.bat。編輯cassandra.bat看到

  1. if NOT DEFINED CASSANDRA_HOME set  CASSANDRA_HOME =%CD% 

改成

  1. if NOT DEFINED CASSANDRA_HOME set  CASSANDRA_HOME = F :/apache-cassandra-0.5.1 

“F:/apache-cassandra-0.5.1”是我的安裝目錄。

一、cassandra的單節點服務器配置

先說下cassandra的配置,還是講Linux下的。需要配置的文件一共有三個,當然,也可以使用默認配置。

這個三個文件分別是:

bin/cassandra.in.sh

conf/log4j.properties

conf/storage-conf.xml

其中,log4j.properties是日誌的配置,其它兩個是配置的運行環境。

cassandra.in.sh文件一般不需要調整,當然,加入你沒有使用alternatives調整java的默認環境,而你又需要使用 jre6.0,這種情況下,可以設置cassandra.in.sh中

  1. # JAVA_HOME =/usr/local/jdk6 

JAVA_HOME=/usr/local/jre6   #這裏是你的jre解壓縮的路徑

log4j.properties的配置網上講的很多,就不說了。

storage-conf.xml的配置是最重要的。

第一個是Keyspaces,這個默認只設置了Keyspace1,可以增加另外的Keyspaces。客戶端調用需要使用這個名字。

Keyspace節點中的KeysCachedFraction設置的鍵索引的內存大小。說明上也寫了,假如鍵的數量較少,長度較長,可以增加這個 值。而設置爲0,則是禁用。

接下來是設置ColumnFamily,這裏配置的名稱,在客戶端調用時候也要是有。另外還指定了列的類型。

ReplicationFactor設置了副本的數目,這個是在分佈式部署中有用,保持數據的冗餘,以至於某幾臺服務壞掉,能保證數據完整。

CommitLogDirectory以及接下來的幾行都是設置目錄的,這個就不說了。

Seeds也是和分部署主從服務器部署方式有關的,本文不準備講這個。

ThriftAddress是比較重要的,這個是設置客戶端訪問的,而ThriftPort是設置訪問的端口。接下來的部分是和性能有關的,這些說 明可以仔細閱讀。貧道對下面的設置也理解不深入,就不獻醜了。

二、如何編程訪問cassandra

從http://incubator.apache.org/cassandra/找了好久,找到了http://github.com /rantav/hector  (java)。這個是一個訪問cassandra的包裝。很遺憾的是,我使用這個包裝訪問時候,讀取一個Key的值需要 7~8秒!!!暈倒。我開始以爲是虛擬機的原因,結果部署到其他兩臺linux服務器上還是一樣。當然這些機器和我的機器都不在同一個網段,我不知道這點 是不是會對性能有很大的影響。後來,我放到自己機器上,以及把寫好的程序當道目標機器上,讀取速度變成了20MS每條。性能相差也太大了。一個是速度慢得 和螞蟻一樣,而第二次則是坐上烏龜了。

其它語言的訪問包裝可以在http://wiki.apache.org/cassandra/ClientExamples 這裏找到。當然,沒 有C#的。

三、用C#和Java訪問cassandra

cassandra用到了另外一個好用的東西:thrift。這個東東可以在http://www.thrift-rpc.org/下載。

具體在http://www.thrift-rpc.org/?p=thrift.git;a=shortlog;h=refs/misc /instant,一般點第一個snapshot就行了,這是最新的。版本幾個小時更新一個,太牛叉了。

下載完後,搞到Linux上,解壓。進入目錄後進行安裝。

  1. #chmod +x *  //設置執行權限  
  2. #./bootstrap.sh  
  3. #./configure  
  4. #make  
  5. #make install 

安裝好了,接下來,開始生成操作。

切換到cassandra的interface目錄。

然後,使用/home/xieping/thrift/ompiler/cpp/thrift -gen csharp cassandra.thrift 命令生成。運行該命令後,在interface目錄增加了gen-csharp目錄。把它搞到你的機器,然後,切換到/home/xieping /thrift/lib/csharp目錄。把src目錄搞下來。打開Thrift.csproj文件,右鍵Thrift項目,設置編譯符號爲 NET_2_0。新建個C#項目,把gen-csharp目錄下的東西添加進去,然後,引用Thrift項目,就可以寫以下代碼調用:

  1. using  System;  
  2. using  Thrift.Transport;  
  3. using  Thrift.Protocol;  
  4. using  Apache.Cassandra; namespace  TestCa {      
  5. class  Program {          
  6. static   void  Main( string [] args)   
  7. {              
  8. TTransport transport =  new  TSocket( "192.168.93.30" , 9160);              
  9. TProtocol protocol =  new  TBinaryProtocol(transport);              
  10. Cassandra.Client client =  new  Cassandra.Client(protocol);              
  11. transport.Open();              
  12. System.Text.Encoding utf8Encoding = System.Text.Encoding.UTF8;              
  13. long  timeStamp = DateTime.Now.Millisecond;            
  14. ColumnPath nameColumnPath =  new  ColumnPath() {                  
  15. Column_family =  "Standard1" ,                  
  16. Column = utf8Encoding.GetBytes( "name" )              
  17. };              
  18. client.insert( "Keyspace1" ,                            
  19. "1" ,                          nameColumnPath,                          
  20. utf8Encoding.GetBytes( "測試輸入1" ),    
  21. timeStamp,   
  22. ConsistencyLevel.ONE);              
  23. client.insert( "Keyspace1" ,                            
  24. "2" ,                            
  25. nameColumnPath,                            
  26. utf8Encoding.GetBytes( "測試輸入2" ),                            
  27. timeStamp,                            
  28. ConsistencyLevel.ONE);              
  29. ColumnOrSuperColumn returnedColumn = client. get ( "Keyspace1" "1" , nameColumnPath, ConsistencyLevel.ONE);              
  30. Console.WriteLine( "Keyspace1/Standard1 列值: 鍵: {0}, 值: {1}" ,                                
  31. utf8Encoding.GetString(returnedColumn.Column.Name),                              
  32. utf8Encoding.GetString(returnedColumn.Column.Value));            
  33. transport.Close();              
  34. Console.ReadKey();          
  35. }    }} 

而Java的就變成

/home/xieping/thrift/ompiler/cpp/thrift -gen java cassandra.thrift

java相應的代碼

  1. import   static  me.prettyprint.cassandra.utils.StringUtils.bytes;  
  2. import  java.io.UnsupportedEncodingException;  
  3. import  org.apache.cassandra.service.Cassandra;  
  4. import  org.apache.cassandra.service.ColumnOrSuperColumn;  
  5. import  org.apache.cassandra.service.ColumnPath;  
  6. import  org.apache.cassandra.service.ConsistencyLevel;  
  7. import  org.apache.cassandra.service.InvalidRequestException;  
  8. import  org.apache.cassandra.service.NotFoundException;  
  9. import  org.apache.cassandra.service.TimedOutException;  
  10. import  org.apache.cassandra.service.UnavailableException;  
  11. import  org.apache.thrift.TException;  
  12. import  org.apache.thrift.protocol.TBinaryProtocol;  
  13. import  org.apache.thrift.protocol.TProtocol;  
  14. import  org.apache.thrift.transport.*; public   class  Program {      
  15. public   class  s{              
  16. }          
  17. /**     * @param args       
  18. * @throws Exception        
  19. */       
  20. public   static   void  main(String[] args)  throws  Exception {          
  21. Long startTime = System.currentTimeMillis();           
  22. for ( int  i =  0 ;i <  10000 ;i++){              
  23. run();          
  24. }          
  25. Long endTime = System.currentTimeMillis();         System.out.println( "程序運行到此處計算機當前毫秒數 "  + startTime);          
  26. System.out.println( "程序共計運行 " + (endTime-startTime)+ " 毫秒" );      
  27.  }          
  28. static   void  run()  throws  InvalidRequestException, UnavailableException, TimedOutException, TException, NotFoundException, UnsupportedEncodingException{        TTransport transport =  new  TSocket( "192.168.93.30" , 9160 );          
  29. TProtocol protocol =  new  TBinaryProtocol(transport);          
  30. Cassandra.Client client =  new  Cassandra.Client(protocol);          
  31. transport.open();          
  32. Long timeStamp = System.currentTimeMillis();                   
  33. ColumnPath nameColumnPath =  new  ColumnPath( "Standard1" , null ,bytes( "name" ));          
  34. client.insert( "Keyspace1" ,                        
  35. "1" ,                      nameColumnPath,                        
  36. bytes( "測試數據1" ),                      timeStamp,                      ConsistencyLevel.ONE);          
  37. client.insert( "Keyspace1" ,                        
  38. "2" ,                      nameColumnPath,                        
  39. bytes( "測試數據2" ),                      timeStamp,                      ConsistencyLevel.ONE);          
  40. ColumnOrSuperColumn returnedColumn = client.get( "Keyspace1" "1" , nameColumnPath, ConsistencyLevel.ONE);                  
  41. System.out.println(String.format( "key:%s;value:%s" ,                   
  42. new  String(returnedColumn.column.name),                 new  String(returnedColumn.column.value, "utf-8" )));          
  43. transport.close();     
  44.  }    } 
原文標題:facebookde 的 NoSQL數據庫cassandra的配置與調用(java&&c#)
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章