Hadoop：Hive metastore三種配置方式

Hive metastore三種配置方式

 

 

Hive的meta數據支持以下三種存儲方式，其中兩種屬於本地存儲，一種爲遠端存儲。遠端存儲比較適合生產環境。Hive官方wiki詳細介紹了這三種方式，鏈接爲：Hive Metastore。

 

一、本地derby

這種方式是最簡單的存儲方式，只需要在hive-site.xml做如下配置便可

 

[html] view plain copy

1. <?xml version="1.0"?>  
2. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>  
3.   
4. <configuration>  
5.   
6. <property>  
7.   <name>javax.jdo.option.ConnectionURL</name>  
8.   <value>jdbc:derby:;databaseName=metastore_db;create=true</value>  
9. </property>  
10.    
11. <property>  
12.   <name>javax.jdo.option.ConnectionDriverName</name>  
13.   <value>org.apache.derby.jdbc.EmbeddedDriver</value>  
14. </property>  
15.    
16. <property>  
17.   <name>hive.metastore.local</name>  
18.   <value>true</value>  
19. </property>  
20.    
21. <property>  
22.   <name>hive.metastore.warehouse.dir</name>  
23.   <value>/user/hive/warehouse</value>  
24. </property>  
25.    
26. <property>  
27.   <name>hive.metastore.warehouse.dir</name>  
28.   <value>/user/hive/warehouse</value>  
29. </property>  
30.   
31. </configuration>  

注：使用derby存儲方式時，運行hive會在當前目錄生成一個derby文件和一個metastore_db目錄。這種存儲方式的弊端是在同一個目錄下同時只能有一個hive客戶端能使用數據庫，否則會提示如下錯誤

 

 

[html] view plain copy

1. hive> show tables;  
2. FAILED: Error in metadata: javax.jdo.JDOFatalDataStoreException: Failed to start database 'metastore_db', see the next exception for details.  
3. NestedThrowables:  
4. java.sql.SQLException: Failed to start database 'metastore_db', see the next exception for details.  
5. FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask  

 

二、本地mysql

這種存儲方式需要在本地運行一個mysql服務器，並作如下配置（下面兩種使用mysql的方式，需要將mysql的jar包拷貝到$HIVE_HOME/lib目錄下）。

 

 

[html] view plain copy

1. <?xml version="1.0"?>  
2. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>  
3.   
4. <configuration>  
5. <property>  
6.   <name>hive.metastore.warehouse.dir</name>  
7.   <value>/user/hive_remote/warehouse</value>  
8. </property>  
9.    
10. <property>  
11.   <name>hive.metastore.local</name>  
12.   <value>true</value>  
13. </property>  
14.    
15. <property>  
16.   <name>javax.jdo.option.ConnectionURL</name>  
17.   <value>jdbc:mysql://localhost/hive_remote?createDatabaseIfNotExist=true</value>  
18. </property>  
19.    
20. <property>  
21.   <name>javax.jdo.option.ConnectionDriverName</name>  
22.   <value>com.mysql.jdbc.Driver</value>  
23. </property>  
24.    
25. <property>  
26.   <name>javax.jdo.option.ConnectionUserName</name>  
27.   <value>hive</value>  
28. </property>  
29.    
30. <property>  
31.   <name>javax.jdo.option.ConnectionPassword</name>  
32.   <value>password</value>  
33. </property>  
34. </configuration>  

 

 

三、遠端mysql

 

這種存儲方式需要在遠端服務器運行一個mysql服務器，並且需要在Hive服務器啓動meta服務。

這裏用mysql的測試服務器，ip位192.168.1.214，新建hive_remote數據庫，字符集位latine1

 

[html] view plain copy

1. <?xml version="1.0"?>  
2. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>  
3.    
4. <configuration>  
5.   
6. <property>  
7.   <name>hive.metastore.warehouse.dir</name>  
8.   <value>/user/hive/warehouse</value>  
9. </property>  
10.    
11. <property>  
12.   <name>javax.jdo.option.ConnectionURL</name>  
13.   <value>jdbc:mysql://192.168.1.214:3306/hive_remote?createDatabaseIfNotExist=true</value>  
14. </property>  
15.    
16. <property>  
17.   <name>javax.jdo.option.ConnectionDriverName</name>  
18.   <value>com.mysql.jdbc.Driver</value>  
19. </property>  
20.    
21. <property>  
22.   <name>javax.jdo.option.ConnectionUserName</name>  
23.   <value>hive</value>  
24. </property>  
25.    
26. <property>  
27.   <name>javax.jdo.option.ConnectionPassword</name>  
28.   <value>password</value>  
29. </property>  
30.   
31. <property>  
32.   <name>hive.metastore.local</name>  
33.   <value>false</value>  
34. </property>  
35.   
36. <property>  
37.   <name>hive.metastore.uris</name>  
38.   <value>thrift://192.168.1.188:9083</value>  
39. </property>  
40.   
41. </configuration>  

 

 

注：這裏把hive的服務端和客戶端都放在同一臺服務器上了。服務端和客戶端可以拆開，將hive-site.xml配置文件拆爲如下兩部分

         1）、服務端配置文件

[html] view plain copy

1. <?xml version="1.0"?>  
2. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>  
3.    
4. <configuration>  
5.   
6. <property>  
7.   <name>hive.metastore.warehouse.dir</name>  
8.   <value>/user/hive/warehouse</value>  
9. </property>  
10.    
11. <property>  
12.   <name>javax.jdo.option.ConnectionURL</name>  
13.   <value>jdbc:mysql://192.168.1.214:3306/hive_remote?createDatabaseIfNotExist=true</value>  
14. </property>  
15.    
16. <property>  
17.   <name>javax.jdo.option.ConnectionDriverName</name>  
18.   <value>com.mysql.jdbc.Driver</value>  
19. </property>  
20.    
21. <property>  
22.   <name>javax.jdo.option.ConnectionUserName</name>  
23.   <value>root</value>  
24. </property>  
25.    
26. <property>  
27.   <name>javax.jdo.option.ConnectionPassword</name>  
28.   <value>test1234</value>  
29. </property>  
30. </configuration>  

 

         2）、客戶端配置文件

[html] view plain copy

1. <?xml version="1.0"?>  
2. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>  
3.    
4. <configuration>  
5.   
6. <property>  
7.   <name>hive.metastore.warehouse.dir</name>  
8.   <value>/user/hive/warehouse</value>  
9. </property>  
10.    
11. <property>  
12.   <name>hive.metastore.local</name>  
13.   <value>false</value>  
14. </property>  
15.   
16. <property>  
17.   <name>hive.metastore.uris</name>  
18.   <value>thrift://192.168.1.188:9083</value>  
19. </property>  
20.   
21. </configuration>  

 

啓動hive服務端程序

[plain] view plain copy

1. $ hive --service metastore   

 

客戶端直接使用hive命令即可

[plain] view plain copy

1. root@my188:~$ hive   
2. Hive history file=/tmp/root/hive_job_log_root_201301301416_955801255.txt  
3. hive> show tables;  
4. OK  
5. test_hive  
6. Time taken: 0.736 seconds  
7. hive>