HAWQ集成Yarn HA作爲資源管理服務

一、第一步當然是配置YARN HA，這在使用ambari管理時很簡單，這裏不在贅述。

二、建立HAWQ的專用資源隊列queue

不要手工編輯scheduler設置，最方便的當然是使用queue manager，入口看圖。

添加一個hawq_queue

三、重啓受影響的yarn服務

添加或修改queue之後，ambari管理界面中會有提示，點擊重啓即可。

四、編輯hawq的配置文件

1，修改hawq-site.xml中hawq_global_rm_type值爲yarn

        <property>
                <name>hawq_global_rm_type</name>
                <value>yarn</value>
                <description>The resource manager type to start for allocating resource.
                                         'none' means hawq resource manager exclusively uses whole
                                         cluster; 'yarn' means hawq resource manager contacts YARN
                                         resource manager to negotiate resource.
                </description>
        </property>

其他的hawq_rm_*相關鍵值不用動，因爲配置yarn HA模式時無用，需要修改yarn_client.xml中HA相關配置。

2，修改yarn-client.xml中HA相關配置

<!-- HA  -->
        <property>
                <name>yarn.resourcemanager.ha</name>
                <value>ep-bd05:8032,ep-bd01:8032</value>
        </property>
        <property>
                <name>yarn.resourcemanager.scheduler.ha</name>
                <value>ep-bd05:8030,ep-bd01:8030</value>
        </property>
<!-- end HA -->

注意active RM節點寫在前面，可以減少網絡訪問時間！

3，分發修改後配置文件到各個節點

cd /opt/gpadmin/apache-hawq/etc
gpscp -f slaves hawq-site.xml =:/opt/gpadmin/apache-hawq/etc/.
gpscp -f slaves yarn-client.xml =:/opt/gpadmin/apache-hawq/etc/.

四、在HAWQ主節點上重新啓動hawq cluster

su - gpadmin
hawq restart cluster -a

五、兩個注意事項：

1，HDP集羣，在ambari中啓用YARN HA後，RM服務端口沒有配置，在配置文件中看不到，文件中只有未啓用HA之前的單節點端口地址，例如我這裏是：

<property>
      <name>yarn.resourcemanager.address</name>
      <value>ep-bd01:8050</value>
</property>

這個並不是啓用HA後RM的端口，實際上應該查找配置項

yarn.resourcemanager.address.rm1

由於沒有此項配置，所以我這裏的HA rm的端口號是默認的端口號8032，這個需要注意。

2，啓用yarn RM管理後，每個hawq 的segment節點，都需要配套nodemanager服務，否則不能與rm通訊，沒有安裝的需要在ambari管理界面中添加。 使用hawq自己管理資源時當然是不需要的。