原创 Hive Job log解析——perl腳本
Hive Job log解析 cat parseHiveJobLog.pl use Data::Dumper; if (!defined($ARGV[0]) or $ARGV[0] eq '') { print "useage
2018-09-04 21:07:56
原创 oozie web-console 時間本地化
Oozie web console(版本oozie-3.2.0-incubating)顯示的時間是GMT，始終跟北京時間差8個小時，且格式不好看，通過修改$OOZIE_HOME/oozie-server/
2018-09-04 21:07:56
原创 LVS IPVS負載均衡機制詳解
IPVS的負載均衡機制有三種： Virtual Server via NAT Virtual Server via IP Tunneling Virtual Server via
2018-09-04 21:07:56
原创 secondaryNamenode配置與nameNode故障恢復
*注：本文基於0.20.2配置測試，0.21以後已改成Checkpoint Node和Backup Node 一、配置 1. 在masters文件中添加 Secondary節點的主機名。 *注：masters文件用於指定secondary
2018-09-04 21:07:56
原创 關於memcache
addServer(ip,port) 增加多臺服務器，並記錄servernum。get或set時通過crc32($key)%servernum來指定某臺具體的服務器。 缺點，增減服務器時由於servernum變化，可能會導致所有的key-
2018-09-04 21:07:56
原创 Hadoop 權限管理
如下圖，hadoop訪問控制分爲兩級，其中ServiceLevel Authorization爲系統級，用於控制是否可以訪問指定的服務，例如用戶/組是否可以向集羣提交Job，它是最基礎的訪問控制，優先於文件權限和mapred隊列權限驗證。
2018-09-04 21:07:56