原创 cloudera supervisord
servervice cloudera-scm-agent stop ps -ef | grep supervisord kill -9 pid servervice cloudera-scm-agent start
2020-06-16 11:26:10
原创 Hive Json 建表語句太長出錯【修改Hive 元數據表結構】
最近在Hadoop集羣中要添加一些Hive表來解析Json。 因爲Json的內容太長，選擇外部表創建語句格式如下： create external table if not exists TABLENAME （ 字段A strin
2020-06-16 11:26:10
5
原创 Centos 統計硬盤使用情況
剩餘硬盤容量 T df | awk '{print $4}' |sed 's/Available//g' |sed '/^\s*$/d' | awk '{sum+=$1} END {print sum/1024/1024/1024}' 使
2020-04-19 05:39:44
原创 CDH6.2 集成Sentry，Hive，Hue，Impala權限控制
公司最近Hadoop集羣和其他服務機器複用嚴重，提供了新機器，想將Hadoop集羣遷出。 Hadoop使用的CDH集成環境，從CDH5.3跨越到CDH6.2 之前在CDH5.3上將hive從0.13升級到1.2.1。然後做了hive權限控
2019-07-02 20:39:12
原创 CDH5.3 集成Hive，Hue權限控制
之前公司業務提出需求要對Hive進行權限控制 hive 版本1.2.1，升級過一次。 1.HUE 中添加用戶 bigdata 給與hive訪問權限 新建一個用戶組bigdata,將bigdata從default組移動到bigdata組。
2019-07-02 20:39:12
原创 CDH中的YARN 與HDFS 一點隱藏關係
CDH中的YARN 與HDFS 一點隱藏關係 今天清明節假期第二天，上午日常遠程連一下公司服務器，看看跑批作業是否OK 然後發現 CDH Hadoop集羣中提交到Yarn上的MapReduce作業跑的非常慢，而且經常是 Map 0%，Re
2019-04-06 22:11:13
原创 mysql中varchar類型最大長度測試
1.先看字符集爲latin1時，每個字符應該是佔據一個byte mysql> create table test(a varchar(65535)) engine=innodb charset=latin1; ERROR 1118 (42
2019-03-29 20:29:39
原创 Hive 生產中數據問題踩的坑
生產環境使用的時Sqoop 從Oracle 抽數 經歷過錯行----去掉一些特殊字符解決 大字段錯行----https://blog.csdn.net/u012422198/article/details/84662691 長數字數據重複
2019-03-26 20:24:00
原创 從Elasticsearch導出數據到文件工具Python 和 elasticdump 對比【自己的體驗】
工作中從Elasticsearch導出大批量數據到文件，因爲Elasticsearch導出有限制，一次性最多導出10000條，雖然可以調大這個數值，但是對於Elasticsearch集羣上千萬甚至上億條數據導出，這個參數調整就沒什麼意義了
2019-02-19 06:37:47
原创 Centos 生產環境 無網 安裝Node、Npm、Elasticdump方法【驗證通過】
第一步.安裝Node和Npm 1.下載官方安裝包並拷貝到離線機器上 官方下載地址：https://nodejs.org/en/download/ 下載xz文件，解壓後是tar文件 2.解壓文件：tar -xf node-v8.1.0-li
2019-02-16 18:25:08
原创 解決Sqoop CLOB 字段從Oracle導入Hive錯行
CLOB字段從Oracle導入到Hive時，如果CLOB中有換行符 Sqoop import參數選項 --hive-drop-import-delims對CLOB中換行符是沒有效果的 需要顯示添加--map-column-java CLO
2018-12-01 00:12:24
1
原创 Hadoop 2.5.0上編譯Tez,並配置到Hive中。
1.背景 公司的生產環境是hadoop2.5.0-cdh5.3.9，因爲業務數據增長的原因，Hive MapReduce的查詢速度不令人滿意了，想要更換爲計算引擎Tez。 2.編譯 在當前日期的Tez官網上沒有對應Hadoop版本編譯好的
2018-11-26 01:46:40
原创 CDH 5.3.9(parcels)集羣中hive0.13.0升級到hive-1.2.1步驟全，升級hive元數據庫，數據不丟失
1.下載hive-1.2.1安裝包 http://archive.apache.org/dist/hive/hive-1.2.1/apache-hive-1.2.1-bin.tar.gz 2.將安裝包傳到集羣所有節點上 3.所有節點roo
2018-11-20 02:01:46
原创 hive增加Update、Delete支持 (補充)
https://blog.csdn.net/qq_36864672/article/details/81868824 步驟見上面這位博主的博客 我稍微補充一下，在使用時走過的彎路 在CDH的Hive的配置界面有這些類別，每個都有給一個高
2018-11-20 02:01:46
原创 Hive Json 建表語句太長出錯
最近在Hadoop集羣中要添加一些Hive表來解析Json。 因爲Json的內容太長，選擇外部表創建語句格式如下： create external table if not exists TABLENAME （ 字段A strin
2018-11-04 02:04:16