原创 CDH5.16 安裝 spark2.4
一，下載需要的包 SPARK2-2.4.0.cloudera2-1.cdh5.13.3.p0.1041012-el7.parcel SPARK2-2.4.0.cloudera2-1.cdh5.13.3.p0.1041012-el7.par
2020-07-05 11:09:02
29
原创 切換用戶出現：-bash-4.2$
切換用戶時出現-bash-4.2$ [root@cdh-master ~]# su - mysql Last login: Sat Jul 4 19:43:37 EDT 2020 on pts/0 -bash-4.2$ pwd 查看
2020-07-05 11:09:02
原创 hdp中遇到的問題
1，安裝hue，hue syncdb是報錯 處理辦法：由於系統python爲2.6，升級python至2.7 /usr/local/hue/build/env/lib/python2.6/site-packages/cryptograp
2020-06-07 13:20:08
9
原创 postgreSql-9.6.9 安裝
1.下載安裝包 wget https://ftp.postgresql.org/pub/source/v9.6.9/postgresql-9.6.9.tar.gz 2.配置postgresql環境 yum -y install gcc*
2019-08-06 19:33:39
原创 Elasticsearch5安裝Elasticsearch-head插件
nodejs下載：https://nodejs.org/zh-cn/download/ github下載：https://github.com/mobz/elasticsearch-head 1，解壓後，配置node環境變量 vim
2019-05-01 04:02:02
原创 cdh、hdp中遇到的問題
1，安裝hue，hue syncdb是報錯 處理辦法：由於系統python爲2.6，升級python至2.7 /usr/local/hue/build/env/lib/python2.6/site-packages/cryptograp
2019-02-19 23:37:04
原创 postgreSql 常用操作
0. 啓動pgsl數據庫 pg_ctl -D /xx/pgdata start 1. 查看pgsl版本 pg_ctl --version 2. 命令行登錄數據 psql -U username -d dbname -h hos
2019-02-19 23:37:04
2
原创 ambari 下postgresql 命令
1.切換用戶 [root@master scripts]# su - postgres -bash-4.1 2.登陸postpostgresql控制檯 -bash-4.1$ psql postgres=# 3. 進入ambar
2019-02-19 23:37:04
原创 zookeeper digest授權方式
將要設置的密碼進行base64編碼 >>echo -n test:test | openssl dgst -binary -sha1 | openssl base64 >>V28q/NynI4JI3Rk54h0r8O5kMug= [z
2019-02-15 00:13:34
原创 linux系統相關
一,修改內核參數 # vi /etc/sysctl.conf kernel.shmall = 2097152 kernel.shmmax = 1073741824 fs.aio-max-nr = 1048576 fs.file-ma
2019-02-02 00:27:24
原创 elasticsearch_shield插件
使用命令： 創建管理員用戶 bin/shield/esusers useradd es_test -r admin 登錄管理員用戶 curl -u es_test -XGET http://192.168.1.85:9200 如果出現失
2019-02-02 00:27:24
1
原创 es 相關
ES平衡節點的時候不向上面分配分片，或者更進一步直接將原有分片“趕出去 可以嘗試使用下面的命令 curl -XPUT 'localhost:9200/_cluster/settings' -d '{ "transient": {
2018-12-23 23:59:40
原创 es分片遷移
集羣節點臨時重啓 當修改配置時可能需要重啓集羣才生效，或者集羣發生嚴重錯誤無法恢復時都可能需要重啓集羣 一個集羣節點重啓前要先臨時禁用自動分配，設置cluster.routing.allocation.enable爲none，否則節點停止
2018-12-23 23:59:40
原创 kibana 安裝
對應版本：https://www.elastic.co/support/matrix#show_compatibility 下載地址_官網地址：https://www.elastic.co/cn/downloads/kibana tar
2018-12-23 23:59:40
原创 kafka 添加節點或者刪除節點
擴展您的羣集 將服務器添加到Kafka集羣很簡單，只需爲它們分配一個唯一的代理ID並在新服務器上啓動Kafka即可。但是，這些新服務器不會自動分配任何數據分區，因此除非將分區移動到它們，否則在創建新主題之前它們不會執行任何工作。因此，通常
2018-12-12 23:41:59