原创 Hive On Tez優化
1.設置tez的hive.tez.container.size 參數說明：Set hive.tez.container.size to be the same as or a small multiple(1 or 2 times tha
2020-06-20 03:19:23
1
原创 Linux安裝MariaDB
環境：CentOs7.4 版本：MariaDB5.5 1.安裝方法： #安裝mariadb（包含服務器端和客戶端） step1：yum -y install mariadb mariadb-server # 安裝mariadb客戶
2020-06-14 00:22:18
原创 Presto 0.217 部署（單節點與分佈式）
一、環境： 操作系統：Linux CentOS Linux release 7.3.1611 Presto版本：0.217 Hadoop版本：3.1.1 HIve 版本：3.1.0 二、安裝Presto（單機版） 1. 解壓到指定目
2020-06-14 00:22:18
2
原创 log4j的通用配置
最近在配置azkaban的log4j，順帶整理除了一份通用的log4j的配置，與君共勉 ### set log levels ### log4j.rootLogger = info,stdout,D,E ### 輸出到控制檯 ##
2020-06-14 00:22:18
1
原创 【kafka】kafka0.11版本follower水位高於leader解決辦法
錯誤日誌： ERROR [ReplicaFetcher replicaId=0, leaderId=2, fetcherId=0] Exiting because log truncation is not allowed for p
2020-06-14 00:22:18
原创 Centos修改編碼集爲C.UTF-8
1.安裝編碼集 localedef -v -c -i en_US -f UTF-8 C.UTF-8 2.vim /etc/sysconfig/i18n 寫入如下內容 LANG="C.UTF-8" LC_ALL="C.UTF-8"
2020-06-14 00:22:18
原创 ES名詞解釋
集羣：具有相同clusterName的節點。 節點：一個ES實例，並不定是一個節點，因爲一個節點上可以啓動多個ES實例。 索引：相當於數據庫database的概念，一個集羣可以包含多個索引。 分片：索引可以切分成多個分片，分佈在不同的節點
2020-02-20 19:34:39
原创 基於HDP（ambari）的Flink1.9.0編譯
我在網上一直沒有找到基於HDP-Flink1.9編譯的文檔，這幾天一直在研究，踩了不少坑，現在整理一下，希望可以幫到大家 一、準備 1.安裝Apache Maven 3.2.5 2.下載flink-shaded-7.0 3.下載fli
2020-02-20 19:34:38
原创 flinkOnYarn 啓動報錯NoClassDefFoundError: org/apache/hadoop/yarn/exceptions/YarnException
[root@hadoop-01 flink-1.9.0]# bin/yarn-session.sh Error: A JNI error has occurred, please check your installation and
2019-10-25 14:44:06
原创 NAMENODE問題分析
原文鏈接：https://blog.csdn.net/xjping0794/article/details/77836543 -----journalnode異常日誌 2017-09-04 02
2019-10-25 14:44:06
19
原创 centos 提示No module named sasl 解決
版權聲明：本文爲博主原創文章，遵循 CC 4.0 by-sa 版權協議，轉載請附上原文出處鏈接和本聲明。 本文鏈接：https://blog.csdn.net/yrx0619/article/details/80349083 sudo p
2019-08-28 14:37:09
原创 git 新建本地分支，並對應建立遠程分支和推送到遠程分支
我們有一個master 分支，當工程要新增新的功能時，又暫時不上線，那麼我們可以新建一個新的本地分支，和對應的遠程分支，完成之後，上線時再合併就可以了 1.查看一下本地分支 git branch; 查看本地和遠程的所有分支
2019-08-01 14:35:29
原创 hadoop fsck / 詳解
我們知道fsck是用來檢測hdfs上文件、block信息的，但是fsck輸出的結果我們是否能看明白呢？ Status: HEALTHY Total size: 2847297793799 B Total dirs:
2019-07-18 14:42:42
原创 DFSClient頻繁發生GC，導致寫入hdfs超時的問題分析
搜索推薦有一個job，1000多個map，200個reduce，運行到最後只剩一個reduce（10.39.6.130上）的時候，出現以下異常，導致job失敗： 2014-12-04 15:49:04,297 INFO [main]
2019-07-10 14:34:39
1
原创 sasl/sasl.h: No such file or directory
yum install -y gcc-c++ yum -y install cyrus-sasl cyrus-sasl-devel cyrus-sasl-lib
2019-04-23 15:14:11
1