原创 Presto 0.217 部署（coordinator與worker單節點）
一、環境： 操作系統：Linux CentOS Linux release 7.3.1611 Presto版本：0.217 Hadoop版本：3.1.1 HIve 版本：3.1.0 二、安裝Presto 1. 解壓到指定目錄 tar
2019-03-10 03:03:21
4
原创 Presto報錯
1.報錯內容 1、在啓動presto的時候會出現這個不認識的信息，這些今天遇到的都是每行配置後續多了一個空格，這個還是要一個一個的敲比較靠譜，不要拷貝。 java.lang.IllegalArgumentException: No f
2019-03-10 03:03:21
原创 Linux下Jupyter安裝和配置
#一、先決條件 ------------------- 1.Jupyter運行需要基於Python環境，此處使用Anaconda管理Python環境 2.Jupyter爲了避免遭受攻擊，需要使用jupyter用戶啓動 userad
2019-03-06 20:13:20
8
原创 linux修改用戶環境變量
Linux中修改環境變量及生效方法 方法一： 在/etc/profile文件中添加變量【對所有用戶生效(永久的)】 用VI在文件/etc/profile文件中增加變量，該變量將會對Linux下所有用戶有效，並且是“永久的”。
2019-03-06 20:13:20
原创 Jupyter安裝R
Jupyter節點 —————————————————— 地址：10.69.69.231 堡壘機組：3.0生產環境 用戶：jupyter R語言安裝 **************************** 環境：Linux versi
2019-03-06 20:13:20
原创 Ambari2.7.1+HDP3.0.1.0的ATS embedded HBase is NOT running on master01報錯
1.環境：CentOS 7.3+Ambari2.7.1+HDP3.0.1.0 2.報錯：在Ambari的Alert中收到ATS embedded HBase is NOT running on master01的告警 3.分析：我看了下報
2019-03-05 02:49:41
12
原创 ERROR:"Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient"
1.HIve啓動報錯： ERROR:"Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient" 2.解決辦法： 進入所
2019-02-28 02:58:38
原创 Centos7上卸載MariaDB數據庫
Centos7上卸載Mariadb數據庫 查詢所安裝的MariaDB組件： [root@localhost logs]# rpm -qa | grep Maria* MariaDB-server-5.5.49-1.el7.centos.x
2019-02-28 02:58:38
原创 Kafka消費與位移
1. 前言 消息堆積是消費滯後(Lag)的一種表現形式，消息中間件服務端中所留存的消息與消費掉的消息之間的差值即爲消息堆積量，也稱之爲消費滯後(Lag)量。對於Kafka而言，消息被髮送至Topic中，而Topic又分成了多個分區(Par
2019-02-21 01:44:59
原创 kafka報錯org.apache.kafka.common.errors.TimeoutException: Expiring 1 record(s) for test
1.控制檯報錯： 2019-02-19 10:36:06.868 ERROR 2272 --- [kafka-producer-network-thread | producer-1] o.s.k.support.LoggingProdu
2019-02-20 02:00:13
原创 VsCode離線安裝插件
一、引言 最近想要使用 VSCode 來進行項目的開發工作，無奈工作機上無法上網。這就涉及到了相關插件的離線安裝的問題。 在參考了 VSCode 插件離線安裝 這篇博客的方法之後，我成功離線安裝了插件。 可是令我驚奇的事情是： 可能是 V
2019-01-31 14:31:56
263
原创 Error: Could not find or load main class org.apache.spark.deploy.yarn.ApplicationMaster
今天搭建了一個sparkOnYarn的集羣，我想測試一下集羣是否正常，使用spark自帶蒙特卡羅求圓周率的算法包，但是執行報錯 執行命令： bin/spark-submit \ --class org.apache.spark.exam
2019-01-31 14:31:55
67
原创 大數據常用端口
1.1 HDFS端口 參數 描述 默認 配置文件 例子值 fs.default.name namenode namenode高可用 RPC交互端口 8020 core-site.xml hdfs:/
2018-12-13 02:22:40
原创 內存分配與回收策略-
下面是使用Serial/Serial Old收集器下（ParNew/Serial Old收集器組合的規則也基本一致）的內存分配和回收的策略 對象優先在Eden分配 1、大多數情況下，對象在新生代Eden區中分配。當Eden區沒有足夠空間進
2018-12-08 03:08:41
原创 Redis3.2.8 集羣搭建
1.架構環境 **************** 我們標準化規定：三臺組搭建的集羣。實例端口設定從7001---7006 2.解壓編譯安裝 **************** mkdir -p /data/app wget http://10
2018-12-08 03:08:41