原创 HBase僞分佈式，集羣安裝配置
1.常規安裝好Hadoop後，需要啓動HDFS，HBase是建立在HDFS之上的 2.下載HBase版本，這裏注意了，你的Hadoop版本要和Hbase版本一致，否則會報兩個協議不一致的錯誤，我用的是Hadoop2.4.0和HBase0.
2020-07-03 03:26:24
1
原创 Nagios4.0.8 詳細安裝配置
爲百度知道的更多，我記錄下我與網絡上講述的不一樣的地方，標上注意點 爲新手多點資料，一些小細節煩死人 1.下載nagios-4.0.8.tar.gz 和 nagios-plugins-2.0.tar.gz wget http://ja
2020-07-03 03:26:24
原创 訓練集和測試集的區別
1、訓練集和測試集 一般來說，訓練集用來估計模型中的參數，使模型能夠反映現實，進而預測未來或其他未知的信息，而測試集用來評估模型的預測性能。 例如：已知1000個小朋友的體重和身高數據，想建立體重與身高的線性迴歸模型。我們可以用900個小
2020-07-03 03:26:24
1
原创 hadoop集羣配置Ganglia監控
根據網友的介紹，簡單配置了一個集羣，用作記錄 我的集羣 hadoop1 192.168.1.151 gmetad 和 gmond hadoop2 192.168.1.1
2020-07-03 03:26:24
原创 Hive任務超時報錯 Invalid OperationHandle
一個奇怪的問題 有個任務報錯如下 Invalid OperationHandle: OperationHandle [opType=EXECUTE_STATEMENT, getHandleIdentifier()=373ae075-49
2020-04-29 05:05:45
19
原创 Hadoop操作錯誤記錄
參考錯誤列表 http://www.geedoo.info/category/hadoop%E8%BF%90%E7%BB%B4 1.在手動執行bin/hdfs secondarynamenode -checkpoint force手動執行
2020-02-21 02:01:11
原创 Hive-0.14.0與mysql配置
1.下載後解壓修改文件夾的用戶及用戶組權限 2.配置參數 /etc/profile（環境變量） export PATH=${JAVA_HOME}/bin:$PATH:${HADOOP_HOME}/bin:
2020-02-21 02:01:11
原创 配置Hadoop-2.4.0的HA+Federation+Yarn詳細記錄
本篇是配置HA和Federation，並非單獨配置其中一個，我參考了吳超老師及網上的資料，詳細的記錄了我搭建的全過程 吳超老師搭建：國內第一篇詳細講解hadoop2的automatic HA+Federation+Yarn配置的教程 下面
2020-02-21 02:01:10
原创 Spark從零開始學 三
瞭解下Spark的函數API 一 . 創建RDD 1.普通數組創建RDD val a = sc.parallelize(1to9,3) 這個含義是，生成 1 到 9 的9個數字，分成 3 個區來存儲 2.普通文本文件創建RDD val
2018-09-03 14:29:08
原创 大型網站架構之分佈式消息隊列
大型網站架構之分佈式消息隊列 以下是消息隊列以下的大綱，本文主要介紹消息隊列概述，消息隊列應用場景和消息中間件示例（電商，日誌系統）。 本次分享大綱 消息隊列概述消息隊列應用場景消息中間件示例JMS消息服務常用消息隊列參考（推薦）資
2018-09-03 14:29:08
2
原创 Hive分析窗口函數(五) GROUPING SETS,GROUPING__ID,CUBE,ROLLUP
GROUPING SETS,GROUPING__ID,CUBE,ROLLUP 這幾個分析函數通常用於OLAP中，不能累加，而且需要根據不同維度上鑽和下鑽的指標統計，比如，分小時、天、月的UV數。 Hive版本爲 apache-hive-0
2018-09-03 14:29:08
4
原创 Hive SQL 一些窗口函數，分析函數的使用小例子
1. row_number 假設有一批數據，如下 aaa 1 aaa 2 aaa 3 aaa 4 aaa 5 aaa 6 bbb 7 bbb 8 bbb 9 現在我
2018-09-03 14:29:08
原创 海量數據高併發的訪問技術解決方案
如今數據增長遠遠超過機器的計算性能， ORACL RAC能滿足百萬千萬的業務系統， 硬件成本太高， 垂直方向的發展不太現實，追求水平方向的發展， 使用普通商業服務器，多臺協調完成計算 如今，能解決海量數據高併發訪問，無外乎以下幾種
2018-09-03 14:29:08
原创 java.security.MessageDigest 信息加密
package com.conan.javase.encrypt; import java.security.MessageDigest; import java.security.NoSuchAlgorithmException; /*
2018-09-03 14:29:01
原创 Linux集羣時間同步
本文轉載：僅供參考，有linux基礎的一般看看就知道要修改些什麼了，不能完全照抄，你不一定機器能跟作者一樣 打算將11臺Linux集羣時間同步一下，操作系統都爲Ubuntu 11.04 x86 64位 選定其中一臺133.133.1
2018-09-03 14:29:01
1