原创 Linux下原生hadoop集羣的搭建
備註：本篇僅供參考，很長時間沒有安裝過原生的hadoop，2.x版本安裝很簡單，換到3.x版本出了些小問題，但是區別不大，注意下就行 環境： CentOS6.6 JDK:8u141 Zookeeper：3.4.6 Hadoop：3.1.1
2018-09-03 12:17:45
原创 Scala的可變集合和不可變集合
Scala 的集合有三大類：序列 Seq、集 Set、映射 Map，所有的集合都擴展自 Iterable 特質 在 Scala 中集合有可變（mutable）和不可變（immutable）兩種類型，immutable 類型的集合
2018-09-03 12:17:45
原创 Linux下Spark的安裝和配置
一.安裝JDK（略） 二.安裝Scala（l略） 三.安裝Spark 1.上傳安裝包到集羣節點 2.解壓安裝包 3.修改配置文件 a.spark-env.sh vi spark-env.sh b.slaves vi sl
2018-09-03 12:17:45
2
原创 ElasticSearch(三） 多種查詢、搜索方式
1、query string search 2、query DSL 3、query filter 4、full-text search 5、phrase search 6、highlight search 第一種：string查詢（不適
2018-09-03 12:17:45
原创 hive
一、建庫語句 --建庫 create database db_test; 二、建表語句 --建表語句和普通sql略有不同 create table db_tabel(id int,name string...) row format
2018-09-03 12:17:45
原创 Linux下JAVA_HOME的配置
環境： CentOS6.6 jdk1.8.0_141 export JAVA_HOME=/usr/local/apps/jdk1.8.0_141 export JRE_HOME=${JAVA_HOME}/jre export
2018-09-03 12:17:45
原创 ElasticSearch（五） 核心元數據介紹
1、_index元數據 2、_type元數據 3、_id元數據 ============================================================================ 1、_index元數
2018-09-03 12:17:44
原创 sqoop導入table報錯
3.將關係型數據的表結構複製到hive中,只是複製表的結構，表中的內容沒有複製過去。 sqoop create-hive-table --connect jdbc:mysql://node06:3306/gygh --table fa
2018-09-03 12:17:44
原创 hive刪除表報錯：hive.metastore.api.MetaException javax.jdo.JDODataStoreException OPTION SQL_SELECT_LIMIT=
最近在做kylin相關操作時發現不能往hive裏面crud，剛開始的時候以爲是數據庫有問題，各種修改數據庫字符集，各種試都不行，hive -hiveconf hive.root.logger=DEBUG,console 看了下日誌： ER
2018-09-03 12:17:44
原创 Ambari集羣的搭建過程
版本;Linux: CentOS6.6臨時節點規劃： 一、五臺虛擬機的搭建參考：https://blog.csdn.net/qq_36269293/article/details/79854531主要是第一臺linux的搭建，克隆之後
2018-09-03 12:17:44
原创 hbase region server頻繁掛掉
異常如下: java.lang.RuntimeException: HRegionServer Aborted at org.apache.hadoop.hbase.regionserver.HRegionServerCo
2018-09-03 12:17:44
原创 Kylin 在webUI加載hive表時報錯:Fail to take action
這裏引用別人的一張圖片說明:這個問題應該是因爲kylin在啓動時沒能加載到metadata的原因,解決辦法:在kylin/conf/kylin.properties下找到如下配置:## The metadata store in hbas
2018-09-03 12:17:44
原创 ElasticSearch(四) group avg sort（fielddata erro)
1.group操作 格式： GET /index/type/_search { "size": 0, --是否展示聚合過程 "aggs": { "自定義聚合名稱": { "terms": {
2018-09-03 12:17:44
原创 ElasticSearch(二） api的介紹和使用
一、簡單的api使用和集羣管理命令 （1）快速檢查集羣的健康狀況 es提供了一套api，叫做cat api，可以查看es中各種各樣的數據 查看集羣的狀態： GET _cluster/health GET /_cat/health?v
2018-09-03 12:17:44
原创 Linux環境下ElasticSearch單節點以及集羣的安裝
環境： Linux：CentOS6.6 JDK: 1.8.0_141 ElasticSearch: elasticsearch-6.2.4.tar.gz 在安裝es之前需要提前配置好JAVA_HOME ---------------
2018-09-03 12:17:44