原创 大數據-hive報錯記錄
1.hive 與es 數據交互報錯 Diagnostic Messages for this Task: Error: java.lang.RuntimeException: java.lang.NoClassDefFoundError
2020-06-21 16:36:09
1
原创 hive 同步數據到ES
目錄 1.相關jar包 2.添加jar包到hive中 2.1 放置jar到hadoop 2.2 創建hive表 3. 插入數據到hive表 4.查看ES中索引 1.相關jar包 elasticsearch-hadoop-5.5
2020-06-21 16:35:59
原创 hive 訪問hbase 表
1.背景 大部分同學可能不會用hbase ，或者用hbase 不習慣，但是對sql 卻很熟悉，比如要統計表的記錄數，用sql 可能知道怎麼寫，用hbase 可能不知道，或者知道但是很慢，性能有問題等，這時我們可以通過hive 建立與hba
2020-02-23 21:20:23
原创 flume 簡介和安裝
1.flume 簡介 Flume是一種分佈式，可靠且可用的服務，用於有效地收集，聚合和移動大量日誌數據。它具有基於流數據流的簡單靈活的架構。它具有可靠的可靠性機制和許多故障轉移和恢復機制，具有強大的容錯性。它使用簡單的可擴展數據模
2019-08-06 04:04:46
1
原创 hadoop mapreduce 編寫問題集
1.MapReduce沒有日誌信息 eclipse 運行MP後沒有看到詳細的日誌信息，只有警告信息，沒有跟linux系統一樣的的，出現大量過程，資源信息日誌。 解決： i:在項目下新建目錄/sr
2018-12-23 18:22:40
34
原创 java 學習筆記---序列化
1.序列化 2.代碼實操 Student 類： package com.bond; import java.io.Serializable; public class Student implements Serializ
2018-12-07 18:23:54
原创 Java 學習筆記---封裝，繼承，多態
1.封裝 代碼： java 除了setter/getter 方法外，還有其他的訪問 2.繼承 3.多態 總結： 舉例：
2018-12-01 00:00:07
原创 Java 學習筆記---基本數據類型
1.Java 數據類型 基本數據類型代碼： float 類型數據value 後面加字母f, char 類型數據value 後面需要加單引號； package com.bond; public class Demo {
2018-11-28 13:06:41
原创 Java學習錯誤集
1.包名不規範問題 報錯信息： Exception in thread "main" java.lang.SecurityException: Prohibited package name: java.base a
2018-11-28 13:06:41
原创 Java學習筆記---變量
1.變量 各方法中可定義相同名稱的局部變量； 局部變量可與成員變量名稱相同，取值規則就近原則； 舉例： package com.bond; public class Person { //成員變量 String nam
2018-11-28 13:06:41
原创 sqoop import 報錯Communications link failure
1.問題描述 sqoop list-tables 工具正常，但是import 工具有問題。奇怪！！！！ [hadoop@master ~]$ sqoop import --username test --password
2018-11-14 03:30:14
原创 利用ali OTTER 實時同步業務數據到數據倉庫
1.背景 公司要求是某些業務報表達到實時標準，數據量最多的表大概400W+,報表邏輯複雜，計算一年24W數據，整個程個流程下來差不多一個小時，主要時間耗在全量數據同步跟計算上。年後大概實時需求會更多，數據量會更大，各分部數據到會到
2018-09-05 04:07:18
1
原创 Kettle 使用問題集
1. spoon 界面亂碼 修改文件/home/kettle/data-integration/spoon.sh 中JVM參數仍然沒有用： # ***************************************
2018-09-05 04:07:18
2
原创 Mysql--innoDB locking
1.共享鎖和排他鎖 innodb 實現了標準的行鎖：共享鎖 和排他鎖 共享鎖(S)：允許持有共享鎖的事物讀取該行 排它鎖(X)：允許持有改鎖的事務刪除或者更新行 當一個事務T1持有Table1上r行的S 鎖時，其他事務想持有該
2018-09-05 04:07:18
2
原创 kibana5.6 安裝配置
1.簡介 Kibana是一個開源的分析與可視化平臺，設計出來用於和Elasticsearch一起使用的。你可以用kibana搜索、查看、交互存放在Elasticsearch索引裏的數據，使用各種不同的圖表、表格、地圖等kiba
2018-09-05 04:07:17