原创 Linux安裝mysql
環境說明： 1、虛擬機爲VM10 2、Linux系統爲centos6.5 2、MySQL爲MySQL-Linux-5.6 軟件包地址 Linux：鏈接：https://pan.baidu.com/s/1c2jinQC 密碼：qv
2020-02-23 06:43:21
原创 Linux常用命令
Linux常用命令 tab 單擊一下自動補全 單擊兩下提示所有可能 clear 清屏 查看命令幫助 man eg：man ls –help eg：ls –help 環境變量 全局 路徑：/etc/profile
2020-02-23 06:43:21
原创 ORA-12560錯誤
ORA-12560錯誤 今天安裝好oracle服務端之後， 在cmd命令窗口使用sqlplus / as sysdba 可以成功的登錄oracle。 但在安裝oracle客戶端之後，一直報錯ora-12560錯誤，網上找了好久都沒解決。
2020-02-23 06:43:21
原创 Oralce字段排列組合計數
Oralce字段排列組合計數 表結構 create table app_impact_rule( c_app_id varchar2(64), ext_id varchar2(64),
2020-02-23 06:43:21
原创 hadoop-2.8.1僞分佈式安裝
環境說明： 1、Linux系統爲centos6.5 2、Hadoop爲hadoop-2.8.1.tar.gz 3、JDK爲jdk-8u45-linux-x64.gz 軟件包地址 Linux：鏈接：https://pan.baid
2020-02-23 06:43:21
原创 Kettle7.1 學習筆記
Kettle7.1學習心得 該博客主要記錄作者在學習過程中遇到的問題及解決。 1、數據庫連接失敗。 原因：沒有下載對應數據庫驅動包放入lib文件夾下面。 解決：驅動包應放入 ....\data-integration\lib 文件夾
2020-02-23 06:43:21
原创 rundeck調度工具部署安裝
常見的調度工具有： ①azkaban:https://www.cnblogs.com/smartloli/p/5191155.html ②xxl_job:https://www.cnblogs.com/xuxueli/p/5021
2020-02-23 06:43:21
原创 Linux編譯hadoop-2.8.1-src.tar.gz
環境說明： 1、虛擬機爲VM10 2、Linux系統爲centos6.5 3、Hadoop爲hadoop-2.8.1-src.tar.gz 4、JDK爲jdk-8u45-linux-x64.gz 5、Maven爲apache-ma
2020-02-23 06:43:21
原创 java中的關鍵字
java中的關鍵詞 Java 語言中有一些具有特殊用途的詞被稱爲關鍵字。關鍵字對 Java 的編譯器有着特殊的意義，在程序中應用時一定要慎重哦！！ Java 中常用關鍵字： char, class , continu
2019-08-10 03:01:35
原创 windows中IDEA使用Spark2.2.0連接hive1.1.0報錯： java.lang.RuntimeException: java.lang.NullPointerException;
報錯信息如下： java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries. java.lang.Ill
2019-04-29 13:43:49
19
原创 Hive中beeline連接報錯 Required field 'client_protocol' is unset! Struct:TOpenSessionReq
報錯信息如下： Required field ‘client_protocol’ is unset! Struct:TOpenSessionReq(client_protocol:null, configuration:{use:da
2019-04-27 10:59:44
61
原创 Spark history-server使用
spark-defaults.conf 修改 vi spark-defaults.conf #開關開啓 spark.eventLog.enabled true #日誌記錄的目錄(需要提前創建目錄) spark.eventLo
2018-12-01 00:02:04
原创 Hive中map-join 和 reduce-join
配置 hive.auto.convert.join 0.11版本之後默認是true。 hive.mapjoin.smalltable.filesize/hive.smalltable.filesize map join通常用於一個很
2018-12-01 00:02:03
原创 Hive 壓縮
壓縮優點 省空間 網絡傳輸快 降低IO 壓縮缺點 CPU負載增加 如果不支持分割，並行度低 常用壓縮 名稱 code 壓縮 壓縮時間 解壓時間 是否支持分割 Snappy org.apache.hadoop.io
2018-11-21 04:32:22