原创 MyBatis系列之--Java 項目（非SpringBoot）集成MyBatis
MyBatis系列之--Java 項目（非SpringBoot）集成MyBatis對MyBatis簡單介紹核心接口SqlSessionFactory實戰1. Maven創建Java項目2. 添加依賴3. 配置JDBC屬性4. 配置
2020-06-26 16:43:19
原创 MapReduce二次排序中遇到的問題，及解決方法
遇到的問題 -mapreduce_shuffle does not exist -EOF Exception 解決方法 mapreduce_shuffle does not exist Container launch fail
2020-06-16 02:35:44
原创 客戶端讀取HDFS中的數據
以下內容摘自《Hadoop權威指南》，版權歸原作者所有。 流程圖 流程說明 1、客戶端通過調用 FileSyste 對象的 open() 方法來打開希望讀取的文件，對於HDFS 來說，這個對象是分佈式文件系統的一個實例(步
2020-06-16 02:35:44
原创 Ubuntu 18.04設置開機啓動腳本
工作或生活當中，常常存在這樣的需求：將常用的工具、服務做成開機啓動項，省去開機後手動觸發啓動的麻煩。今天在這裏記錄下Ubuntu 18.04上如何設置開機啓動。 一、首先編寫一個可執行的啓動腳本 /root/.runCommand
2020-06-16 02:35:44
1
原创 hive -hiveconf 參數帶空格被截斷的解決方法
與shell傳參一樣，當參數值裏面有空格時，需要用雙引號括起來，不然的話，會被當作兩個參數截斷。 問題描述： Hive的腳本中需要給變量賦值，最常見的就是日期+時間 select a,b,c from table where
2020-05-18 20:00:52
1
原创 Datax從Hive中導出數據寫入到MySQL
Datax從Hive中導出數據寫入到MySQL讀取Hive數據時，Datax內部支持的數據類型髒數據錯誤類型的解決方法 讀取Hive數據時，Datax內部支持的數據類型 Hive1.2.x 版本支持的數據類型已經很豐富了，但是Da
2020-05-09 23:29:57
原创 HDFS文件在線編輯的實現思路
今天思考到一個問題，HDFS文件怎麼實現的在線編輯？ hdfs 有個 -put 命令，允許攜帶一些參數完成特殊的需求： 上傳文件 hdfs dfs -put 在文件中追加 hdfs dfs -appendToFile 強
2020-04-30 12:42:55
原创 CentOS 6.5 安裝Python-pip
因爲 python-pip 依賴 pthon-setuptool 所以需要先安裝 python-setuptool 網上各種方式都不好使。這裏介紹另外一種方式：直接下載這兩個rpm 進行安裝 wget https://rpmfin
2020-04-26 01:53:34