原创 DataX 阿里離線數據同步工具
DataX 阿里離線數據同步工具 下載地址: datax下載地址 官方指南:Quick Start 介紹 DataX 是阿里巴巴集團內被廣泛使用的離線數據同步工具/平臺, 實現包括 MySQL、SQL Server、Oracle、
2020-06-26 10:15:21
原创 用Vue整合Echarts做數據展示：整合ElementUI+router實現側邊導航欄
新增aside.vue組件 還是從ElementUI用戶指南中copy過來的，只做了一點修改，加了點樣式 <template> <div class="aside"> <el-menu default-active="
2020-06-26 10:15:20
原创 Win10 將某個軟件加入鼠標右鍵啓動
Win10 將某個軟件加入鼠標右鍵啓動 以VSCode爲例子 Windows Registry Editor Version 5.00 ;文件的鼠標右擊點擊事件 [HKEY_CLASSES_ROOT\*\shell\VSCode
2020-06-26 09:06:59
原创 Azkaban執行Sqoop任務
方式一： 將sqoop寫入Shell腳本 #!/bin/bash source /etc/profile sqoop import \ --connect jdbc:mysql://hadoop001:3306/sales_sou
2020-06-26 09:06:58
原创 CentOS6.8 安裝Hue 4.2.0
CentOS6.8 安裝Hue 4.2.0 我也不知道爲什麼我這麼坎坷。不知道還有誰會遇到我一樣的問題。 前提環境準備 環境： python2.6.6 如果是python2.7.5+你會發現你的問題會少很多。但是奈何我是2.6.
2020-06-26 09:06:58
2
原创 用Vue整合Echarts做數據展示：環境的準備
總的來說需要兩個東西： node.js VScode(可替代的有很多，Hbuilder、webstorm、sublime等都行) cnpm(可選，爲了快一點) 第一步 node.js安裝 下載地址 選擇自己需要的安裝就好，這裏
2020-06-26 09:06:58
原创 MapReduce一次Map讀n行數據
MR題目：如何一次Map讀n行數據 輸入數據 { "name":"ta", "age":12, "sex":1 } { "name":"la", "age":13, "sex":2 } { "name":"la", "age":1
2020-06-26 09:06:58
原创 log4j1.2.15 依賴 jmxri-1.2.1 jmxtools-1.2.1
log4j1.2.15依賴 jmxri-1.2.1 jmxtools-1.2.1 今天換成阿里的Maven鏡像後發現嘗試導Zookeeper的依賴出現了log4j依賴文件。缺少jmxri-1.2.1.jar jmxtools
2020-06-26 09:06:58
原创 HIve1.x升級到2.x且保留元數據
HIve1.x升級到2.x，且保留元數據 下載源碼包或者編譯過的二進制包都無所謂(源碼的就自己編譯一下)。 先備份原來的hive mv hive-1.2.1/ hive-1.2.1-back/ 解壓新版的hive到相
2020-06-26 09:06:58
原创 Git常用指令基礎
添加 git add . #將本地倉庫的所有文件放入緩存區 git add <file name> #將本地倉庫的某個文件放入緩存區 git add <file name> <file name> #將多個文件放入緩存區 中間空格
2020-06-26 09:06:58
原创 Scala 你猜我是怎麼理解閉包？
什麼是閉包 閉包 就是一個函數和與其相關的引用環境組成的一個整體 直白點說，閉包就是一個函數用了它作用域之外的變量( 單純理解的話理解到這裏就夠了，至於到底怎麼做到用作用域之外的變量，就是語法的問題了 )，就像下面的例子 //閉包
2020-06-26 09:06:57
1
原创 sqoop從mysql導入數據到hive
sqoop從mysql導入數據到hive 環境： hadoop 2.7.2 hive 2.3.6 sqoop 1.4.7 安裝Sqoop sqoop-1.4.7下載地址 下載下來解壓後配置 cd $SQOOP_HOME/co
2020-06-26 09:06:57
1
原创 Hive2.3.6更換TEZ引擎
Hive2.3.6更換TEZ引擎 前提環境 1. hadoop 我的是2.7.1 2. hive 我的是2.3.6 Tez環境準備 下載Tez的安裝包解壓 下載路徑 環境準備 進去tez安裝目錄下 [roo
2020-06-26 09:06:57
原创 拉鍊表和流水錶
拉鍊表和流水錶都是爲了記錄數據的歷史信息。 只是數據粒度的不同。 流水錶精確到每天的每一條變化都記錄其歷史。而拉鍊表的粒度可控，一般選擇每天爲粒度，即每天的最終變化才記錄。 所以理解了拉鍊表，自然就知道流水錶了。 下面通過一個例子
2020-06-26 09:06:57
原创 Azkaban 運行DataX
.project azkaban-flow-version: 2.0 .flow nodes: - name: job_mysql_to_hive type: command config:
2020-06-26 09:06:57