原创 sql語句的優化（mysql）
在做數據的過程中，我們會遇到很多很多寫sql的情況，當數據量級很大的情況下，怎樣提高sql的執行效率，怎樣優化已經寫好的sql。當你做的時間久了你自然會知道，但是剛開始的時候，可能瞭解一些技巧，更容易得心應手。這裏只從sql的執行順序來考
2019-03-15 18:05:18
原创 sqoop將SQLServer數據導入Hive表中
這裏我使用的的CDH5.15.0對應的sqoop版本1.4.6 java使用的是jdk1.8 正常的安裝配置完sqoop之後，並不能通過sqoop將SQLServer數據導入到Hive或HDFS中，還需要三個jar包。 java-json
2018-11-21 09:16:54
原创 Failed with exception java.io.IOException:java.io.IOException: Malformed ORC file 。。。。。。
當用hive查詢數據時報Failed with exception java.io.IOException:java.io.IOException: Malformed ORC file 。。。。。。 哪怕是簡單的查兩條數據 這是表的存儲
2018-11-21 09:16:54
原创 MySql錯誤代碼大全
B.1. 服務器錯誤代碼和消息 服務器錯誤信息來自下述源文件： · 錯誤消息信息列在share/errmsg.txt文件中。“%d”和“%s”分別代表編號和字符串，顯示時，它們將被消息值取代。 · 錯誤值列
2018-10-12 22:39:23
原创 Kettle環境搭建及使用（數據遷移）
Kettle的功能非常強大，是一款免費開源的ETL工具。這裏主要講將Excel文件數據導入到數據庫中。 Kettle下載 下載地址：https://community.hitachivantara.com/docs/DOC-1009855
2018-10-12 22:39:23
原创 圖文：HBase工作原理詳解
HBase架構組件 從物理結構上講，HBase由三種類型的服務器構成主從式架構。Region Servers爲數據的讀取和寫入提供服務。當訪問數據時，客戶端直接和Region Servers通信。Region的分配，DDL (crea
2018-08-28 07:46:45
原创 數據倉庫建設中的數據建模方法
https://www.ibm.com/developerworks/cn/data/library/techarticles/dm-0803zhousb/
2018-08-28 07:46:45
原创 Scala學習（6）——集合之高階函數
//可以使用Range，to，until創建list集合 val list: List[Int] = Range(1,10).toList println(list.mkString("\t")) /**
2018-08-28 07:46:45
原创 Scala學習（4）——集合之Array
//--------------------不可變數組：Array---------------- //將指定的值創建爲數組 val arr: Array[Int] = Array(1,2,3,4,5,6,7)
2018-08-28 07:46:45
原创 Scala中“_”代表什麼
1、作爲“通配符”，類似Java中的*。如import scala.math._2、:_*作爲一個整體，告訴編譯器你希望將某個參數當作參數序列處理！例如val s = sum(1 to 5:_*)就是將1 to 5當作參數序列處理。3、指
2018-08-28 07:46:45
原创 代碼：MapReduce程序模板
MapReduce： public class MRDriver extends Configured implements Tool { @Override public int run(String[] args)
2018-08-28 07:46:45
原创 位運算符(&，|，>>……)及二進制下負數的表示
int型是4字節32位（Java中） 位運算符 ： &，|，~，^，<<，>>，>>> "&" 按位與，計算時將 十進制 轉爲 二進制 再進行計算，同位置爲1，則結果爲1，其餘情況皆爲03： 00000000 00
2018-08-28 07:46:45
原创 MVC、MVP、MVVM的區別
MVC、MVP、MVVM這些模式是爲了解決開發過程中的實際問題而提出來的，目前作爲主流的幾種架構模式而被廣泛使用。一、MVC（Model-View-Controller）MVC是比較直觀的架構模式，用戶操作->View（負責接收用戶的輸入
2018-08-28 07:46:45
原创 shuffle的工作原理
shuffle實現的功能 分區 決定當前key交給那個reducer進行處理 相同的key必須在一個reduce task中 默認：按照key的hashCode值對reduce的個數進行取餘 如果是自定義分區，默認
2018-08-28 07:46:45