原创 Sqoop的學習筆記(一)

簡介 Sqoop是一款開源工具,主要用於在Hadoop、Hive、HBase等與傳統數據庫之間進行數據傳遞的工具。 軟件安裝 在這裏,安裝sqoop的版本爲:sqoop1.4.7。這裏值得一提的是,按照目前的版本來說,sqoop自1.4.

原创 HBase API相關操作

HBase自2.1.0版本之後,API的使用和以前存在差異,關於日常API,這裏做簡單彙總,後期還會繼續加入。 聲明:作者在這裏使用的HBase版本爲2.1.2,對應的jar包是2.1.2版本,在這裏直接將HBase中lib文件下所有的j

原创 HBase相關API整理-Delete

前言    在前幾篇文章中,分別整理了關於HBase新API的操作Get,Put等,今天整理刪除表數據,delete操作。     整理的內容相對粗糙,如有錯誤,還望指點。 獲取連接     Configuration conf = H

原创 HBase相關API整理-Get

前言     之前曾經發表過博文,整理了Hbase2.1.0之後的相關API。這裏對獲取數據的方法進行詳細整理 創建連接 //獲取到當前設置 Configuration conf = HBaseConfiguration.create(

原创 HBase相關API整理-Put

前言     之前曾經發表過博文,整理了Hbase2.1.0之後的相關API。這裏在對某些操作進行詳細整理。   Jar包引入 import java.nio.ByteBuffer; import java.util.ArrayList

原创 SpringBoot集成Mybatis

開發工具 IDEA2019.1.1 JDK1.8 SpringBoot2.1.6 (此處省略軟件安裝步驟以及項目創建) 依賴jar包 <dependency> <groupId>org.mybatis.spring.boo

原创 Spark依賴關係與Stage劃分簡介

Spark會在用戶提交的計算邏輯中的RDD的轉換和動作來生成RDD之間的依賴關係,同時這個計算鏈也就生成了邏輯上的DAG(有向無環圖)。 RDD之間的關係可以從兩個維度來理解:一個是當前RDD是從哪些RDD轉換而來,也就是parent R