原创 DataX環境部署以及測試案例
DATAX簡介（簡介來自官網加以改編） DataX DataX 是阿里巴巴集團內被廣泛使用的離線數據同步工具/平臺，實現包括 MySQL、SQL Server、Oracle、PostgreSQL、HDFS、Hive、HBase、OT
2019-03-11 20:54:57
2
原创 linux 內存使用情況以及釋放
查看 free -h Mem 行（第一行）數據說明： Total：1035108KB。表示物理內存總大小。 Used：1008984KB。表示總計分配給緩存（包含buffers 與cache
2019-03-11 20:54:57
原创 linux下tar.gz、tar、bz2、zip等解壓縮、壓縮命令小結
本文介紹了linux下的壓縮程式tar、gzip、gunzip、bzip2、bunzip2、compress 、uncompress、 zip、 unzip、rar、unrar等程式，以及如何使用它們對.tar、.gz 、.tar.g
2019-03-10 03:24:10
原创 Kafka部署
搭建環境 Zookeeper-3.4.6 Scala-2.11 Kafka_2.11-0.10.0.1. JDK-1.8 下載地址: Zookeeper: http://mirror.bit.edu.cn/apache/zookee
2019-03-07 21:58:40
原创 Python三部曲
簡介： anaconda3下載地址 官網：https://www.anaconda.com/download/ 百度雲鏈接：https://pan.baidu.com/s/17jHeU909P1pmITCkZg3tcQ 密碼：javt
2019-03-07 21:58:40
原创 獲取下一天日期
起因 今天刷博客，突然看到‘剛寫完代碼，就被開除了’我就好奇點進去看了一下發現如下內容。 別人評論 這段代碼本意是想要獲取下一天的日期的。結果這位程序員老哥寫了個sleep函數，SLEEP的作用是延時，程序暫停若干時間，在執行時要拋
2019-03-03 13:50:48
原创 存儲過程與自定義函數的區別
存儲過程與自定義函數的區別： 1、存儲過程實現的功能相對複雜，函數針對性較強 2、存儲過程可以返回多個值，函數只能有一個返回值 3、存儲過程一般獨立執行，函數可以作爲 sql 語句的組成部分來出現 另外，存儲過程也比通過API接
2019-02-27 21:46:11
原创 IDEA運行scala程序：Error:scalac: bad option: '-make:transitive'
問題描述 IDEA運行scala程序報錯：Error:scalac: bad option: '-make:transitive' 詳細截圖 解決方案： 1）找到你該項目的所在目錄，進入這個項目根目錄下； 2）進入.idea,並打開S
2019-02-27 21:46:11
1
原创 11-SparkSQL整體背景
基本概述 1、Spark 1.0版本以後，Spark官方推出了Spark SQL。其實最早使用的，都是Hadoop自己的Hive查詢引擎；比如MR2，我們底層都是運行的MR2模型，底層都是基於Hive的查詢引擎。 2、後來Spark提
2019-02-23 21:46:11
原创 10-SparkSQL讀取mysql數據源並將結果寫回mysql
一、創建測試表t_user2、user_t和t_result 1、t_user2表結構如下： CREATE TABLE `t_user2` ( `id` int(11) DEFAULT NULL COMMENT 'id', `
2019-02-23 21:45:20
原创 08-SparkSql架構
1、sql語句的模塊解析 當我們寫一個查詢語句時，一般包含三個部分，select部分，from數據源部分，where限制條件部分，這三部分的內容在sql中有專門的名稱： 當我們寫sql時，如上圖所示，在進行邏輯解析時會把sql分成三
2019-02-20 03:04:06
原创 log4j.properties
依賴 <dependency> <groupId>org.slf4j</groupId> <artifactId>slf4j-log4j12</artifactId> <version>1.7.10</versi
2019-02-20 03:04:06
原创 09-SparkSql實戰
1、sparkSQL層級 當我們想用sparkSQL來解決我們的需求時，其實說簡單也簡單，就經歷了三步：讀入數據 -> 對數據進行處理 -> 寫入最後結果，那麼這三個步驟用的主要類其實就三個：讀入數據和寫入最後結果用到兩個類Hive
2019-02-20 03:04:06
原创 Spark2.3 - 運行異常NoSuchMethodError：io.netty.buffer.PooledByteBufAllocator.metric()
一、問題說明 在一個項目中同時引入了多個框架 hbase 1.4.1 kafka 1.1.0 spark 2.3.0 在以local模型運行spark示例程序的時候，出現如下報錯： Exception in thread "main
2019-02-20 03:04:06
42
原创 在linux命令下導出導入.sql文件的方法
本文講述了在linux命令下導出導入.sql文件的方法。分享給大家供大家參考，具體如下： 一、導出數據庫用mysqldump命令（注意mysql的安裝路徑，即此命令的路徑）： 1、導出數據和表結構： mysqldump -u用戶名 -
2019-02-19 06:51:26