原创 StreamSets實戰之路（七）-基礎篇- StreamSets-Processor類組件使用
主要介紹StreamSets-Processor類組件有哪些、分類、主要用途以及使用方法。 Processor類組件主要包含以下： Base64 Field Decoder // base64 解碼組件 Base64 Field En
2020-05-20 07:18:18
原创 StreamSets實戰之路（六）-基礎篇- StreamSets-origin類組件使用
主要介紹StreamSets-origin類組件有哪些、分類、主要用途以及使用方法。 Origin類組件主要包含以下： Amazon S3 Amazon SQS Consumer Azure Data Lake Storage Gen
2020-05-20 07:18:18
7
原创 StreamSets實戰之路（五）-基礎篇- StreamSets開啓第一個數據流
主要介紹第一個工作流的創建、預覽、啓動過程，這條數據流將本地文件中的數據進行處理，最終將處理過的數據存放到本地磁盤上(streamsets 運行在CentOS7上)。 1 數據準備階段 在本地磁盤的/tmp目錄下新建一個input
2020-05-11 07:26:06
原创 StreamSets實戰之路（四）-環境篇- StreamSet工作平臺介紹
主要介紹StreamSets DC 工作平臺各個模塊。 （1）首次進入工作平臺（默認用戶名密碼：admin/admin）： 這時我們點擊‘CREATE NEW PIPELINE’按鈕新建一個數據流： 會看進去數據
2020-04-30 01:29:25
原创 StreamSets實戰之路（三）-環境篇- StreamSet源碼查看與編譯
主要介紹StreamSets DC和StreamSets DC Edge怎麼看源碼和從源碼編譯生成安裝包。 1.StreamSets DC源碼查看與編譯 StreamSets DC源碼clone目前只能在linux和Mac操作系統上進
2020-04-30 01:29:25
3
原创 oozie調度總結（一）
重點介紹oozie調度中 MapReduce 、Spark、Hive workflow的構建以及構建過程中遇到的問題 1 MapReduce Action oozie調度mapreduce任務，其實是針對mapred
2020-04-28 20:24:37
原创 oozie調度總結（二）
重點介紹Pig、Hive使用Tez模式在Oozie上的調度 1.具體介紹 http://dongxicheng.org/mapreduce-nextgen/apache-tez-optimizations/ http://dongxi
2020-04-28 20:24:37
原创 StreamSets實戰之路（二）-環境篇- StreamSets安裝與配置
主要介紹StreamSets DC和StreamSets DC Edge的安裝以及環境配置。 1.StreamSets DC安裝與配置 StreamSets官方網站提供了多種安裝方式，包括：手動解壓Tarball包安裝、通過RPM軟件
2020-04-26 10:44:12
原创 StreamSets實戰之路（一）-環境篇- StreamSets簡介
StreamSets總體介紹 StreamSets是國外一家致力於數據處理與分析的大數據解決方案的公司。公司主要選擇DataOps發展路線，解決將數據轉化爲業務價值的重大挑戰。至於爲什麼選擇DataOps這條路子，有興趣的同學可以查看ht
2020-04-26 10:44:12
原创 DT大數據課程第一階段第8講高薪筆記和作業@王家林_DT大數據夢工廠
第一步：修改依賴的Scala版本爲Scala 2.10.x 第二步：加入Spark 1.6.0的jar文件依賴 第三步：找到依賴的Spark Jar文件並導入到Eclipse中的Jar依賴 第四步：在src下建立Spark工程包 第五步：
2018-08-27 05:01:53
原创 jqgrid前臺數據顯示問題原因和解決方案
這個問題很是坑的，找了很多網上的辦法都不行，也是鬱悶了一天，都沒和女朋友說上話，唉，解決這個問題的你一定要記住以下幾點： 1.傳回前臺的數據一定是JSon類型的數據，而不是後臺json數據轉化後的字符串 2.傳回前臺的json數據的格式一
2018-08-27 05:01:53
1
原创 Intellij IDEA搭建Spark源碼閱讀環境
環境：win7 JDK1.7 Maven3.3 1.下載安裝Scala環境，按默認設置即可，配置環境變量，在命令行下輸入Scala，會出現交互界面。 2.下載安裝git，配置環境變量，在命令行下輸入git，會出現參數選項。注意：
2018-08-27 05:01:50
原创 hadoop-2.5.2 安裝與配置
1 系統環境說明 CentOS-6.5-x86_64-minimal 192.168.137.101 master 192.168.137.102 slave1 192.168.137.103
2018-08-27 05:01:50
1
原创 java 反射異常和 找不action的解決方案
1 java反射異常，主要是你後臺那個action那個類中，存在多個get...的函數，strust2進行反射的時候是對每個get..的函數進行序列化，若是存在多個get..的函數，就會出現java反射異常，解決方案：若是存在多個get.
2018-08-27 05:01:50
原创 單例模式
當第一次調用GetInstance時，instance 爲NULL，所以會執行 instance = new Singleton(); 把這個新建的實例保存到靜態成員instance，並返回這個指針。 第二次到第N次調用GetInsta
2018-08-27 05:01:50
3