原创 springboot2整合activity流程設計器

1、整合activity設計器參考了https://blog.csdn.net/qq_33263527/article/details/89312672這篇博文 2.由於我的activity是5.17版本和參考博文不同，沒有通過@Enab

2020-02-23 05:14:19

原创 從FTP服務器下載文件

pom引入 <!--fastDFS組件--> <dependency> <groupId>commons-net</groupId> <artifactId>commons-net</artifactId> <

2020-02-23 05:14:19

原创 linux安裝nginx並配置tomcat負載均衡案例

1.本地在虛擬機中安裝192.168.254.100以及192.168.254.110上安裝兩臺tomcat8.5，修改兩臺tomcat的server.xml配置，添加使sessionid保持一致的配置如下： <Cluster clas

2019-06-14 23:56:43

原创 Spark整合Hive報錯：Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient

報錯截圖： 整合Hive過程： hive版本：hive-1.1.0-cdh5.14.0                 spark版本：spark-2.0.2-bin-hadoop2.7 將hive的conf目錄下的hive-site.

2018-12-16 14:48:14

原创 flume集成kafka完整案例

flume集成kafka官網案例：http://flume.apache.org/FlumeUserGuide.html#kafka-sink 一：flume集成kafka配置文件 a1.sources = r1 a1.channel

2018-11-28 16:01:19

原创 java.lang.NoClassDefFoundError: org/apache/storm/topology/IRichSpout

運行storm就報一個錯：java.lang.NoClassDefFoundError: org/apache/storm/topology/IRichSpout 找不到Spout，明明是引入了storm-core的pom信息 仔細檢查

2018-11-28 16:01:19

原创 java代碼執行shell命令

java代碼執行shell命令，需要通過google出品的工具類ssxcute.jar，下載地址： https://download.csdn.net/download/qq_15076569/10797217 java代碼操作shell

2018-11-22 00:15:36

原创 azkaban執行各種job任務

一：Azkaban執行各種job任務 所有的job文件打成zip的壓縮包，注意：不能是rar壓縮 所有job文件可以通過Noteped++編輯該文件，注意設置Job文件的格式編碼 1）azkaban的job操作普通linux語句 ty

2018-11-21 00:18:42

原创 sqoop連接mysql提示Your password has expired

使用sqoop連接mysql5.7出現錯誤： Your password has expired. To log in you must change it using a client that supports expired pas

2018-11-21 00:18:31

原创 Hadoop安裝之standAlone單機

hadoop安裝1.x和2.x有三種安裝架構，本文將介紹第一種安裝模式standAlone 一：standAlone(單機) standAlone安裝將所有服務都安裝在一臺機器上，如下： 運行服務 服務器IP NameNode

2018-11-20 00:17:05

原创 MapReduce緩存方式實現LEFT JOIN

1.通過緩存實現map端的left join 緩存文件pdts.txt內容： orders.txt文件內容 1.1）在驅動程序中增加指定文件緩存： import org.apache.hadoop.conf.Configurati

2018-11-20 00:17:05

原创 YARN的調度器

一：yarn的組成 yarn主要就是爲了調度資源，管理任務等。 ResourceManager：yarn上主節點，接收客戶端提交的任務，對資源進行分配 NodeManager：yarn上從節點，主要進行任務計算 ApplicationMa

2018-11-20 00:17:05

原创 MapReduce實現分組求TopN

本文以訂單案例爲例，演示如何進行分組，以及求取每組的前兩條數據。 一：案例需求 有如下訂單數據 訂單id 商品id 成交金額 Order_0000001 Pdt_01 222.8 Order_0000001

2018-11-20 00:17:05

原创 MapReduce的規約

一：什麼是規約 map階段讀取文件，生成k2,v2，通過combiner規約可以在map階段將k2進行合併，v2生成集合，從而減小了生成的文件大小，減少了reduct讀取map階段的文件時的網絡傳輸。也就是說本該在reduct階段進行相同

2018-11-20 00:17:05

原创 MapReduce的分區

一：分區Partitioner 在MapReduce中，通過指定分區，mapTask會將同一個分區的數據發送到同一個reduce當中進行處理。也就是把相同類型的數據，發送到同一個reductTask去處理。 注意：分區需要在yarn集羣上

2018-11-20 00:17:05