大數據最火的平臺------> streamsets

一 、環境搭建

1.環境準備 

  maven 3.23+  ------> 下載地址 http://maven.apache.org/download.cgi

  jdk 1.8.x   ------> 下載地址  http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

  Node   ------> 下載地址 https://nodejs.org/en/download/

  Git  ------> 下載地址  https://git-for-windows.github.io/

  streamsets代碼  

   下載地址  https://streamsets.com/   或者 https://github.com/streamsets/datacollector

注意：datacollector 和 datacollector Api 都要下載

2.安裝軟件（以上環境安裝完成後）

  進入Node中

  1. install npm 

  2. npm -g install bower 

  3. npm -g install grunt-cli

  

3.打包操作

  mvn clean install -DskipTests

 

  mvn package -Pdist,ui -DskipTests

二 、部署streamsets

1.將打好的包（dist/target目錄下）壓縮成.zip，並上傳到虛擬機中，datacollector\dist\target\streamsets-datacollector-2.0.0.0

2.在虛擬機上解壓streamsets

     unzip streamsets.zip

3.進入到streamsets根目錄下，啓動項目

    bin/streamsets dc 

注意：

  異常1：

    ../bin/streamsets :權限不夠

  解決辦法

   chmod +x bin/streamsets

 異常2：

    ../libexec/_sdc :權限不夠

  解決辦法

   chmod +x ../libexec/_sdc