原创 第三方jar包引入項目工程方法
方法一： 再idea中直接用maven引入 命令如下： mvn install:install-file -Dfile=G:\code\bd\branches\bigdata-project-zuoke\app-logs-spark\s
2020-03-12 06:38:43
原创 數據預處理與特徵工程
數據預處理與特徵工程 缺失值處理 缺失值處理通常有如下的方法： 對於unknown值數量較少的變量，包括job和marital，刪除這些變量是缺失值(unknown)的行； 如果預計該變量對於學習模型效果影響不大，可以對unknow
2019-10-26 10:54:35
原创 log4j發送日誌給flume，並通過過濾器，將日誌存入hdfs中，通過日期分區存放
一、log4j配置文件修改需要在發送端引入依賴包 <dependency> <groupId>org.apache.flume.flume-ng-clients</groupId> <artifactId>flume-n
2019-06-10 17:37:56
原创 在linux安裝nodejs，配置好環境變量後，node -v出錯： bash: /usr/local/node/bin/node: /lib/ld-linux.so.2: bad ELF inte
在linux安裝nodejs，配置好環境變量後，node -v出錯： bash: /usr/local/node/bin/node: /lib/ld-linux.so.2: bad ELF interpreter: 沒有那個文件或目錄 按
2019-02-28 15:54:32