原创 Flume常見錯誤整理（持續更新ing...）
1.下面這個問題挺坑的 (SinkRunner-PollingRunner-DefaultSinkProcessor) [ERROR - kafka.utils.Logging$class.error(Logging.scala
2020-02-21 00:26:29
原创 基於HDP使用Flume採集MySQL中數據傳到Kafka
注意：HDP中Kafka broker的端口是6667，不是9092 1.將flume-ng-sql-source-1.5.2.jar，mysql-connector-java.jar放入Flume安裝目錄lib下 下載地址：F
2019-10-25 16:07:03
原创 “聯創黔線”杯大數據應用創新大賽
文章目錄賽題介紹代碼1 特徵工程1.1 正樣本1.2 負樣本2 建模3 預測3.1 測試集4 提交結果0 查看數據0.1 訓練數據0.1.1 正樣本0.1.2 負樣本0.1.3 天氣數據0.2 測試數據0.2.1 測試集0.2.2
2019-08-01 16:01:03
原创 Centos6.5 Oracle11g 靜默離線安裝完整版教程（無需圖形化界面）
1 修改/etc/security/limits.conf文件，修改用戶的SHELL的限制 [root@hqc-test-hdp3 database]# vim /etc/security/limits.conf #@studen
2019-08-01 16:01:03
原创 CentOS 添加新分區並設置掛載
環境版本：CentOS 6.5 [root@localhost ~]# lsblk NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT sda
2019-07-30 08:23:59
原创 2019JDATA用戶對品類下店鋪的購買預測（機器學習一般步驟總結）
文章目錄前言賽題介紹步驟彙總1.查看分析數據2.數據清洗3.構造數據集（特徵工程）4.特徵選擇5.模型選擇6.參數選擇7.模型訓練與評估8.模型融合 前言 偶然間在羣裏看到有人發了這個比賽，查了一下才知道這是京東舉
2019-06-10 17:02:43
原创 【在路上】雲南篇
在路上，我們永遠年輕，永遠熱淚盈眶。 前言 今天出去玩的時候拍了一些照片，突然覺得拍的這麼好別人看不到太可惜了😆。於是一拍腦門，乾脆搞個欄目專門分享我拍的照片吧。而且我也確實去了一些地方，拍了不少照片，不過我打算不僅
2019-06-10 17:02:43
原创 使用Keras搭建CNN-MNIST 手寫數字 Dataset
import tensorflow as tf F:\Anaconda3\envs\tensorflow-gpu\lib\site-packages\h5py\__init__.py:36: FutureWarning: Conve
2019-04-18 15:56:54
24
原创 使用TF1.12搭建CNN-Fashion MNIST Dataset
import tensorflow as tf tf.enable_eager_execution() from tensorflow import keras import numpy as np import matplotl
2019-04-18 15:56:54
原创 Ambari離線安裝Solr
Ambari沒有集成Solr，但我在github上找到一個解決方案，如果您不需要離線安裝可以參考下面鏈接： https://imaidata.github.io/blog/2017/09/18/%E7%94%A8Ambari%E9%
2018-09-30 10:44:25
3
原创 Oracle表空間釋放與增加表空間大小
1.drop表後並沒有釋放磁盤空間，這時可以通過縮小表空間釋放磁盤存儲 注：一個表空間可以有多個datafile 查看所有的datafile，找到你要縮小的datafile select file#, name from v$dat
2018-09-30 10:44:25
37
原创 CentOS7完全離線安裝配置NTP、MySQL
NTP及依賴 rpm包下載： https://download.csdn.net/download/dr_guo/10522197 MySQL及依賴 rpm包下載： https://download.csdn.net/downl
2018-09-30 10:44:25
4
原创 Spark處理XML文件與XLSX/XLS文件
方法有很多，現提供一種比較簡單的方法。 //需導入spark-xml_2.10-0.4.0.jar package com.beagledata.spark import org.apache.spark.sql.SQLContext
2018-09-05 03:49:09
1
原创 異常用戶發現（Spark MLlib+Spark SQL+DataFrame）
環境：Amabri 2.2.2、HDP 2.4.2、Spark 1.6.1 ***這是我自己東拼西湊整出來的，錯誤在所難免，但應該也有部分可借鑑之處...*** 整體思路：對原始數據提取特徵後，使用KMeans做聚類，把元素明顯少的
2018-09-05 03:49:08
原创 Hadoop單機、僞分佈式集羣搭建（十分詳細）
要搭建Hadoop HA集羣請戳這 今天終於把老師佈置的項目做完了，閒來無事在機房的電腦上裝了Ubuntu（用EasyBCD步驟非常簡單，請自行百度），上學期在虛擬機上裝了Hadoop，現在可以在實體機搭個僞分佈式了。 下面我就一邊搭
2018-09-05 03:49:08