原创 Sparkmllib scala邏輯迴歸
logistic迴歸又稱logistic迴歸分析，是一種廣義的線性迴歸分析模型，常用於數據挖掘，疾病自動診斷，經濟預測等領域。例如，探討引發疾病的危險因素，並根據危險因素預測疾病發生的概率等。以胃癌病情分析爲例，選擇兩組人羣，一組是胃癌
2020-06-28 21:32:45
原创 flume taildir 啓動異常LifecycleSupervisor$MonitorRunnable.run
1、異常關鍵信息： LifecycleSupervisor$MonitorRunnable.run(LifecycleSupervisor.java:251)] Unable to start PollableSourceRunner:
2020-06-25 11:56:01
1
原创 入esUtil
public class Test { private static void test1(TransportClient client, String index, String type) throws UnknownHo
2020-06-25 11:56:01
原创 Sparkmllib scala線性迴歸
在統計學中，線性迴歸(Linear Regression)是利用稱爲線性迴歸方程的最小平方函數對一個或多個自變量和因變量之間關係進行建模的一種迴歸分析。這種函數是一個或多個稱爲迴歸係數的模型參數的線性組合。只有一個自變量的情況稱爲簡單迴
2020-06-25 11:56:00
原创 SNMP模型中，網管者、網管代理、網管協議及管理信息庫MIB之間的工作流程
SNMP管理模型組成部分 在SNMP中,SNMP管理模型包含四個組成部分： 1)SNMP NMS：SNMP管理站，利用SNMP協議對網絡設備進行管理和監控的系統； 2)SNMP Agent：SNMP代理，是運行在被管設備上的
2020-06-25 11:56:00
3
原创 redhat6、redhat7、centos6、7安裝nginx
Nginx 的官方下載地址爲：http://nginx.org/en/download.html。穩定版本Stable version 1、準備工作、安裝工具 yum -y install gcc gcc-c++ automake pc
2020-06-25 11:56:00
原创 Unrecognized Hadoop major version number: 3.0.0-cdh6.3.2
spark任務提交cdh集羣yarn模式執行報錯： Exception in thread "main" java.lang.ExceptionInInitializerError at org.apache.hadoop.hi
2020-06-25 11:56:00
27
原创 scala Spark 讀取hive數據
import org.apache.spark.SparkConf import org.apache.spark.sql.{DataFrame, SparkSession} object SparkOperaterHive {
2020-06-25 11:56:00
原创 intellij idea 2018 license 可用無廢話
一、修改host文件 修改C:\Windows\System32\drivers\etc\ 下 hosts 文件 添加： 0.0.0.0 account.jetbrains.com 如下 二、添加activation code激活碼
2020-06-07 22:49:42
原创 elasticsearch備份恢復（單機&集羣）
參考：https://www.elastic.co/guide/en/elasticsearch/reference/7.3//modules-snapshots.html#_snapshot 簡單記錄，留作自用，僅供參考，如有錯誤，勞煩
2020-04-19 02:56:27
原创 數據預處理-採樣
採樣就是按照某種規則從數據集中挑選樣本數據，大致分爲3類：隨機採樣、系統採樣和分層採樣。 隨機採樣：就是從數據集中隨機的抽取特定數量的數據，分爲有放回和無放回兩種。 import random def noRepetRandomSam
2020-02-27 22:24:03
原创 centos6.x 安裝elasticsearch6.x步驟
1: 增加用戶 # 增加用戶 useradd -d /home/test -m test # 設置密碼 passwd test 2：使用root用戶上傳es安裝包並解壓 # 解壓 tar -zxvf elasticsearch-6.4.0
2019-10-25 15:25:19
原创 安裝mysql5.7
1、安裝mysql 查看原本mysql相關包 # rpm -qa|grep mysql # ps -ef | grep mysql # service mysqld stop # rpm -e mysql-libs --nodeps
2019-08-08 15:11:56
原创 Centos6.5安裝Kibana
1、下載kibana https://www.elastic.co/cn/downloads/past-releases#kibana 2、安裝 tar -zxvf kibana-5.2.2-linux-x86_64.tar.gz 3、
2019-08-08 15:11:56
原创 @Transient不起作用的問題
@Transient 必須寫在 get 部分上面 例如： @Transient private String userName; @Transient public String getUserName() { retur
2019-08-08 09:29:18