原创 Hive --- 日期函數
1.日期函數UNIX時間戳轉日期函數: from_unixtime語法:from_unixtime(bigint unixtime[, stringformat]) 返回值: string 說明: 轉化UNIX時間戳（從1970-01
2020-06-20 22:41:38
原创 LINUX執行mysql報錯：-bash: mysql: command not found
在linux命令行執行：]# ln -fs "mysql的絕對路徑"/bin/mysql /usr/bin====我的mysql的絕對路徑/usr/local/mysql-5.7.16/========eg:ln -fs /usr
2020-06-20 22:41:38
原创 如何將LINUX本地的文件內容寫入到遠程服務器的文件中
服務器之間最好ssh免密碼登錄，如果不是免密碼登錄，每次寫入都要手敲密碼。------------將本地的test.log文件的內容寫入到遠程服務器test1.log文件中。腳本內容：#!bin/bashssh [email protected].
2020-06-20 22:41:38
原创 Flume基礎學習筆記
一、什麼是flumeFlume是一個高可用的，高可靠的，分佈式的海量日誌採集、聚合和傳輸的系統，Flume支持在日誌系統中定製各類數據發送方，用於收集數據；同時，Flume提供對數據進行簡單處理，並寫到各種數據接受方（可定製）的能力。二、
2020-06-20 22:41:38
原创 python實現二叉樹的遍歷以及基本操作
目錄 內容1：二叉樹的遍歷 內容2：基本操作 主要內容： 二叉樹遍歷（先序、中序、後序、寬度優先遍歷）的迭代實現和遞歸實現； 二叉樹的深度，二叉樹到葉子節點的所有路徑； 首先，先定義二叉樹類（python3），代碼如下： cla
2020-03-01 03:36:55
原创 Kafka監控工具KafkaOffsetMonitor配置及使用
KafkaOffsetMonitor是一個可以用於監控Kafka的Topic及Consumer消費狀況的工具，其配置和使用特別的方便。源項目Github地址爲：https://github.com/quantifind/Kaf
2020-02-20 13:40:43
原创 大數據架構:Kafka
Kafka 是一個高吞吐、分佈式、基於發佈訂閱的消息系統，利用Kafka技術可在廉價PC Server上搭建起大規模消息系統。Kafka具有消息持久化、高吞吐、分佈式、多客戶端支持、實時等特性，適用於離線和在線的消息消費KAFKA： 分
2020-02-20 13:40:43
原创 查看Linux系統版本信息
一、查看Linux內核版本命令（兩種方法）：1、cat /proc/version[root@S-CentOS home]# cat /proc/versionLinux version 2.6.32-431.el6.x86_64 (mo
2020-02-20 13:40:43
原创 Flume配置參數說明
channelType:hdfspath:寫入hdfs的路徑，需要包含文件系統標識，比如：hdfs://namenode/flume/webdata/可以使用flume提供的日期及%{host}表達式。filePrefix： 默認值：Fl
2020-02-20 13:40:43
原创 解壓縮報錯tar: Error is not recoverable: exiting now
解壓縮報錯tar: Error is not recoverable: exiting now [root@Gris-11140 FMIS2600bak]# tar -zxvf /home/oradata/FMIS2600DMP
2020-02-20 13:40:43
原创 Flume採集數據到HDFS中，開頭信息有亂碼
Flume採集數據，在生成的HDFS文件中，總是有“SEQ!org.apache.hadoop.io.LongWritable"org.apache.hadoop.io.BytesWritable??H謺NSA???y”信息，在Flume
2020-02-20 13:40:43
原创 sigmoid和softmax激活函數的簡單理解
使用softmax和sigmoid激活函數來做多類分類和多標籤分類 在實際應用中，一般將softmax用於多類分類的使用之中，而將sigmoid用於多標籤分類之中，對於圖像處理而言，網絡模型抽取圖像特徵的結構基本相同，只是根據不同
2019-05-21 13:01:49
原创 神經網絡--超清晰超易懂的一篇文章
（超級好的一篇講解神經網絡的文章，怕丟自己先收起來了☺） 神經網絡是一門重要的機器學習技術。它是目前最爲火熱的研究方向--深度學習的基礎。學習神經網絡不僅可以讓你掌握一門強大的機器學習方法，同時也可以更好地幫助你理解深度學習技術。 本
2019-05-21 13:01:49
原创 樸素貝葉斯算法原理理解
樸素貝葉斯流程如下： 1．設 x={a1,a2,…,am}爲一個待分類項，而每個 a 爲 x 的一個特徵屬性。 2．有類別集合 C={y1,y2,…,yn}。 3．計算 P( y1|x) ,P( y2|x),…, P( yn|x)。 4．
2019-05-09 13:33:01
原创 java操作linux shell命令並獲得返回值
########自己執行成功的代碼########### import com.jcraft.jsch.ChannelExec; import com.jcraft.jsch.JSch; import com.jcraft.jsch.J
2019-04-11 13:01:31