原创 springBoot調用templates目錄下的html頁面
貼程序： IndexController.java package com.example.demo.controller; import org.springframework.boot.autoconfigure.EnableAu
2020-02-25 02:22:32
原创 Java之BigInteger 和 BigDecimal
BigInteger 衆所周知， java中 Long類型已經比較大了。 最小值是 -9,223,372,036,854,775,808（-2^63）； 最大值是 9,223,372,036,854,775,807（2^63 -1）； 如
2020-02-25 02:22:32
原创 windows10平臺上測試flume kafkaSource->kafkaSink
windows10平臺上測試flume kafkaSource->kafkaSink 1.安裝kafka 1.1 下載官網安裝包 ：http://kafka.apache.org/downloads Binary d
2020-02-25 02:22:32
原创 Flume 配置kafkaSource -> kafkaSink 出現循環發送消息到kafkaSource topic的問題
Flume 配置kafkaSource -> kafkaSink 出現循環發送消息到kafkaSource topic的問題 1.具體描述： 如果在一個Flume Agent中同時使用Kafka Source和Kafka Sink
2020-02-25 02:22:32
原创 reduceBykey和groupBykey的區別
通過源碼可以發現: reduceByKey：reduceByKey會在結果發送至reducer之前會對每個mapper在本地進行merge，有點類似於在MapReduce中的combiner。這樣做的好處在於，在map端進行一次reduc
2019-04-20 15:44:25
原创 hive 分區(partition)
Hive組織表到分區。它是將一個表到基於分區列，如日期，城市和部門的值相關方式。使用分區，很容易對數據進行部分查詢。 例如，一個名爲Tab1表包含僱員數據，如 id, name, dept 和yoj (即加盟年份)。假設需要檢索所有在
2019-04-09 08:07:07
原创 hive搭建過程遇到的一些坑
首先解壓那些就不說了，前提條件是你有hadoop集羣，以及mysql來存儲MetaData; 1.就是進入到hive裏面去修改hive-env.xml 這個文件裏面主要設置hadoop路徑. 2.進入hive-site.xml裏面去配
2019-04-05 10:31:59
原创 maven編譯Spark失敗 java.lang.OutOfMemoryError: Java heap space
剛開始執行mvn 編譯命令的時候沒添加選項 -e，出錯之後沒有錯誤提示，第二次加上了-e纔有了下面兩張截圖 說明什麼呢，編譯時我們給JVM分配的Xmx不夠，導致溢出，所以這個時候給maven指定一個大點的Xms值， export MA
2019-04-01 07:48:57
原创 linux下編寫sql腳本,以及命令行運行。
SQL語句可以在windows下navicat中編寫，但是如果我們是在linux下命令行模式的話， 那我們就只能像編寫shell腳本一樣去編寫sql腳本了，然後運行它，得到我們想要的結果。 #USE RUNOOB SHOW TABLE
2019-03-31 08:02:08
原创 SQL中where子句的一些使用技巧
區分大小寫：最主要的就是知道使用“BINARY”，以及使用的位置： where子句中的一些運算符: = 等於 <> 不等於, 在sql的一些版
2019-03-30 08:16:21
原创 排序算法的比較
排序 平均情況 最壞情況 比較 附加存儲 冒泡排序 O() O() 及格 不需要 選擇排序 O() O() 良好 不需要 插入排序 O() O() 優良 不需要 希爾排序 O() O() --- 不需要 快速排序 O(N*logN) O(
2019-03-25 08:21:57
原创 通用數據存儲結構以及他們的時間複雜度
數據結構 查找 插入 刪除 遍歷 數組 O(N) O ( 1 ) O ( N ) --- 有序數組 O（logN）（二分查找） O（N） O（N） O（N） 鏈表 O（N） O（1） O ( N ) --- 有序鏈表 O（N） O (
2019-03-25 08:21:57
原创 Shell腳本中 for循環中的一個小問題
@Description: 起初是想編寫一個shell腳本，在主節點master上執行，效果是ssh到各從節點，然後關閉， 結果後面發現，我將shutdown命令換行再寫之後就出現了問題，它ssh到從節點之後，又會返回主節點， 這時候才
2019-03-25 08:21:47
原创 通過ssh遠程連接VMware中ubuntu虛擬機的時候，無法連接，出現Connection refused!!
問題描述：連接不上之後，就去虛擬機找問題，最後發現一直打不開port22，剛開始還能找到sshd進程，重新下載ssh之後反而什麼有關進程都沒有了，port22也看不見了， 最氣人的是一直升級apt-get install openssh-
2019-03-18 07:54:24
3
原创 MySQL 爲用戶更改密碼
當想要更改一個用戶的密碼的時候，直接輸入mysqladmin -u {username} -p password {newpassword}就可以 我是因爲之前使用的命令有誤。 當你輸入正確的命令之後，系統會讓你輸入這個用
2018-11-20 01:37:37