原创 idea的基本操作--idea的重啓
idea的重啓 如下圖所示： 第1步：通過File–>Invalidate Caches進入重啓窗口： 第2步：選擇自己所需要的重啓方式，四個按鈕，一共三種重啓方式： 四個按鈕的說明 Invalidate and Restart 清空
2020-05-19 21:23:19
原创 HDFS查看文件大小以及統計 總和
查看文件夾下 各個目錄的總大小（兆或者是G）：hdfs dfs -du -h /flumedfsfs_cluster/c_wechat_mpdfsfsffse/ 查看每個文件大小（默認是Byte）hadoop fs -du /dats
2020-05-19 21:23:19
1
原创 namenode正處於safemode狀態，怎麼處理？
解釋： safemode是namenode的一種狀態（active/standby/safemode安全模式） namenode進入安全模式的原理： a、namenode發現集羣中的block丟失率達到一定比例時（0.01%），nam
2020-05-15 05:46:24
原创 Hive UDF自定義函數編寫小例子
先寫一個java類，定義函數邏輯（靜態代碼塊模擬字典） package club.drguo.hive; import java.util.HashMap; import org.apache.hadoop.hive.ql.exe
2020-04-23 17:53:10
原创 hive常用調優
一、查看執行計劃 explain extended hql；可以看到掃描數據的hdfs路徑 二、hive表優化 分區（不同文件夾）： 動態分區開啓： set hive.exec.dynamic.partition=true; set hi
2020-03-28 14:50:54
原创 Hdfs合併小文件方法
此方法是在hive表有分區的情況下： 以將reduce個數設爲1 set mapred.reduce.tasks=1; set hive.exec.dynamic.partition.mode=nonstrict; SET hive.ex
2020-03-13 18:14:39
原创 【HDFS】hive任務報HDFS異常：last block does not have enough number of replicas
HIVE運行查詢腳本時報錯，last block does not have enough number of replicas： 1 2018-10-15 2018-07-17 2 2018-10-15 10:00:01 3
2020-03-04 15:04:15
原创 Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/spark/SparkConf
解決： 原因：自己在pom文件中加入 <scope>provided</scope> 此標籤表示編譯環境可用，運行時則不可用，主要是在 打包時不將這些依賴打進來，因爲服務器上有，以免包過大 解決方案：本地運行時註銷掉<scope>
2020-02-21 03:55:00
原创 String類的substring()方法
截取字符串，在java語言中的用法 1、 public String substring(int beginIndex) 返回一個新字符串，它是此字符串的一個子字符串。該子字符串始於指定索引處的字符，一直到此字符串末尾。 參數：begi
2020-02-21 03:55:00
原创 maven引入MySQL相關依賴
<!--mysql驅動包--> <dependency> <groupId>mysql</groupId> <artifactId>mysql-connector-java<
2020-02-21 03:55:00
原创 linux 查看IO情況
1.iostat -d -k -x 1 2.iostat -dx 3.iotop 點贊 收藏 分享 文章舉報 邢小成 發佈了244 篇原創文章 · 獲贊 28 · 訪問量 1
2020-02-21 03:55:00
原创 Spark RDD轉換爲DataFrame
#構造case class，利用反射機制隱式轉換 scala> import spark.implicits._ scala> val rdd= sc.textFile("input/textdata.txt") scala> case
2020-02-21 03:55:00
原创 git pull 出現 WARNING: POSSIBLE DNS SPOOFING DETECTED!
此時不管你是git pull 還是clone 都報錯如下： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 @@@@@@@@@@@@@@@@@
2019-10-25 17:07:59
原创 Integer.parseInt(s)與Integer.valueOf(s)的區別詳解
一、Integer.parseInt(s)用法 String s1 = "1000"; String s2 = "1000"; int n1 = Integer.parseInt(s1);
2019-10-25 17:07:59
2
原创 supervisor安裝、使用詳解
supervisor是用python寫的一個進程管理工具，用來啓動，重啓，關閉進程。 1 supervisor的安裝 pip install supervisor 2 supervisor的配置文件（supervisor安裝完畢後，會有一
2019-10-25 17:07:59
1