原创 hadoop 3.x 案例4:Flink啓動yarn session問題 一. 問題描述 二. 解決方案
一. 問題描述 Flink啓動yarn-session的時候報錯: 2022-12-02 09:27:05,804 INFO org.apache.flink.yarn.YarnClusterDescriptor
2022-12-18 20:45:21
原创 hadoop 3.x 案例2:登陸hive異常 Unable to find config file hivemetastore-site.xml 一. 問題描述 二. 解決方案 參考:
一. 問題描述 如上圖所示，控制檯登陸hive，出現很多提示信息。 [root@hp5 metadata]# hive SLF4J: Class path contains multiple SLF4J bindings. SLF4J:
2022-12-15 21:27:14
原创 hadoop 3.x 案例3:datanode 異常 一. 問題描述 二. 解決方案 參考:
一. 問題描述 hdfs web頁面顯示有的文件是損壞的，需要使用fsck來檢查 二. 解決方案 通過fsck檢查根目錄，看是否有損壞的文件 hdfs fsck / 將檢查到的損壞的文件進行刪除 hdfs fsck /spark-j
2022-12-15 21:27:14
原创 hadoop 3.x 案例1:job history顯示問題 一. 問題描述 二. 解決方案 參考:
一. 問題描述 訪問 job history的時候，發現一長串描述，但是沒有地方查看對應的日誌。 Logs not available for container_1668064306391_0004_01_000001. Aggregat
2022-12-12 15:11:15
原创 hadoop 3.x大數據集羣搭建系列10-配置Spark Shell及Hive on Spark 一. Spark shell配置 二. Hive on Spark配置
一. Spark shell配置 Spark shell默認就是可以訪問的 spark-shell spark.sql("select count(*) from test.t2").show() 二. Hive on Spark配置
2022-12-06 16:59:28
原创 hadoop 3.x大數據集羣搭建系列9-配置pyspark 一. 問題描述 二. 升級python
一. 問題描述 之前的文章，我們已經安裝完成Spark，然後配置了Spark相關的環境變量，但是運行pyspark報錯 [root@hp7 ~]# pyspark env: python3: 沒有那個文件或目錄 從報錯可以看到，spark
2022-12-06 16:59:28
原创 hadoop 3.x大數據集羣搭建系列7-安裝Hudi 編譯環境準備 一. 下載並解壓hudi 二. maven的下載和配置 三. 編譯hudi 參考:
編譯環境準備 軟件 版本 Hadoop 3.3.2 Hive 3.1.2 Spark 3.3.1 Flink 1.15.2 一. 下載並解壓hudi cd /home/software wget https:
2022-12-01 18:50:10
原创 hadoop 3.x大數據集羣搭建系列6- 安裝scala 一. 下載scala並解壓 二. 配置環境變量及驗證 參考:
一. 下載scala並解壓 cd /home/software wget https://downloads.lightbend.com/scala/2.12.11/scala-2.12.11.tgz tar -xvf scala-2.1
2022-12-01 18:50:00
原创 hadoop 3.3大數據集羣搭建系列1-安裝hadoop 一. 軟硬件配置 二. 安裝前準備 三. 安裝 參考:
一. 軟硬件配置 1.1 主機配置及規劃 hostname hp5 hp6 hp7 ip 10.31.1.119 10.31.1.120 10.31.1.121 內存 8G 8G 8G username root ro
2022-11-17 10:07:09
原创 大數據算法系列14:流網絡 一. 流網絡定義 二. Ford-Fulkerson算法 參考:
一. 流網絡定義 二. Ford-Fulkerson算法 FF算法的核心在於找增廣路。何謂增廣路？例如上圖中我首先選擇1->2->3，這是一條增廣路，提供2流量；然後我們相應地扣除選擇路徑上各邊的容量，1->2的容量變成1，2->3
2022-11-17 10:07:09
原创 大數據算法系列15:動態規劃 一. 動態規劃概念 二. 動態規劃案例 參考:
一. 動態規劃概念 僞代碼： 重構: 二. 動態規劃案例 2.1 青蛙跳臺階 題目： 一隻青蛙一次可以跳上1級臺階，也可以跳上2級臺階。求該青蛙跳上一個 n 級的臺階總共有多少種跳法。 這個題目就是用典型的動態規劃算法求解的，青蛙跳上
2022-11-17 10:07:09
原创 大數據算法系列13:最小生成樹算法 一. Kruskal算法 二. Prim算法 三. Bellman-Ford算法 四. 算法在計算機網絡中的應用 參考:
一. Kruskal算法 二. Prim算法 普里姆（Prim）算法，也是求加權連通圖的最小生成樹的算法。 基本思想 對於圖G而言，V是所有頂點的集合；現在，設置兩個新的集合U和T，其中U用於存放G的最小生成樹中的頂點，T存放G的最小生成
2022-11-15 12:36:35
原创 大數據算法系列12:圖論算法 一. 圖的概念 二. 圖基本算法 參考:
一. 圖的概念 圖（Graph），是一種複雜的非線性表結構，圖的元素我們就叫做頂點（vertex），一個頂點可以與任意其他頂點建立連接關係，這種建立的關係叫做邊（edge），頂點相連接的邊的條數叫做度（degree） 。邊有方向的圖叫做有向
2022-11-15 12:36:35
原创 大數據算法系列11:線性規劃 一. 線性規劃問題的數學模型 二. 線性規劃的解 四. 線性規劃模型的應用 參考:
一. 線性規劃問題的數學模型 1.1 例子 1.1.1 例1 設四個角截去的小正方形邊長爲X. 則有盒子的體積爲: 令V’=0得:X1=a/2； X2=a/6 又:V”= -8a+24X 當X1=a/2時,V”= 4a＞0,V有極小
2022-11-15 12:36:35
原创 MySQL處理Json數據 備註： 一. Json數據存儲 二. Json數據insert 三. json數據update 四.json數據查詢 五. 常用的JSON函數 參考:
備註： 版本: MySQL 8.0 一. Json數據存儲 MySQL 8.0提供了json數據類型來存儲json數據。 create table test_json(id int,json_data json); 二. Json數據in
2022-11-12 08:04:59
1