大多數集羣中是需要時間同步 那麼什麼是時間同步 換句話說時間同步就是指多臺服務器中的時間要保持一致 最簡單的例子就是定時任務 ,如果服務器集羣中時間沒有保持一致的話,就會出現一些意想不到的錯誤 那麼 接下來介紹一種時間同步的方式 首先要
1.美圖 2.背景 運行spark任務報錯 Operation category READ is not supported in state standby 查看界面 05的ip 是211 04的ip 是 210 然後總是
Spark submit 找不到配置文件的異常信息 java.lang.NullPointerException at java.util.Properties$LineReader.readLine(Properties.java:
Exception in thread "main" org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in stage 1.0 faile
提交命令如下 spark-submit --master yarn --class org.example.SparkDemoClass spark-demo-1.0-SNAPSHOT.jar param1,param2,"param
Hadoop-MapReduce的第一性原理 一句話理解: 在hdfs的基礎上,可以把超過PB級別的日誌文件(一般爲文本文件),以Map的方式逐行處理形成 Map<A,1>Map<A,2> Map<B,1> 經過非常的牛B的Shuff
由於沒有原生支持，肯定要寫UDF 直接上代碼 import com.alibaba.fastjson.JSON; import org.apache.spark.sql.api.java.UDF2; import scala.coll
前言： 本文有些概念可能有錯誤，因爲ZooKeeper本人還不太熟悉，等學習熟悉之後再回來補充 一、ZooKeeper集羣結構與原理 最典型集羣模式： Master/Slave模式（主備模式）。在這種模式中，通常Master服務器作爲主服
前言 本文主要對Redis的單點模式、主從模式、Sentinel模式、cluster模式做一個簡單介紹，並且每一個都進行演示案例 相關的細節請參閱文章中給出的鏈接，幾乎涵蓋了所有Redis在集羣方面的知識點（語法方面） 一、Redis集羣
