啓動Spark出現Operation category READ is not supported in state standby

原創 九师兄 2020-07-04 19:44

1.美圖

在這裏插入圖片描述

2.背景

運行spark任務報錯 Operation category READ is not supported in state standby
在這裏插入圖片描述
查看界面
在這裏插入圖片描述
05的ip 是211
04的ip 是 210
然後總是報錯這個，而且我把hdfs配置成都是211，也會報錯，並且去找210
在這裏插入圖片描述
後來我停止了211，然後等着210變成active，然後再次運行就可以了，然後再次啓動211也是可以的，奇怪的問題。

發表評論
所有評論
還沒有人評論，想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章

Spark報錯： IOException: Bad connect ack with firstBadlink as xxx:500010

1.美圖 2.背景 執行一個spark任務報錯，看着是spark structured streaming 寫入到kaf INFO: Exception in createBlockOutputStream INFO - jav

九师兄 2020-07-04 19:44:36

Spark報錯 Failed to send RPC xxx to/ip:43074 java.nio.channels.ClosedChannelException

1.美圖 2.背景 是這樣的，我寫了一個spark程序，然後，運行的時候，我kiill yarn掉這個程序，然後發現程序報個錯然後繼續運行了。 我在頁面點擊任務停止就沒事，我頁面點擊是調用yarn api去殺死任務，直接黑窗口調

九师兄 2020-07-04 19:44:36

Spark-Kudu報錯：kudu.client.NonRecoverableException: The table was deleted: Table deleted at xxx

1.美圖 2.背景 一個spark 寫入到kudu 的程序，開始運行正常，後來報錯了，錯誤如下 Exchange hashpartitioning(magr_pos_id#549, 12) +- *(17) Project [d

九师兄 2020-07-04 19:44:36

Maven : JsonMappingException: Incompatible Jackson version: 2.9.5

1.美圖 2.背景 出現這個問題之前先出現了問題：Maven: NoSuchMethodError fasterxml.jackson.core強行指定，無法排除 可能因爲升級的版本比較高了，導致問題，運行報錯 2019-12-

九师兄 2020-07-04 19:44:36

Spark Structured : KuduException$OriginalException: Originalasynchronous stack trace

1.美圖 # 2.背景 一個運行好的程序，進行調優處理，然後因爲做了一些參數後爆粗 KuduException$OriginalException: Originalasynchronous stack trace 其他錯誤如

九师兄 2020-07-04 19:44:36

Spark : DNS resolution failed for url in bootstrap.servers xx:9092

1.美圖 2.背景 最近有一個項目中用到spark 連接kafka的代碼，然後開始運行的幾個任務是沒問題的，但是後來的任務就開始報錯了。 原來測試的時候：bootstrap.servers這個值一直寫的是域名，然後生產和消費數據

九师兄 2020-07-04 19:44:26

Spark代碼生成技術之現象CodeGenerator

1.美圖 2.背景 我今天看spark日誌，發現跑出來的日誌，沒過一段就有一段日誌如下 20/01/03 16:57:42 INFO spark.ContextCleaner: Cleaned accumulator 18675

九师兄 2020-07-04 19:44:26

Spark Structured Kudu : RejectedExecutionException: Worker has already been shutdown

1.美圖 2.背景 spark 寫入kudu 的時候報錯，主要是客戶端的netty設置 開始設置是 asyncKuduClient = new AsyncKuduClient.AsyncKuduClientBuilder(kud

九师兄 2020-07-04 19:44:26

spark與hadoop生態圈（一）

Spark是一個開源計算框架，開發者藉助於其API編寫分佈式應用來使用集羣資源，無須關心底層的分佈；它支持各種工作負載，包括批處理、流式計算、商業智能分析、圖形計算、以及機器學習。 爲什麼使用spark 可編程性：MapReduce需要幾

熊怪叔叔 2020-06-16 12:23:37

sparkSQL的RDD轉換成DataFrame

1、爲什麼要將RDD轉換成DataFrame, 直接針對HDFS等任何可以構建爲RDD數據，進行SparkSQL的sql查詢 2、SparkSQL支持RDD轉換成DataFrame的方式如下： 1>反射方式； 2>通過編程接口創建Data

熊怪叔叔 2020-06-16 12:23:37

spark的安裝集運行模式(二)

Spark安裝： 配置path的環境的java和python（不在敘述，不會上網查找）； 官網下載spark的包； Wegt 命令下載；tar -xvf sparkxxx.jar 4、mkdir -p /opt/mySpark   mv

熊怪叔叔 2020-06-16 12:23:37

spark的任務提交後臺提交實例（五）

//本地模式,如果時集羣模式需要啓動master和worknode ./bin/spark-submit --class com.package.test.app.demo01//直接是對象名稱 --deploy-mode cluster

熊怪叔叔 2020-06-16 12:23:37

Spark submit 找不到配置文件的異常信息 java.lang.NullPointerException

Spark submit 找不到配置文件的異常信息 java.lang.NullPointerException at java.util.Properties$LineReader.readLine(Properties.java:

一一空 2020-06-30 09:13:29

Spark寫入 ES 異常 Use 'org.elasticsearch.spark.sql' package instead

Exception in thread "main" org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in stage 1.0 faile

一一空 2020-06-30 09:13:29

spark submit腳本中向main方法傳遞參數,如果參數中包含空格該如何處理

提交命令如下 spark-submit --master yarn --class org.example.SparkDemoClass spark-demo-1.0-SNAPSHOT.jar param1,param2,"param

一一空 2020-06-30 09:13:29