Spark報錯： IOException: Bad connect ack with firstBadlink as xxx:500010

原創 九师兄 2020-07-04 19:44

1.美圖

在這裏插入圖片描述

2.背景

執行一個spark任務報錯，看着是spark structured streaming 寫入到kaf

INFO: Exception in createBlockOutputStream
INFO - java.io.IOException: Bad connect ack with firstBadLink as ×.×.×.×:50010
       at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.createBlockOutputStream(DF     
       at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.nextBlockOutputStream(DFSOutputStream.java:1668)

org.apache.hadoop.ipc.RemoteException
發表評論
所有評論
還沒有人評論，想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章

Spark報錯 Failed to send RPC xxx to/ip:43074 java.nio.channels.ClosedChannelException

1.美圖 2.背景 是這樣的，我寫了一個spark程序，然後，運行的時候，我kiill yarn掉這個程序，然後發現程序報個錯然後繼續運行了。 我在頁面點擊任務停止就沒事，我頁面點擊是調用yarn api去殺死任務，直接黑窗口調

九师兄 2020-07-04 19:44:36

Spark-Kudu報錯：kudu.client.NonRecoverableException: The table was deleted: Table deleted at xxx

1.美圖 2.背景 一個spark 寫入到kudu 的程序，開始運行正常，後來報錯了，錯誤如下 Exchange hashpartitioning(magr_pos_id#549, 12) +- *(17) Project [d

九师兄 2020-07-04 19:44:36

Maven : JsonMappingException: Incompatible Jackson version: 2.9.5

1.美圖 2.背景 出現這個問題之前先出現了問題：Maven: NoSuchMethodError fasterxml.jackson.core強行指定，無法排除 可能因爲升級的版本比較高了，導致問題，運行報錯 2019-12-

九师兄 2020-07-04 19:44:36

啓動Spark出現Operation category READ is not supported in state standby

1.美圖 2.背景 運行spark任務報錯 Operation category READ is not supported in state standby 查看界面 05的ip 是211 04的ip 是 210 然後總是

九师兄 2020-07-04 19:44:36

Spark Structured : KuduException$OriginalException: Originalasynchronous stack trace

1.美圖 # 2.背景 一個運行好的程序，進行調優處理，然後因爲做了一些參數後爆粗 KuduException$OriginalException: Originalasynchronous stack trace 其他錯誤如

九师兄 2020-07-04 19:44:36

Spark : DNS resolution failed for url in bootstrap.servers xx:9092

1.美圖 2.背景 最近有一個項目中用到spark 連接kafka的代碼，然後開始運行的幾個任務是沒問題的，但是後來的任務就開始報錯了。 原來測試的時候：bootstrap.servers這個值一直寫的是域名，然後生產和消費數據

九师兄 2020-07-04 19:44:26

Spark代碼生成技術之現象CodeGenerator

1.美圖 2.背景 我今天看spark日誌，發現跑出來的日誌，沒過一段就有一段日誌如下 20/01/03 16:57:42 INFO spark.ContextCleaner: Cleaned accumulator 18675

九师兄 2020-07-04 19:44:26

Spark Structured Kudu : RejectedExecutionException: Worker has already been shutdown

1.美圖 2.背景 spark 寫入kudu 的時候報錯，主要是客戶端的netty設置 開始設置是 asyncKuduClient = new AsyncKuduClient.AsyncKuduClientBuilder(kud

九师兄 2020-07-04 19:44:26

spark與hadoop生態圈（一）

Spark是一個開源計算框架，開發者藉助於其API編寫分佈式應用來使用集羣資源，無須關心底層的分佈；它支持各種工作負載，包括批處理、流式計算、商業智能分析、圖形計算、以及機器學習。 爲什麼使用spark 可編程性：MapReduce需要幾

熊怪叔叔 2020-06-16 12:23:37

sparkSQL的RDD轉換成DataFrame

1、爲什麼要將RDD轉換成DataFrame, 直接針對HDFS等任何可以構建爲RDD數據，進行SparkSQL的sql查詢 2、SparkSQL支持RDD轉換成DataFrame的方式如下： 1>反射方式； 2>通過編程接口創建Data

熊怪叔叔 2020-06-16 12:23:37

spark的安裝集運行模式(二)

Spark安裝： 配置path的環境的java和python（不在敘述，不會上網查找）； 官網下載spark的包； Wegt 命令下載；tar -xvf sparkxxx.jar 4、mkdir -p /opt/mySpark   mv

熊怪叔叔 2020-06-16 12:23:37

spark的任務提交後臺提交實例（五）

//本地模式,如果時集羣模式需要啓動master和worknode ./bin/spark-submit --class com.package.test.app.demo01//直接是對象名稱 --deploy-mode cluster

熊怪叔叔 2020-06-16 12:23:37

spark的配置方式及端口介紹(四)

saprk配置信息使用的三種方式： 1、代碼中使用SparkConf來配置； 2、在提交時候使用--conf來配置 spark-submit --master --conf k=v 如果要設置多個配置信息的值，需要使用多個–conf； 3

熊怪叔叔 2020-06-16 12:23:37

sparkSQL的sqlContext和hHiveContext的彙總（二）

sqlContext總的一個過程如下： 1.SQL語句經過SqlParse解析成UnresolvedLogicalPlan； 2.使用analyzer結合數據數據字典（catalog）進行綁定，生成resolvedLogicalPlan；

熊怪叔叔 2020-06-16 12:23:37

spark的client和cluster的模式介紹(五)

Application Master在Yarn中，每個Application實例都有一個Application,實例都有一個 Application Master進程，它是Application啓動的第一個容器。它負責和ResourceM

熊怪叔叔 2020-06-16 12:23:37