原创 記一次hadoop yarn環境無法提交任務的問題排查
1. 集羣環境 ambari-version：2.7.5 HDP-version：3.0 2.問題描述 hadoop-yarn的啓動之後，運行一段時間，莫名其妙的出現新的任務無法提交上去，查看yarn的狀態之後，發現yarn的狀態都是正常
2024-04-19 13:53:04
原创 scala系列-列表
scala列表的介紹 scala中的List類和java中的list類是完全不同的，對於java中的ArrayList來說，可以向其中添加元素，亦或是刪除元素。是可變的，但是scala中的list是不可變的，其大小和其中的元素都是不可變的。
2021-12-19 13:27:20
原创 flume啓動報錯：java.nio.channels.ClosedChannelException
flume報錯：java.nio.channels.ClosedChannelException 報錯日誌信息 java.nio.channels.ClosedChannelException at org.jboss.netty.c
2021-09-14 13:27:38
5
原创 Scala的型變
在scala中Any 是任何基礎數據類型的父類，但是，在scala中是不允許ArrayList[Int]的引用賦值給一個指向ArrayList[Any]的引用。像下面這樣： object TestMain extends App { v
2021-07-08 13:27:33
原创 ERROR BatchJobMain: Task not serializable
spark在class中使用log4j報錯，無法序列化的問題 報錯信息 21/06/16 11:45:22 ERROR BatchJobMain: Task not serializable org.apache.spark.Spark
2021-06-17 13:27:24
原创 Spark創建HiveContext報錯tez的問題
java.lang.NoClassDefFoundError: org/apache/tez/dag/api/SessionNotRunning 報錯信息 Exception in thread "main" java.lang.NoC
2021-06-17 13:27:24
原创 Spark初始換HiveContext空指針異常
spark程序初始化HiveContext報錯：空指針異常 版本說明： spark: 1.6.1 scala: 2.10.8 hive: 1.2.1 報錯信息 java.lang.RuntimeException: java.
2021-06-17 13:27:24
1
原创 windows10專業版 操作系統無法監聽遠程端口
windows 10專業版操作系統無法監聽3389端口 問題描述 windows 10 專業版操作系統無法遠程，通過telnet命令發現，對應的默認端口(3389)不通 cmd命令執行netstat -ano | findstr 3389
2021-05-10 13:32:25
5
原创 canal-kakfa-flink實現mysql數據的實時同步(一)
一、canal介紹 官網的介紹： 名稱：canal [kə'næl] 譯意： 水道/管道/溝渠 語言： 純java開發 定位： 基於數據庫增量日誌解析，提供增量數據訂閱&消費，目前主要支持了mysql 關鍵詞： mysql binlog
2021-04-02 13:27:29
原创 IDEA無法複製粘貼的問題
IDEA內無法進行復制粘貼 問題 IDEA內無法進行復制粘貼操作,即ctrl+c 與ctrl+v 不起作用，但是IDEA外面是可以的 原因分析 快捷鍵衝突，即IDEA中設置的賦值粘貼快捷鍵與idea外面的快捷鍵不一致，或者衝突
2021-03-27 13:27:32
原创 IDEA通過參數來制定用戶提交任務,並操作hadoop
IDEA中調試程序設置指定的用戶提交任務 場景： 在IDEA中調試任務，遠程操作hadoo集羣的時候，發生權限不足的問題 報錯代碼： ... 7 more Caused by: org.apache.hadoop.security.
2020-12-29 13:27:21
原创 JavaSpark寫RDD到ES時指定文檔ID的
spark版本：2.3 ES版本：7.1 問題描述： 在通過JavaSpark寫入數據到ES過程中，需要對文檔id進行手動指定。 在查詢ES官網之後，返現官網介紹中是有次方法的： 可以看到，JavaEsSpark.s
2020-12-27 13:27:26
原创 java集合與scala集合相互轉換
java類型的map轉爲scala類型map package com.xxx.spark.flow.util.common; import scala.collection.JavaConverters; import scala.co
2020-12-27 13:27:26
原创 shell腳本實現發送告警到釘釘
SHELL腳本實現發送信息到釘釘 日常工作中我們經常需要將一些業務告警信息及時的發送到我們的手機上，比如郵件，短信，釘釘...以便於我們及時發現問題並進行處理，下面主要介紹如果通過shell腳本的方式發送信息到釘釘，並通過釘釘機器人，並艾特
2020-12-27 13:27:26
原创 sqlServer使用md5加密字符串的坑
sqlSERVER對字符串字段進行加密的問題 問題描述： 在使用sqlServer的md5函數對字符串進行加密的過程中發現，針對相同的字符串進行加密，會得到不同的結果： 可以看到，二者唯一的區別就是對需要加密的字符串進行了c
2020-12-27 13:27:26