原创 spark消費nc的數據 bug彙總
1.Exception in thread "main" java.lang.NoSuchMethodError: scala.collection.immutable.HashSet$.empty()Lscala/collection/
2020-07-06 07:10:12
原创 本地IDEA運行sparkStreaming消費kafka出錯 Connection with localhost/127.0.0.1 disconnected
可以看到報錯第一句顯示：Connection with localhost/127.0.0.1 disconnected 但是我明明在application.yml中配置了我的Kafka Server的地址是：192.168.52.131
2020-07-06 07:10:12
原创 flume兩種寫法
1.全寫 bin/flume-ng agent --conf conf/ --name a1 --conf-file job/flume-netcat-logger.conf -Dflume.root.logger=INFO,conso
2020-06-29 23:55:37
原创 centos7橋接模式聯網轉發,親測可用
https://blog.csdn.net/weixin_42209440/article/details/102759869
2020-06-29 23:55:27
原创 docker不要使用centos7以下的版本
centos7以下的版本linux內核低於3.10 而docker只支持3.10以上的 你如果想用必須修改內核,修改內核不一定成功,失敗後你的機器無法啓動 一直卡在這裏
2020-06-29 23:55:27
原创 crontab 控制shell寫入文件,文件找不到
crontab我定位的是相對路徑,所以log只會 在crontab的當前路徑生成。 我們進入crontab查看 你用哪個工具執行,在Linux中就會以 工具的路徑定位，而不是你啓動的任務的jar的位置 由於crontab 默認執行路徑爲
2020-06-24 14:16:08
原创 Docker 安裝出現Version '18.06.0~ce~3-0~ubuntu' for 'docker-ce-cli' was not found
由於公司內部分離，所以現在爲了完成新業務，但是卻沒有辦法搭建服務器集羣的問題。暫時業務使用單機。 需要搭建flink,kafka,redis,es,mysql等鏡像，打算使用docker鏡像，但是之前沒有接觸過。在安裝過程中出現這個問題。
2020-06-24 13:12:42
原创 presto時間戳轉換錯誤 Expected: to_unixtime(timestamp) , to_unixtime(timestamp with time zone)
Expected: to_unixtime(timestamp) , to_unixtime(timestamp with time zone) (cast('2019-09-09 12:32:05' as timestamp)-cast
2020-06-24 13:12:32
原创 docker啓動其它容器
docker run -p 9092:9092 -d wurstmeister/kafka:2.11-1.1.0 比如俺啓動kafka docker run -p 端口號:端口號 -d後臺運行 後面的這個 wurstmeister
2020-06-24 13:12:32
原创 docker卸載鏡像
由於之前第一次使用docker pull之後就默認最新的了，這樣會導致後期版本不兼容。所以這裏。卸載教程 首先,查看你的鏡像 docker images 然後查看運行id docker ps -a 用stop停止，如果發現sto
2020-06-24 13:12:32
原创 shell腳本與crontab
啥是shell腳本,shell腳本是linux的一種腳本語言,可以以程序的形式使用linux命令,經常用於大數據中的環境搭建(統一啓動）,並且很多linux軟件都是由shell腳本封裝聚合的。shell腳本的標識是後綴爲.sh 我的第
2020-06-24 13:12:31
原创 crontab執行sh無法寫入文件
我這裏是因爲寫了一個相對路徑,在jar中 如果使用了crontab那生成的文件就在crontab的相對路徑了。 所以必須全部寫絕對路徑，問題解決 sh能執行用了,crontab就不能執行。那麼是環境變量的問題 在shell中執行 sour
2020-06-24 13:12:29
8
原创 Docker中 kafka爲什麼要安裝zookeeper
如果你使用的kafka是docker中更新維護最好的那個Kafka。那麼要裝zookeeper，原因是因爲:
2020-06-24 13:12:29
原创 presto時間轉換日期報錯 failed: Value cannot be cast to date: 2020-01-27 23:30:30
例 查詢語句 select cast('2020-01-27 23:03:53' as date) from xxx 出現標題錯誤 failed: Value cannot be cast to date: 2020-01-27
2020-06-24 13:12:29
原创 Centos出現，配置靜態ip後出現 connect：不可達
添加配置 cd /etc/sysconfig/network-scripts/ cd /etc/sysconfig/network-scripts/ vi ifcfg-eth0 #這裏的eth0是你自己的網卡設備名稱,你的可能是et
2020-06-24 13:12:29