原创 理解分佈式一致性協議Paxos
Make it Simple Question：大名鼎鼎的Paxos協議是啥？Ansower：“分佈式一致性協議”。 這麼逼格的術語，就問你怕不怕？？能不能搞的中國話一點，簡單一點，而不是翻譯《Paxos Made Simple》
2020-07-03 14:26:21
原创 kafka connect rebalance時herder大概率異常
1. 發生場景 版本：confluent 2.0.0 如果因爲some reason觸發了task的rebalance，herder work可能發生異常，導致connect進程退出 2. 異常棧 [2016-06-28 17:
2020-07-03 13:46:18
2
原创 kafka connector commit 失敗
1. 上棧 [2016-07-01 15:58:55,889] ERROR Commit of Thread[WorkerSinkTask-beaver_http_response-connector-0,5,main] offs
2020-07-03 13:46:18
原创 kafka hdfs connect 會產生只有一個記錄的小文件
1. 問題現象： 如果用kafka hdfs connect將流式數據導入hdfs，處理開始一定會產生N個只有一條記錄的小文件，其中N 爲kafka topic的分區數。不影響功能，但不友好。 ubuntu@wonderwoman
2020-07-03 13:46:18
原创 hadoop 相關配置蒐集
1. hadoop多目錄掛載 配置放在~/hadoop-2.7.1/etc/hadoop/hdfs-site.xml 2. hdfs常用端口 參數 描述 默認 配置文件 例子 fs.default.name namen
2020-07-03 13:46:18
原创 kafka connect 數據寫hdfs詳解
曾經有位學者說過，“read the F**K code”。不多說，從TopicPartitionWriter的write方法中可以得到如下狀態機： Created with Raphaël 2.1.0WRITE_STARTEDW
2020-07-03 13:46:08
原创 翻開源碼看Spark是如何確立RDD分區數的
翻開源碼看Spark如何確立rdd的分區數 這大概是個爺爺不疼奶奶不愛的問題，但是很多小夥伴還是不太清楚的。藉機開始spark的源碼閱讀之旅。 RDD 分區確定 翻開DataSourceScanExec的源碼，會發現產生rdd有兩
2020-07-03 13:46:08
原创 Flink狀態管理（一） 原理和數據持久化
前言 Flink documentation 中 “work with state” 中提到了Flink的狀態管理機制。實現思想來源於Chandy-Lamport的分佈式快照算法。分別對理論和源碼瞭解後，發現Flink其實是算法的
2020-07-03 13:46:08
原创 Presto worker發現機制 (on k8s)
Presto 服務發現機制 喫個瓜 網上Presto有兩個版本：prestosql/prestodb，大家喜歡稱爲社區版和Facebook版，除了包名，現在看還沒多大的區別。但是這兩家都在稱自己是***offical***的，驚喜
2020-07-03 13:46:08
15
原创 Presto 無active worker的一次定位過程
故事是這樣的，突然一個非小白用戶爆出來說presto頁面上active的worker數量爲0。看了一眼機器狀態，都獲得好好的，並沒有啥錯誤日誌。於是開始了一次定位之旅。 獲取集羣狀態 先獲取集羣狀態看看，確認下眼沒有瞎。接口： h
2020-07-03 13:46:08
3
原创 Flink JAR包上傳和運行邏輯
文章目錄說明啓動ResetServer註冊HandlerUpload JARRun Jar生成JobGraph的過程調用用戶程序main方法執行用戶程序main方法執行execute （和接觸過一個概念很類似-打樁測試）提交Job
2020-07-03 13:46:07
原创 重讀 《Paxos Made Simple》
重讀 《Paxos Made Simple》 當帶着一些問題去閱讀，就會注意到很多細節。本次的總結不會整體解讀，而是順着文章去抓重點和細節，所以會標註來源的章節。需要完整看協議的同學，很建議拿着原文一起討論。 2.1 The Pr
2020-05-04 13:21:59
原创 librdkafka 打印連接斷開錯誤
1. librdkafka日誌 2016-01-24 08:56:58.773506|0x000022a4|error|gg::lqs::kafka::KafkaProducer::event_cb|KafkaProducer.c
2020-02-24 06:41:42
原创 confluent環境謹慎刪除topic
關注一段代碼 kafka-connect-hdfs-2.0.0\src\main\java\io\confluent\connect\hdfs\TopicPartitionWriter.java private void
2020-02-24 06:41:42
原创 Flink狀態管理（二）狀態數據結構和註冊流程
起源 事情的起源是在1.6.2的版本上，釘友發現了一個Bug，在TTL state snapshot的時，此處會拋IllegalArgumentException： protected CompositeSerializer<Tt
2019-06-11 13:48:20