原创 flink報錯：JobManager responsible for xxx lost the leadership
查看jobmanager日誌：standalonesession-0-master.log 2020-05-16 21:46:53,511 WARN akka.remote.ReliableDeliverySupervisor
2020-05-18 20:29:19
原创 flink讀寫MySQL的兩種方式
目前跑通的讀寫MySQL的方式有兩種，一種是直接使用flink自帶的JDBCInputFormat和JDBCOutputFormat，另一種是自定義source和sink。 引入依賴 <!-- https://mvnrepository
2020-05-11 01:22:42
原创 HBase 入門之數據刷寫(Memstore Flush)詳細說明(轉載)
接觸過 HBase 的同學應該對 HBase 寫數據的過程比較熟悉（不熟悉也沒關係）。HBase 寫數據（比如 put、delete）的時候，都是寫 WAL（假設 WAL 沒有被關閉） ，然後將數據寫到一個稱爲 MemStore 的內存結
2020-04-25 07:06:17
原创 kafka報錯ERROR Failed to clean up log for __consumer_offsets-49 in dir /tmp/kafka-logs
kafka運行了一段時間，有一天突然發現kafka服務停了。看日誌more logs/server.log.2020-04-20-11如下： ./server.log.2020-04-20-11:java.nio.file.NoSuch
2020-04-25 07:06:17
原创 elasticsearch分組排序取top N
背景 比如有一張通話記錄表，裏面有用戶UID，電話號number，用戶所屬國家country，通話時長talktime幾個主要字段。現在的需求是要獲取平均通話時長最長的top 20個國家。 實現 先過濾掉一些不需要的數據，然後根據coun
2020-04-22 07:33:35
原创 elasticsearch排序sort的使用
背景 使用sort的時候需要注意，如果排序字段是字符串類型的（text、string），那麼會按照排序字段的值的字典順序進行排序。 而有時候我們需要按照實際數值進行排序，這時候就需要重建索引reindex，重建索引的時候使用新的模板或指定
2020-04-22 07:33:35
原创 No factory implements 'org.apache.flink.table.factories.DeserializationSchemaFactory'.
Caused by: org.apache.flink.table.api.NoMatchingTableFactoryException: Could not find a suitable table factory for 'or
2020-04-14 14:22:39
4
原创 hbase優化
轉自：https://yq.aliyun.com/articles/644139?spm=a2c4e.11155472.0.0.74bb68c6ROboVF 1.概述 HBase是一個實時的非關係型數據庫，用來存儲海量數據。但是，在實際使
2020-03-14 08:54:56
原创 最入門的ELK環境搭建
搭建簡單地最入門級的elk框架，因爲是入門測試用，所以所有組件都在同一臺機器上。 Elasticsearch 官網elasticsearch-6.3.0.tar elasticsearch官方文檔 Kibana 官網kibana-6.3.
2020-02-23 17:01:46
原创 SVN合併代碼報錯：Merge tracking not allowed with missing subtrees; try restoring these items
當我將代碼從主幹合併到分支的時候報了這個錯，原因是我將分支上的幾個文件刪除了，導致合併報錯。 Merge tracking not allowed with missing subtrees; try restoring these it
2020-02-23 17:01:46
原创 centos7搭建flink-1.7.2-bin-hadoop27-scala_2.12 yarn模式集羣
flink集羣 flink可以基於自身的standalone模式進行分佈式集羣計算，也可以利用第三方資源管理器完成分佈式集羣計算。目前比較流行的第三方資源管理器包括Hadoop Yarn，Apache Mesos，Kubernetes等。
2019-10-26 05:37:33
原创 IDEA配置flink開發環境及local集羣代碼測試
背景： 最近公司需要引入flink相關框架做一些大數據報表分析的任務，之前沒有實際接觸過flink，所以需要學習一下。此外，防止看完就忘，也爲了後續的回顧學習，因此在這裏做一個整理，也希望幫助到有需要的朋友。 環境準備： 我這裏是在自己的
2019-10-26 05:37:23
原创 IDEA2019.2.2版本安裝（附激活碼）
安裝 下載Windows版本的exe文件，下載後點擊exe文件進行順序安裝即可。最後選擇啓動版本的時候，如果是64位系統就選64位的啓動器。 安裝完成後可能會遇到雙擊IDEA圖標沒有反應的情況，這可能是因爲之前在當前電腦上使用過
2019-09-16 04:10:38
原创 eclipse安裝spring插件時報錯：An error occurred while collecting items to be installed
這個錯誤網上給出的解決辦法有很多，但我的原因是防火牆導致在線下載插件超時。所以直接關閉防火牆就可以解決了。 因此在以後安裝插件之類的時候，如果遇到卡主超時等問題時，可以考慮是不是防火牆的原因。
2019-07-30 02:47:57
原创 IntelliJ idea的maven工程提示：Cannot Resolve Symbol component
清除緩存重啓一下idea就行了 File->Invalidate Caches/Restart
2019-07-30 02:47:57