原创 Kafka問題(3)：Failed to allocate memory within the configured max blocking time 60000 ms
記錄kafka出現的問題，原因，與對應場景下的解決方案. 造成問題方式有很多種，這裏只是記錄遇到的或已知的，若有遺漏情況歡迎補充 由於問題很多出現在生產環境，故敏感信息已屏蔽，不影響問題介紹 文章目錄環境問題分析原因參考解決思路
2020-02-26 02:53:26
91
原创 大數據之Sqoop(一):Sqoop介紹與安裝部署
記錄sqoop的一些使用，複習下，此前項目中有用到，複習下 文章目錄簡介原理安裝準備下載部署修改配置文件 簡介 用於hadoop(hive)與傳統數據庫Mysql等間進行數據傳遞，可讓他們互相導入導出 sqoop2與sqoo
2020-02-26 02:53:26
原创 大數據之Storm（一）：集羣部署
介紹集羣的安裝與配置方式 文章目錄安裝包及環境安裝1.解壓安裝包2.修改配置文件3.分發配置好的安裝包4.啓動集羣5.查看集羣 安裝包及環境 安裝包：apache-storm-0.10.2.tar.gz 去storm官網下載
2020-02-26 02:53:26
原创 [ERR] Sorry, can't connect to node 127.0.0.1:6379
記錄下安裝redis集羣的問題，避免以後再瞎找解決方案 文章目錄錯誤原因解決防火牆問題redis服務本身問題ruby工具問題集羣創建工具問題安裝redis管理工具安裝成功redis集羣安裝參考文檔 錯誤 創建redis集羣時報
2020-02-26 02:53:26
原创 大數據之Hadoop（一）：Hadoop集羣搭建
本文詳細介紹了hadoop的集羣搭建 文章目錄環境修改主機名修改主機名和IP的映射關係關閉防火牆三臺機器創建同名用戶給用戶賦予執行權限安裝hadoop配置hadoop配置hadoop運行環境：hadoop-env.sh配置公共
2020-02-26 02:53:26
原创 Usage of API documented as @since 1.8+ 解決
idea導入工程報錯 文章目錄問題解決 問題 一般導入新工程或別人的工程會出這個問題:原因是低語言環境使用了高版本語言特性，比如jdk7環境使用了jdk8的特性 解決 修改idea的Language Level 若還未解決，
2019-07-30 10:08:02
原创 hadoop提交job失敗：java.net.ConnectException:Connection refused
記一次hadoopp提交任務失敗 文章目錄問題排查與解決解決 問題 info日誌 2019-07-18 11:40:50 386 [QuartzScheduler_Worker-1:203538] - [INFO] org.a
2019-07-30 10:08:02
原创 log4j不打印詳細錯誤堆棧
記一次排查問題時發現日誌不打印詳細堆棧的情況 文章目錄背景現象解決 背景 調用打印日誌的代碼： LOGGER.error("actionDetailBiz max monitorTime upload data error,
2019-06-13 11:56:38
原创 Kafka服務報錯：java.nio.BufferUnderflowException 的解決
一次測試環境kafka服務報錯解決 文章目錄問題現象問題分析得出原因解決 問題現象 kafka集羣由3臺組成，消費者生產者都正常在跑，數據也沒啥問題，但是kafka服務端仍然在報錯，報錯信息如下： [2019-05-31 10
2019-06-12 02:30:54
8
原创 數據結構與算法：優先隊列（堆）
一種數據結構，特殊場景使用，同樣是使用堆結構，利用堆的特性 文章目錄概要概述圖解優先隊列構造初始堆進行入隊列演示進行出隊列演示代碼實現堆 優先隊列特點優先隊列一般應用場景 概要 code語言：java、c 測試環境：win、ja
2019-04-16 12:05:26
原创 數據結構與算法：堆排序
網上看了下很多堆排序的介紹，有些介紹很容易懂，自己再結合書上介紹的，網上沒有的，以自己的理解，就當做個筆記 文章目錄概要概述堆排序幾個重要的點構造初始堆圖解堆排序圖解代碼實現（java）堆排序特點堆排序應用場景 概要 code語
2019-04-15 11:36:55
原创 數據結構與算法：hash（散列表）
介紹hash散列表數據結構的個人理解 文章目錄概要hash概述裝填因子hash函數hash函數演繹爲什麼說hash函數決定一個hash結構性能好壞解決hash衝突分離鏈接法分離鏈接法缺點開放定址法線性探測法線性探測法特點平方探測法
2019-04-14 13:44:46
原创 大數據工具：IKAnalyzer分詞工具介紹與使用
簡單介紹IKAnalyzer分詞工具與使用 文章目錄簡介IKAnalyzer的引入使用IK的兩個重要詞典IK的使用 簡介 以下簡介參考前輩和項目文檔介紹 爲什麼要分詞呢，當大數據處理中要提取語句的特徵值，進行向量計算。所有
2018-11-04 00:09:44
原创 雲服務器環境安裝與配置：kafka集羣
本文詳細說明kafka集羣安裝和命令行的基本使用 文章目錄環境安裝1，傳包與解壓2，創建log文件夾3，配置kafka4，分發配置好的kafka文件5，修改另兩臺文件中的broker.id值和host.name值6，啓動kafka
2018-11-04 00:09:44
原创 雲服務器環境安裝與配置：mongodb
本文詳細介紹單機mongodb安裝 文章目錄環境安裝1、下載MongoDB（64位）2、安裝MongoDB3、重新綁定mongodb的配置文件地址和IP4、加入開機啓動mongodb5、連接進入mongodb6、客戶端連接測試 環
2018-10-26 23:59:30