原创 hbase寫入一段時間後變的越來越慢
一、概況 集羣環境如下表： 集羣 機器 存儲 內存 CPU 每日數據 HW大數據平臺 160臺 6PB 10TB 8000 10億 數據存儲在kafka中，130個分區，採用sparkstreaming
2020-06-24 03:02:58
原创 mpp動態新增和刪除分區的定時任務創建
動態創建分區的存儲過程 CREATE OR REPLACE FUNCTION "spiderman"."prc_job_add_partition"() RETURNS "pg_catalog"."void" AS $BODY$ D
2020-06-24 03:02:58
原创 oracle連接卡住，導致程序不運行
一 、概況 採用springboot的jpa讀取oracle的數據，大概300萬數據，運行一天左右之後，程序卡死，導致數據接入接不完。 二、排查思路 java生產級別的接入程序卡死是正常的，基本重啓就可以解決問題，但是重啓之後還是會卡死，
2020-06-24 03:02:58
1
原创 實時告警架構優化實戰
簡介 線上有一個告警服務採用sparkstreaming+kafka的模式實時處理數據進行布控告警，10s一個批次，34個executor，每個4core，kafka有260個分區，採用直讀的方式並且打開了慢執行推測。 運行一段時間後，都
2020-06-24 03:02:58
原创 從磁盤原理理解文件讀寫優化
目錄 案例背景 磁盤結構 盤面 磁道 柱面 啓停區或着陸區（LandingZone） 扇區 讀寫過程 磁盤碎片的產生（1） 希捷硬盤讀寫性能測試報告 文件碎片 文件碎片定義 產生 原因 文件碎片和連續文件讀取性能對比（100M相
2020-06-24 03:02:58
1
原创 如何通過jvm解決生產問題的實戰總結
目錄 jvm的基礎知識 內存模型 程序計數器 java棧 堆 本地方法棧 方法區 對象大小計算 對象結構大小 對象頭 對其補充 線程模型 ThreadPoolExecutor創建線程池 GC詳解 基礎工具 jvm案例排查講解 一般情況下，
2020-06-24 03:02:58
原创 微服務架構實戰
目錄 簡介 架構選型 組件介紹 架構設計圖 微服務架構體系構建-服務監控 微服務架構體系構建-服務註冊 微服務架構體系構建-服務網關 微服務架構體系構建-服務配置 微服務架構體系構建-熔斷器 微服務架構體系構建-服務託管 背景介紹 主要功
2020-02-25 01:21:53
原创 apaceh kylin的集成華爲大數據平臺
環境準備 FusionInsight Manager apache-kylin-2.6.4-bin-hbase1x centos7.3 3 × 48線程 + 500g內存 安裝包下載上傳 下載安裝包 http://mirror
2020-02-25 01:21:53
2
原创 phoenix整合springboot採用druid作爲連接池一點時間後報Connection is null or closed.
問題描述 項目高訪問量的時候，基本上線不到三天就會一直輸出下面的錯誤 org.springframework.jdbc.UncategorizedSQLException: StatementCallback; uncategorize
2019-10-26 09:48:40
21
原创 hbase客戶端認證緩慢解決
問題描述 異常日誌 2019-10-22 12:23:43.824 [pool-8-thread-115] INFO c.s.firstShoot.vehicle.VehicleFirstShootPerDay - 開始創建roari
2019-10-26 09:48:40
原创 java大對象引發的頻繁full gc及cpu飆高的調優歷程
問題描述 linux系統，執行top命令 -bash-4.2# top top - 08:57:47 up 147 days, 23:08, 2 users, load average: 67.32, 60.83, 58.97 Ta
2019-10-26 09:48:39
原创 zuul的併發請求數優化
Zuul的併發性能優化 服務：zuul網關服務，erreka-client服務（10個實例） 一. 筆記本壓測和linux服務器壓測的性能差距 剛開始用zuul代理erreka-client的接口/test/java-user，此
2019-04-13 08:36:56
20
原创 spark中如何使用logback日誌系統寫數據到es中
spark運行環境在yarn上，環境依賴log4j的日誌系統，但是我們上線的應用採用logback日誌，與log4j衝突，我們又不可能動環境中的jar包，那改怎麼辦呢？看如下代碼 第一步：引入相關jar的maven依賴 <pro
2019-04-09 08:00:01
原创 springboot集成日誌組件
如何管理微服務日誌 通過logback拓展組件，將所有微服務日誌蒐集到es，按天建索引，通過kibana展示 1.引入maven依賴 <dependency> <groupId>com.internetitem</groupId>
2019-04-03 07:56:12
原创 java提交spark任務到yarn平臺
一、背景 採用spark的方式處理，所以需要將spark的功能集成到代碼，採用yarn客戶端的方式管理spark任務。不需要將cdh的一些配置文件放到resource路徑下，只需要配置一些配置即可，非常方便 二、任務管理架構三、接口
2018-08-26 05:20:36