原创 linux wget下載jdk
wget直接下載jdk wget --no-cookies --no-check-certificate --header "Cookie: gpw_e24=http%3A%2F%2Fwww.oracle.com%2F; orac
原创 org.apache.hadoop.hbase.ClockOutOfSyncException報錯
Caused by: org.apache.hadoop.hbase.ipc.RemoteWithExtrasException(org.apache.hadoop.hbase.ClockOutOfSyncException):
原创 在shell腳本執行hbase命令
定時清理hbase表 ### 定時清理30天前產生的表 day=`date -d "-30 day" "+%Y%m%d"` hbase_table='migu:download_log'${day}'' echo $hbase
原创 flume設計性能優化
目錄 業務場景: 過程1(單flume): 過程2(多個flume並行處理): 過程3(多路複用(路由)模式): 下面一個flume的配置,和selector.header的java代碼介紹 業務場景: 每五分鐘會新生成一個
原创 報錯: Reported time is too far out of sync with master
一個hbase從節點掛掉了 報錯: Reported time is too far out of sync with master 解決方法: 從節點同步主節點的時間(主節點:192.168.4.1) napdate 192.1
原创 hbase源碼region分裂成兩個子region
org/apache/hadoop/hbase/regionserver/SplitRequest.java private void requestRegionSplit() { final TableName table
原创 報錯:Failed to start the file channel
flume Failed to start the file channel 29 Oct 2019 11:48:18,348 ERROR [lifecycleSupervisor-1-0] (org.apache.flume.chan
原创 hbase java創建表時設置TTL
hbase java創建表時設置TTL ColumnFamilies 可以以秒爲單位來設置 TTL(Time To Live)長度,一旦達到到期時間,HBase 將自動刪除行。 設置 hbase.store.delete.expi
原创 hbase分析之split策略
目錄 RegionSplitPolicy IncreasingToUpperBoundRegionSplitPolicy策略: SteppingSplitPolicy策略: ConstantSizeRegionSplitPolicy策略:
原创 java log4j打印信息
目錄 java log4j打印信息 java配置文件讀取 java log4j打印信息 log4j.properties #stdout configure log4j.appender.stdout=org.apache.log
原创 基於java nio實現的聊天室demo
實現的界面 客戶端 張飛用戶 劉備用戶 關羽用戶: 聊天室的具體功能如下: 1: 羣聊 2: 顯示在線人數 3: 用戶名信息 4: 用戶離線, 通知其他在線的用戶 聊天室代碼的github: https://git
原创 hbase報錯:java.io.IOException: Got error for OP_READ_BLOCK
2020-01-16 14:57:32,689 WARN [RpcServer.FifoWFPBQ.priority.handler=17,queue=1,port=6201] hdfs.BlockReaderFactory:
原创 hbase報錯: org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block
2020-01-19 16:37:05,531 INFO [mg011.tigard.com,6000,1579413911172_ChoreService_1] hdfs.DFSClient: Could not obtain
原创 hbase的從節點全被我搞掛了
測試環境: hbase 5個節點服務器。 服務器配置14cpu 60G 主要是記錄這個hbase從節點全掛掉的過程和一些自己的心得, 這次hbase的HRegionServer全部死掉幸好是在測試環境,及早發現。 主要的報錯:
原创 java nio 服務端如何知道客戶端斷開連接
服務器如何知道客戶端斷開了呢?????? 比如我想客戶端斷開後, 發送一些消息給其他的客戶端, 該怎麼辦呢 我是基於java nio 來實現的邏輯代碼。 在客戶端斷開後, 我們來debug追蹤一