原创 java多線程總結
一、 1、執行完同步代碼塊，就會釋放鎖 2、在執行同步代碼塊的過程中，遇到異常而導致線程終止，鎖也會被釋放 3、在執行同步代碼塊的過程中，執行了鎖所屬對象的wait()方法，這個線程會釋放鎖，進 入對象的等待
2020-02-24 20:41:34
原创 [WARN] Network error when fetching messages:storm-kafka-0.8導致kafka讀取數據丟失
2015-01-09T16:17:10.090+0800 s.k.KafkaUtils [WARN] Network error when fetching messages: java.net.ConnectException: Con
2020-02-24 20:41:34
原创 用mysql5.6.21源碼安裝mysql出現問題解決
安裝地址：https://www.cnhzz.com/mysql-5-6-21_install/ 一，登陸mysql時候出現：Segmentation fault(dumped) 解決： 是因爲缺少mysql-libs-5.1.61-4
2020-02-24 20:41:34
原创 KafkaSpout的核心邏輯都是由PartitionManager來實現的。
KafkaSpout的核心邏輯都是由PartitionManager來實現的。 但是這個類實現時候需要考慮的東西有些多，0.92至0.93，至當前(
2020-02-24 20:41:34
原创 net
import os,socket,time import threading def check_port(host,port): s = None for res in socket.getaddrinfo(host
2020-02-24 20:41:34
原创 java.io.IOException: No FileSystem for scheme: hdfs異常解決
Configuration conf = new Configuration(); conf.set("fs.hdfs.impl",org.apache.hadoop.hdfs.DistributedFileSystem.clas
2020-02-24 20:41:34
原创 netty學習之二:ByteBuf解讀
ByteBuf原理跟之前的ByteBuffer原理類似，只是擴展和彌補了ByteBuffer的不足，設計原理： 1、初始化writerIndex，readerIndex爲0 2、寫入N個字節後： 3、讀入M<N字節後： 4、di
2020-02-24 20:41:34
原创 解析operators
package test.util.ip; import java.io.File; import java.io.FileInputStream;
2020-02-24 20:41:34
原创 auto.offset.reset解釋
auto.offset.reset largest What to do when there is no initial offset in ZooKeeper or if an offset is out of range: *
2020-02-24 20:41:34
原创 storm spout，bolt超時處理和fail處理
如果toplogy在debug模式下，如果發現__tick打印，則是ack超時導致的，如果打印__ack_fail打印則是消息fail導致的 分別對應的變量backtype.storm.SYSTEM_TICK_STREAM_ID = "_
2020-02-24 20:41:34
原创 分析storm各個線程堵塞原因
1、Thread-4-kafkaSpout-EventThread線程處於長時間等待狀態，是正常行爲，該線程的作用： 一開始就進入無限循環，從隊列waitingEvents中獲取事件，如果沒有就阻塞等待 2、Thread
2020-02-24 20:41:34
原创 storm NotSerializableException: java.io.BufferedWriter解決
org.apache.storm.zookeeper.server.NIOServerCnxnFactory - Thread Thread[main,5,main] died java.lang.RuntimeException: ja
2020-02-24 20:41:34
原创 簡單配置mysql主從複製
1，搭建slave節點,簡單配置my.cnf文件如下： server_id = 1#要唯一，不能和其他mysql一樣 datadir=/usr/local/mysql/data character-set-server=utf8 log
2020-02-24 20:41:34
原创 netty學習之一:java.nio.ByteBuffer
public class App { public static void main(String[] args) { ByteBuffer buffer = ByteBuffer.allocate(88); String v
2020-02-24 20:41:34
原创 sqoop導數據到hive失敗
1、sqoop異常現象： FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. InvalidObjectException
2018-09-01 22:30:22