原创 ZooKeeper應用場景-集羣管理
集羣機器監控：這通常用於那種對集羣中機器狀態，機器在線率有較高要求的場景，能夠快速對集羣中機器變化作出響應。這樣的場景中，往往有一個監控系統，實時檢測集羣機器是否存活。過去的做法通常是：監控系統通過某種手段（比如ping）定時檢測每個機器
2020-06-24 07:02:12
1
原创 sh腳本例子指定日期的rerun
#!/bin/bash is_cr=0 sources=$1 START_DATETEN=$2 END_DATETEN=$3 [[ $sources
2020-06-24 07:02:10
2
原创 關於異常 java.lang.NoSuchMethodError: scala.Predef$.ArrowAssoc(Ljava/lang/Object;)的處理
接上個blogpost-http://blog.csdn.net/lzlchangqi/article/details/50631341 環境配置好後進行了開發 查詢，下面是寫了一個函數查詢hive的兩column，把這兩列以key va
2020-06-24 07:02:09
9
原创 HTTP瀏覽器緩存機制
1、HTTP瀏覽器緩存機制 清晰明瞭的介紹 http://www.cnblogs.com/sunxucool/p/3342790.html 2、HTTP 頭緩存Last-Modified，ETag，Expires 附加代碼介紹瞭如
2020-02-23 13:32:36
原创 Zookeeper的配置
ZooKeeper的功能特性是通過ZooKeeper配置文件（Zoo.cfg）來進行控制管理的。這樣的設計其實有其自身的原因。通過前面對ZooKeeper的配置可以看出，在ZooKeeper集羣進行配置的時候，他的配置文檔是完全相同的(對
2020-02-23 13:32:36
1
原创 ZooKeeper應用場景-分佈式鎖實現範例
代碼運行環境： 1、下載zookeeper-3.4.*.tar.gz源碼包 2、新建一個java Project，例如TestProject 3、看到裏面的zookeeper-3.4.*/recipes/lock目錄，按照源碼packag
2020-02-23 13:32:36
原创 netty5.0之EventLoop
1、EventExecutorGroup使用它的next()方法負責提供EventExecutor，除此之外,負責生命週期的任務處理，允許以全局方式關閉所有任務(The EventExecutorGroup is responsibl
2020-02-23 13:32:36
原创 netty5.0之 ChannelPipeline和ChannelHandler
來自《Netty權威指南》 李林鋒 著。 Netty的ChannelPipeline和ChannelHandler機制類似於Servlet和Filter過濾器，這類攔截器實際上上職責鏈模式的一種變形，主要是爲了方便時間的攔截和用戶業務邏輯
2020-02-23 13:32:36
原创 sbt構建scala工程並導入scala-eclipse開發spark
本文介紹sbt構建Scala工程的步驟，以及導入scala-eclipse後如何開發spark項目和編譯打包部署程序的。 參考：http://www.tuicool.com/articles/f26Bjq http://www.
2020-02-23 13:32:36
原创 netty5.0之SingleThreadEventLoop & NioEventLoop
SingleThreadEventLoop繼承自SingleThreadEventExecutor這是一個標準的線程池的實現。和JDK中線程池的實現大同小異。主要的用處就是執行任務。 NioEventLoop繼承自SingleThread
2020-02-23 13:32:36
原创 netty5.0之Future和Promise
來自《Netty權威指南》 李林鋒 著。 1、Future功能 Future最早來源於JDK的java.util.concurent.Future，它用於代表異步操作的結果。相關API如下： 可以通過get方法獲取操作結果，如果操作尚未完
2020-02-23 13:32:36
原创 ZooKeeper的特性
來自《Hadoop實戰》陸嘉恆 1、ZooKeeper的數據模型 ZooKeeper擁有一個層次的命名空間，這和分佈式的文件系統非常相似。唯一不同的地方是命名空間中的每個節點可以有和它自身或它的子節點相關聯的數據。這就好像是一個文件系統，
2020-02-23 13:32:36
原创 Win7 自定義路徑配置路徑 cygwin部署hadoop
之前xp下使用cygwin搭建僞分佈式環境，namenode和datanode的路徑採用的都是默認，這樣format後會自動生成數據，啓動也沒問題。想要cygwin下載需要一個晚上得。需要的可以聯繫我。 hadoop路徑：C:\cygwi
2020-02-23 13:32:36