原创 hive udf寫hbase
最近遇到新的需求，需要將hive腳本運行輸出的結果存入hbase，故寫出一個通用的hive udf來滿足該需求，具體代碼如下： import org.apache.hadoop.conf.Configuration; import o
2020-06-28 17:20:37
原创 disconf-基於xml分佈式配置管理mongo
mongodb目前有3種部署方式：單機、副本集（replica set）、分片（shard），本文結合disconf介紹這3種部署方式該如何和disconf配合使用 單機版本 a. 在resources文件夾下新建mongo-singl
2020-06-28 17:20:37
原创 disconf-基於xml分佈式配置管理cronjob
本文介紹disconf如何管理cronjob的配置 spring的cronjob有2種實現方式：存入哦你job和scheduler 新建cronjob.properties，內容爲：# cron jobtask.pool.size=
2020-06-28 17:20:36
1
原创 disconf-基於xml分佈式配置管理redis
本文介紹disconf如何管理redis（單機和集羣）的配置 redis單機 注意，pom中jedis的版本必須2.4.2及以下版本，否則報錯 新建redis-single.properties，內容爲：# redis jedis ve
2020-06-28 17:20:36
原创 mongodb集羣搭建-分片
分片介紹 當存入mongo的數據很大的時候，我們需要選擇將數據分片存放到不同的機器上。分片不同於副本集，副本集中主從存放的數據都一樣，但是不同分片存放的數據是不同的，所有的分片組成了集羣，存放着所有的數據。配置服務器 配置服務器相當於集羣
2020-06-28 17:20:36
原创 disconf-基於xml分佈式配置管理mysql
上一篇介紹了基於annotation的分佈式配置管理，但該種方式對代碼的侵入性太大，我們已有很多項目需要使用該配置平臺，所以不能有太多的代碼侵入性，這篇來介紹下基於xml的分佈式配置管理，以mysql舉例，我們項目中連接mys
2020-06-28 17:20:36
原创 redis3.0.6集羣安裝部署
前期準備 目前官網最新的redis stable版本爲：3.0.6（時間點：2015年12月21日下午14點54分），支持集羣安裝部署。 首先下載最新版的tar包，scp到機器上（本文將會安裝6個節點，3個主節點、3個從節點，由於redi
2020-06-28 17:20:36
原创 disconf-搭建
環境配置 disconf運行需要如下軟件：mysql、nginx、tomcat、zookeeper、redis，這個網上可以找到很多種安裝配置的方法clone disconf disconf的代碼在github上開源了，是一個很好的分佈式
2020-06-28 17:20:36
原创 基於yarn的公平調度實例
場景描述 假設遇到這樣的客戶，需要在公司內部的集羣上進行任務提交運行，客戶的任務是每天跑取一些比較簡單的mr程序（凌晨提交上來，需要在當天的6點之前運行結束），而公司內部自己需要用集羣做相應的計算，計算主要是每個月的月初開始執
2020-06-28 17:20:36
原创 不等key的reduce
場景描述 假設有這樣的場景，現在需要計算文章標題的相似度，具體算法見http://www.lanceyan.com/tech/arch/simhash_hamming_distance_similarity.html。接下去
2020-02-24 03:35:58
原创 mongodb複製-副本集
複製簡介 配置一個單節點的mongo服務器適用與學習和測試環境，在線上真正的生產環境中我們需要使用複製將數據副本保存在多臺服務器上，一臺或者多臺服務器掛掉之後可以順利得通過選舉算法選舉出新的主節點。 這樣的多臺
2020-02-24 03:35:58
原创 disconf-註解式分佈式配置
disconf-web配置 在disconf-web上點擊新建app創建一個新的app，這裏假設app名字爲：app_test在disconf-web上點擊新建配置文件新建一個配置文件，APP選擇剛剛的app_test，版本自定義成：0.
2020-02-24 03:35:58
原创 disconf-基於xml分佈式配置管理hbase
本文介紹如何使用disconf管理hbase的配置 新建hbase.properties，內容爲：# hbase confighbase.quorum=iphdfs.namenode.host=iphdfs.namenode.port
2020-02-24 03:35:58
原创 spring-boot使用logback的坑
最近在寫一個logback的kafka appender，無意中發現spring-boot在使用logback時的一個坑用ConsoleAppender.java來舉例，假設在logback.xml中使用了該appender，那麼這個類的
2020-02-24 03:35:48
原创 docker創建disconf鏡像並應用
由於disconf的環境比較複雜，不適合使用dockerfile的方式進行創建，我們使用commit的方式進行創建。 啓動容器 選擇一個ubuntu:14.04的基礎鏡像，進入鏡像（sudo docker run -ti -d imag
2020-02-24 03:35:48