原创 高性能消息系統——Kafka
什麼是Kafka？ 引用官方原文： “Kafka is a distributed, partitioned, replicated commit log service.” 它提供了一個非常特殊的消息機制，不同於傳統的mq。 官網：h
2020-02-25 20:03:14
原创 Storm應用系列之——集羣部署
先簡單的把本文要做的事羅列一下： 1. 安裝zookeeper集羣 2. 安裝Storm集羣，包括一個Storm的nimbus，在nimbus上啓用Storm UI 和兩個supervisor 3. 跑一個小例子證實安裝完成 注： 本例
2020-02-25 20:03:14
原创 Storm應用系列之——Topology部署
本系列屬個人原創，轉載請註明！ 原文地址：http://blog.csdn.net/xeseo/article/details/18219183 本系列源碼地址： https://github.com/EdisonXu/storm-sam
2020-02-25 20:03:14
原创 Storm應用系列之——可靠性與acker機制
本文屬原創系列，轉載請註明。 轉自：http://blog.csdn.net/xeseo/article/details/17754825 對於Storm，它有一個很重要的特性：“Guarantee no data loss” ——可靠
2020-02-25 20:03:14
原创 Storm系列之——基本概念
寫在前面的話： 請允許我廢話幾句。這個系列的文章發佈的時間是在我完成了Storm的項目開發之後才找出來時間寫的，在研究Storm過程中，國內較好的參考文章實在有限，大多是入門和概念剖析。Storm的GoogleGroup對
2020-02-25 20:03:14
原创 分佈式環境下創建唯一ID
在我目前的系統中，有多個系統會嘗試寫入數據庫。要求庫中表的第一個字段是全局唯一的ID（跨表）。 爲了實現該要求，想了如下的辦法： 1. 自行設計唯一規則； 2. 利用數據庫自增； 3. 利用外部統一的ID生成器。 1先不談。後面詳解。
2020-02-25 20:03:14
原创 用ELK監控系統請求和錯誤
本文系原創，轉載請註明。 本文地址：http://blog.csdn.net/xeseo/article/details/38817315 前言： 現在的系統，動則分佈式，分佈式情況下，錯誤的定位比傳統的單機要麻煩很多。因爲log
2018-09-04 03:05:30
原创 Kafka data structures in Zookeeper
轉自：https://cwiki.apache.org/confluence/display/KAFKA/Kafka+data+structures+in+Zookeeper 0.8: 1. Topic registratio
2018-09-04 03:05:30
原创 KafkaConsumer及其監控
Kafka目前爲java提供了兩種consumer的API： - high level consumer api 該consumer api 封裝了很多consumer需要的高級功能，如 Auto/Hidden Offset Manag
2018-09-04 03:05:29
原创 sublimetext2 自動format
記錄一下，免得每次安裝系統都得去找。 以前是裝插件，現在簡單了。 加一行： { "keys": ["ctrl+shift+r"], "command": "reindent" , "args": { "single_line": fal
2018-09-04 03:05:29
原创 64bit eclipse jvm params
-Dosgi.requiredJavaVersion=1.6 -Xms1024m -Xmx1024m -XX:PermSize=256m -XX:MaxPermSize=512m -Xmn256m
2018-09-04 03:05:29
原创 MySQL導出所有Index 和 約束
工作需要，記錄一下。 1. 導出創建自增字段語句： SELECT CONCAT( 'ALTER TABLE `', TABLE_NAME, '` ', 'MODIFY COLUMN `', COLUMN_NAME, '` ', IF(UP
2018-09-04 03:05:18
原创 HPROF: 一個Heap/CPU Profiling工具
無意中看到一篇，寫的非常好。轉載過來。 原文地址：http://www.cnblogs.com/linhaohong/archive/2012/07/12/2588657.html 2SE中提供了一個簡單的命令行工具來對java程序
2018-09-04 03:05:18
原创 數據統計分析調研結果
最近項目需要一個數據收集分析的功能，做了一些調研。 目前做網絡統計的方式有兩大類： 1. Page Tagging， 即頁面埋點；web端用js，移動端使用共用api。 2. Log file Analysis, 即log過濾分析； 兩者
2018-09-04 03:05:18
原创 動態數據透視表pivot table(行轉換列)
原文地址：http://buysql.com/mysql/14-how-to-automate-pivot-tables.html MYSQL下如何動態生成標題的數據透視表。 先用以下script生成一張包含若干屬性的表叫"proper
2018-09-04 03:05:18