原创 JVM垃圾收集器總結
Serial收集器： 1、是一個單線程的收集器，“Stop The World” 2、對於運行在Client模式下的虛擬機來說是一個很好的選擇 4、簡單而高效 Serial Old收集器 1、Serial收集器的老年代版本，它同樣是一個
2019-04-05 15:00:04
1
原创 Nginx日誌常用統計分析命令
IP相關統計 統計IP訪問量（獨立ip訪問數量） awk '{print $1}' access.log | sort -n | uniq | wc -l 查看某一時間段的IP訪問量(4-5點) grep "07/Apr/2017:0[4
2019-04-05 15:00:04
原创 JVM調優總結
堆大小設置 JVM 中最大堆大小有三方面限制：相關操作系統的數據模型（32-bt還是64-bit）限制；系統的可用虛擬內存限制；系統的可用物理內存限制。32位系統下，一般限制在1.5G~2G；64爲操作系統對內存無限制。我在Windows
2019-04-05 15:00:04
原创 linux中/etc/security/limits.conf配置文件說明
linux資源限制配置文件是/etc/security/limits.conf；限制用戶進程的數量對於linux系統的穩定性非常重要。 limits.conf文件限制着用戶可以使用的最大文件數，最大線程，最大內存等資源使用量。 * soft
2019-03-07 13:01:49
原创 spark程序中調用shell腳本
scala直接調用shell腳本是不行的，但是可以利用java調用shell腳本然後在spark代碼中引入java代碼實現。 參考：java代碼調用shell腳本 shell腳本必須在spark的driver端調用，在worker端
2019-02-28 13:02:45
2
原创 java代碼調用shell腳本
public void importDateTohive() { try { String shpath = "/data/hadoop/percisettask/2_merge_userlog.sh
2019-02-27 13:02:05
原创 JVM參數配置
參數解釋： -Xms: 初始堆大小 -Xmx: 最大堆大小 -Xmn: 年輕代大小 -XX:+PrintGCDetails 打印gc日誌詳情 -XX:SurvivorRatio=8 eden與survivor的比例，當爲8的時候，eden佔
2019-01-24 13:01:58
原创 大數據學習網站
都是些精華網站，有助於個人提升 小象學院Spark學習問答 http://wenda.chinahadoop.cn/question/4244 http://wenda.chinahadoop.cn/feature/bigdata htt
2019-01-24 13:01:58
原创 nginx聯合lua打造大數據日誌採集系統個性化需求
上篇文章介紹了nginx.conf的參數和變量及實現根據給定的參數實現日誌動態分發。但是如果參數不固定呢？比如上篇我固定參數arg2值爲click,view,look,content四個，那如果生產系統中增加了一個類型play,searc
2019-01-24 13:01:58
原创 輕鬆理解Hbase面向列的存儲
說明：從嚴格的列式存儲的定義來看，Hbase並不屬於列式存儲，有人稱它爲面向列的存儲，請各位看官注意這一點。 行式存儲 傳統的數據庫是關係型的，且是按行來存儲的。如下圖： 其中只有張三把一行數據填滿了，李四王五趙六的行都沒有填滿。因爲這
2019-01-24 13:01:58
原创 jdk運行模式由client vm切換到server vm
Client VM模式 輸入java -version命令： java version "1.8.0_161" Java(TM) SE Runtime Environment (build 1.8.0_161-b12) Java HotSp
2019-01-24 13:01:58
原创 Logstash解析嵌套Json
由於我們的埋點日誌是嵌套json類型，要想最終所有字段展開來統計分析就必須把嵌套json展開。 日誌格式如下： 2019-01-22 19:25:58 172.17.12.177 /statistics/EventAgent appk
2019-01-24 13:01:58
原创 nginx配置自定義變量實現日誌動態分發
Nginx是一個異步框架的 Web服務器，也可以用作反向代理，負載平衡器 和 HTTP緩存。下載地址：www.nginx.org。當我們實際用的時候需要先在配置文件中配置反向代理及負載均衡和日誌格式和文件地址。我nginx安裝地址爲/sof
2018-12-07 17:40:09
1
原创 JVM參數配置
參數解釋：-Xms: 初始堆大小 -Xmx: 最大堆大小 -Xmn: 年輕代大小 -XX:+PrintGCDetails 打印gc日誌詳情 -XX:SurvivorRatio=8 eden與survivor的比例，當爲8的時候，eden佔年
2018-09-29 15:13:10
2
原创 zookeeper分佈式協調機制及創建分佈式鎖
zookeeper基本概念要了解zookeeper如何創建分佈式鎖，先了解一下zookeeper。zookeeper官網給出解釋：Apache ZooKeeper致力於開發和維護開源服務器，實現高度可靠的分佈式協調。 Zookeeper,一
2018-09-29 15:13:10
2