原创 轉的-linux

linux系統查看命令 2010-08-06 10:24 最近看了一些Linux命令行的文章,在系統信息查看方面學到不少命令。 想起以前寫過的一篇其實Linux這樣用更簡單, 發現這些系統信息查看命令也可以總結出一篇小小的東西來了。

原创 flume-ng 使用系列

對變名日誌的處理,對於java工程可以簡單修改log4j的配置文件,增加flume配置即可 對於非java程序,採取規避的方案,當然如果你足夠強大可以重寫編譯flume代碼,自定義一個source type支持,將spoolDir 類型的

原创 elastic 連接插入更新刪除

es 客戶端 pom ---------------------------------------------   <dependency>    <groupId>org.elasticsearch</groupId>    <ar

原创 linux-3

shell 大括號、圓括號的使用 2010-08-09 11:20 在這裏我想說的是幾種shell裏的小括號,大括號結構和有括號的變量,命令的用法,如下: PHP 代碼: 1.${var} 2.$(cmd) 3.()和{} 4.${

原创 linux-7

今天需要寫一個Shell腳本。很簡單,判斷一個日誌文件是否大大於2G,如果大於2G則刪除。久了沒有寫bash,竟然一點都想不起來寫了。於是複習了一下,下面對今天的學習做個小結:1.字符截斷:如果是一般路徑的字符截斷可以用basename和

原创 Java內存泄露的理解與解決

Java內存泄露的理解與解決 Java內存泄露的理解與解決  轉載請註明出處:http://www.blogjava.net/zh-weir/archive/2011/02/23/345007.html Java內存管理機制 在C

原创 linux-5

shell 特殊字符 2010-08-09 11:35 1、{} 大括號: 用法一:通配符擴展 eg: ls my_{finger,toe}s 這條命令相當於如

原创 hbase自定義filter

參考鏈接http://mysun.iteye.com/blog/1584635 http://blackproof.iteye.com/blog/1924610 1: 實現FilterBase接口或者重啓其它已實現的filter,重載一

原创 hadoop mr數據流總結

原址:http://kissmett.iteye.com/blog/1887946 hadoop mr數據流  Java代碼   /*  符注:  ()內爲數據;[]內爲處理;  {}內爲框架模塊;  ()數據若無說明則

原创 linux-2

隨便記錄的shell 2010-08-05 17:44 一、用戶登陸進入系統後的系統環境變量: $HOME 使用者自己的目錄 $PATH 執行命令時所搜尋的目錄 $TZ 時區 $MAILCHECK 每隔多少秒檢查是否有新的信件 $PS1

原创 linux-4

shell 大括號、圓括號的使用 2010-08-09 11:20 在這裏我想說的是幾種shell裏的小括號,大括號結構和有括號的變量,命令的用法,如下: PHP 代碼: 1.${var} 2.$(cmd) 3.()和{} 4.${

原创 linux-4

shell 大括號、圓括號的使用 2010-08-09 11:20 在這裏我想說的是幾種shell裏的小括號,大括號結構和有括號的變量,命令的用法,如下: PHP 代碼: 1.${var} 2.$(cmd) 3.()和{} 4.${

原创 test命令

測試語句對變量的大小,字符串,文件屬性等內容內容進行判斷test命令可以用於字符串,數字,文件狀態等內容的測試文件狀態測試文件狀態測試指的是對文件的權限,有無,屬性,類型等內容進行判斷與其他語言不同的是。test命令的測試結果,返回0時表

原创 flume-ng 日誌收集到hbase

flume-ng  收集日誌 1:設計架構圖如下。 根據日誌模塊的量級,以及解析複雜性,決定是否設置loadbalance,實現負載均衡和failover 2:client-agent 設計 (1)使用tail -F 實時收集固定文件

原创 hbase 分頁瀏覽實現

hbase 實現分頁的關鍵仍然是rowkey的合理設計以及api的合理運用,與具體實現要求也相關 本例假設界面只有一個向上和向下按鍵的簡單實現 1:設置私有變量保存當前瀏覽頁的屬性,當前頁的首個rowkey,以及末尾的下一個rowkey