原创 hadoop相關－HBase體系結構
HBase的體系結構遵從主從服務器架構 主：HBase Master 從：HRegion Server羣 HBase中所有的服務器都是通過Zookeeper來協調 ，並處理運行期間可能出現的錯誤。 一、邏輯模型
2020-06-16 11:25:59
原创 nutch-2.0執行過程及hbase下webpage的變化更新
今天把nutch-2.0整個過程執行了一邊，並且分析了hbase下webpage的變化過程。測試環境是本地環境，即hbase只在本地運行。 整個執行過程如下： 1>inject 2>generate 3>fetch 4>parse 5>u
2020-06-16 11:25:59
原创 nutch-2.0源碼之InjectorJob
/******************************************************************************* * Licensed to the Apache Software Fou
2020-02-22 12:08:38
原创 eclipse下運行nutch-2.0
這是一個我折騰很久的問題，走了很多的彎路，至今仍然不會最簡單的方法，但是總歸算是殊途同歸吧。 官方的文檔中有介紹nutch-1.5在eclipse下的運行方法，地址是：http://wiki.apache.org/nutch/RunNu
2020-02-22 12:08:38
原创 nutch2.0完全分佈式部署配置
nutch2.0的分佈式環境依賴hadoop-0.20.2和hbase-0.90.*。 測試做在兩臺機器上，A(master)：192.168.20.215，B(slave)：192.168.20.214 目的是在A機上運行進程： H
2020-02-22 12:08:38
原创 不積跬步無以至千里－JobContext.java
今天開始鑽研Hadoop源碼，雖然我還沒有找到一個合適的高效的方法，但是我相信隨着逐步的深入，終有一天能夠找到，廢話不多說了，開始！ 現從mapreduce開始。 點贊 收藏 分享
2020-02-22 12:08:38
原创 Linux系統性能調優那些事兒
一、前提 我們可以在文章的開始就列出一個列表，列出可能影響Linux操作系統性能的一些調優參數，但這樣做其實並沒有什麼價值。因爲性能調優是一個非常困難的任務，它要求對硬件、操作系統、和應用都有着相當深入的瞭解。如果性能調優非常簡單的話，那
2018-09-03 15:15:45
原创 linux下IPTABLES配置詳解
原文地址：http://www.cnblogs.com/JemBai/archive/2009/03/19/1416364.html 如果你的IPTABLES基礎知識還不瞭解,建議先去看看. 開始配置 我們來配置一個filt
2018-09-03 15:15:45
原创 linux如何查看系統信息
一：cpu [root@srv /]# more /proc/cpuinfo | grep "model name" model name : Intel(R) Xeon(R) CPU X3220 @ 2.40G
2018-09-03 15:15:45
原创 postgresql hot-standby 配置
本文資料整理自網上，原始資料參見： master-slave配置： http://www.cnblogs.com/marsprj/archive/2013/03/04/2943373.html 主備切換： http://my.osch
2018-09-03 15:15:45
1
原创 集羣下命令的統一執行
爲了管理集羣，常常需要在整個集羣下執行同樣的命令，但是分別到不同機器上去一個一個的執行效率太低，所以就需要找到一種方式簡化整個過程。話不多說，直接給出方法： 一、使用ssh免密碼登陸執行 關於ssh的配置，本文不提，只是配置時注意權限的問
2018-09-03 15:15:44
原创 HBase性能調優
因官方Book Performance Tuning部分章節沒有按配置項進行索引，不能達到快速查閱的效果。所以我以配置項驅動，重新整理了原文，並補充一些自己的理解，如有錯誤，歡迎指正。 配置優化 zookeeper.session.tim
2018-09-03 15:15:37
2