原创 hbase 與 hive配置

環境: Hadoop1.0.4, Hbase0.94.0, Zookeeper 3.4.3, 這三個組件已經在3臺機器master, s1, s2上以集羣方式安裝並運行。 1> 下載hive-0.9.0.tar.gz 並解壓到/opt

原创 CSV數據導入mysql數據庫

1. 一個CSV文件2.5G 用excel打開直接死機,通過UltraEdit可以加載到文件裏面,但是無法保存和拷貝。 2.將文件切分成幾個文件,通過CVS拆分工具拆分() 3.通過mysql data load file 命令將文件導入

原创 系統吞吐量、TPS(QPS)、用戶併發量、性能測試概念和公式

一.系統吞度量要素:   一個系統的吞度量(承壓能力)與request對CPU的消耗、外部接口、IO等等緊密關聯。單個reqeust 對CPU消耗越高,外部系統接口、IO影響速度越慢,系統吞吐能力越低,反之越高。 系統吞吐量幾個重要

原创 linux 自動重啓tomcat 腳本

Tomcat作爲開源的服務器,性能與穩定性上比起一些商業服務器還是要差一些。將項目部署到Tomcat後隔段時間就會死掉,出現這種問題的主要原因可能是內存數據溢出,因爲Tomcat容器在發生大量與數據庫交互查詢或者操作的時候很容易出現問

原创 linux 常用命令集

1、查看端口占用情況的命令:lsof -i 2、查看某一端口的佔用情況: lsof -i:端口號 3、service iptables stop (不推薦)   開放8080端口的解決步驟如下:   1、修改/etc/sys

原创 CentOS 6.4 安裝OpenSSH Server服務(SSH遠程)

作者:飄雲 發佈於:2013-3-14 11:48 Thursday 分類:系統相關 安裝好了CentOS 6.4,我想讓它作爲一個服務器,可以讓我的Windows 7電腦遠程登錄。 安裝OpenSSH Server首先,我們搜索

原创 sqoop 安裝

運行環境  centos 5.6   hadoop  hive sqoop是讓hadoop技術支持的clouder公司開發的一個在關係數據庫和hdfs,hive之間數據導入導出的一個工具 在使用過程中可能遇到的問題: sqoop依賴

原创 ETL 工具下載全集 包括 Informatica Datastage Cognos( 持續更新)

隨筆- 109  文章- 3  評論- 606  Datastage 8.0 BT種子下載:http://files.cnblogs.com/taven/Datastage_8.0.rar   Informa

原创 hadoop+hbase+zookeeper啓動步驟

1. hadoop 啓動 ./start-all.sh 或是 hadoop namenode -format ./start-dfs.sh ./start-yarn.sh  jps 查看啓動情況 2.zookeeper啓動 ./zkS