原创 hbase 與 hive配置
環境: Hadoop1.0.4, Hbase0.94.0, Zookeeper 3.4.3, 這三個組件已經在3臺機器master, s1, s2上以集羣方式安裝並運行。 1> 下載hive-0.9.0.tar.gz 並解壓到/opt
原创 CSV數據導入mysql數據庫
1. 一個CSV文件2.5G 用excel打開直接死機,通過UltraEdit可以加載到文件裏面,但是無法保存和拷貝。 2.將文件切分成幾個文件,通過CVS拆分工具拆分() 3.通過mysql data load file 命令將文件導入
原创 系統吞吐量、TPS(QPS)、用戶併發量、性能測試概念和公式
一.系統吞度量要素: 一個系統的吞度量(承壓能力)與request對CPU的消耗、外部接口、IO等等緊密關聯。單個reqeust 對CPU消耗越高,外部系統接口、IO影響速度越慢,系統吞吐能力越低,反之越高。 系統吞吐量幾個重要
原创 linux 自動重啓tomcat 腳本
Tomcat作爲開源的服務器,性能與穩定性上比起一些商業服務器還是要差一些。將項目部署到Tomcat後隔段時間就會死掉,出現這種問題的主要原因可能是內存數據溢出,因爲Tomcat容器在發生大量與數據庫交互查詢或者操作的時候很容易出現問
原创 linux 常用命令集
1、查看端口占用情況的命令:lsof -i 2、查看某一端口的佔用情況: lsof -i:端口號 3、service iptables stop (不推薦) 開放8080端口的解決步驟如下: 1、修改/etc/sys
原创 CentOS 6.4 安裝OpenSSH Server服務(SSH遠程)
作者:飄雲 發佈於:2013-3-14 11:48 Thursday 分類:系統相關 安裝好了CentOS 6.4,我想讓它作爲一個服務器,可以讓我的Windows 7電腦遠程登錄。 安裝OpenSSH Server首先,我們搜索
原创 sqoop 安裝
運行環境 centos 5.6 hadoop hive sqoop是讓hadoop技術支持的clouder公司開發的一個在關係數據庫和hdfs,hive之間數據導入導出的一個工具 在使用過程中可能遇到的問題: sqoop依賴
原创 ETL 工具下載全集 包括 Informatica Datastage Cognos( 持續更新)
隨筆- 109 文章- 3 評論- 606 Datastage 8.0 BT種子下載:http://files.cnblogs.com/taven/Datastage_8.0.rar Informa
原创 hadoop+hbase+zookeeper啓動步驟
1. hadoop 啓動 ./start-all.sh 或是 hadoop namenode -format ./start-dfs.sh ./start-yarn.sh jps 查看啓動情況 2.zookeeper啓動 ./zkS