原创 hadoop常見錯誤以及處理方法
1、hadoop-root-datanode-master.log 中有如下錯誤： ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: I
2020-02-21 11:44:01
原创 實施hadoop大集羣（一）
本文從雲計算的實際項目中總結，具有很好的參考價值； 1，hadoop大集羣的設備選取： 普通pc就可以了，硬盤足夠大，多塊硬盤就可以；CPU只要四核以上；專門的存儲是不需要的；實施hadoop集羣的指導思想，我們用廉價的PC集羣來代替高大
2020-02-21 11:44:01
原创 hadoop-quickstart-命令行方式打包運行wordcount
在hadoop環境配置完成後，運行第一個例子程序： 1，創建文件 #echo "hello world" >> test1.txt #echo "hello hadoop" >> test2.txt 2，上傳文件到hdfs #cd ../
2020-02-21 11:44:01
原创 hadoop重啓虛機後hdfs中數據丟失，需要重新格式化問題
1，虛機每次重啓後，如果不格式化namenode，就錯誤，日誌如下： INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Registered FSNamesystemSta
2020-02-21 11:44:01
原创 hadoop---Unable to load native-hadoop library for platform的問題解決
當遇到-Unable to load native-hadoop library for platform的問題時，打開eclipse中的run as-》run configuration，在VM argument中指出native li
2020-02-21 11:44:01
原创 DevOps-chef的多節點環境搭建
轉載自：-wkq5325-ChinaUnix博客 前言： 前段時間一直想試驗一下DevOps的一些配置管理工具，後來因爲某些原因，就重點研究了chef。以自己的機器搭建了一個典型的多節點實驗環境。架構： 根據官方的chef的架構介紹，主要
2020-02-21 11:44:01
原创 linux配置java環境變量(詳細)
一. 解壓安裝jdk在shell終端下進入jdk-6u14-linux-i586.bin文件所在目錄， 執行命令 ./jdk-6u14-linux-i586.bin 這時會出現一段協議，連繼敲回車，當詢問是否同意的時候，輸入yes，回車。
2020-02-21 11:44:01
原创 linux查看cpu和core數量
cpu和core的信息都在/proc/cpuinfo中： 1. 查物理CPU的個數 #cat /proc/cpuinfo |grep "physical id"|sort |uniq|wc -l 2. 查邏輯CPU的個數 #cat /p
2020-02-21 11:44:01
原创 hadoop的成員項目簡介
Pig： Hadoop的客戶端；Pig Latin類似sql的面向數據流的語言；pig可以把pig latin映射爲mapreduce作業上傳到集羣運行，減少用戶編寫java的程序； 三種運行方式：shell，腳本，嵌入式 Zookee
2020-02-21 11:44:00
原创 Apache下FastCGI開發（重寫文章）
歡迎轉載，轉載請註明出處：http://hi.baidu.com/coffeefoam/item/06aac9be68966f402bebe32c 重新寫一篇利用Apache進行FastCGI開發的文章，其中配置部分有所改進 以下操
2020-02-21 11:44:00
原创 雲計算基礎概念
1，雲計算分類： Iaas-基礎設施及服務：從硬件和基礎設施架構方面考慮的；通過建立虛擬的計算，存儲和數據中心，使得能夠對寬帶、IO設備、PC、存儲等計算機基礎設施集中起來，形成一個虛擬的資源池對外提供服務。比如，亞馬遜建立的雲計算數據中
2020-02-21 11:44:00
原创 git commit 提交最新更改
當完成修改代碼後，需要提交代碼到遠程git服務器可以用以下命令： 假設有兩個版本2.8和master： 1，查看目前所在版本 git branch 2，獲取當前最新版本 git pull 3，把修改好的code文件添加到本地： git
2020-02-21 11:44:00
原创 刪除kvm虛擬機
1，查看kvm虛機： ~]# virsh list Id Name State ------------------------------------------------
2020-02-21 11:44:00
原创 如何添加或刪除ubuntu用戶和組
轉載來源：adolfmc - 博客園 在創建用戶時，需要爲新建用戶指定一用戶組，如果不指定其用戶所屬的工作組，自動會生成一個與用戶名同名的工作組。創建用戶user1的時候指定其所屬工作組users，例：useradd –g users u
2020-02-21 11:44:00
原创 HDFS HA: 高可靠性分佈式存儲系統解決方案的歷史演進
HDFS HA: 高可靠性分佈式存儲系統解決方案的歷史演進 轉載：http://blog.csdn.net/anzhsoft/article/details/23279027 HDFSHADRBDHDFS FederationHado
2018-09-03 15:31:16