前段時間搭建hadoop集羣做一些東西，積累了很多指令和一些調試經驗，怕以後忘記，在這裏做個備份，如果對大家有用，that's fine!
root 賬戶管理
su ->輸入密碼（$->#） exit->exit->退出終端
安裝中文輸入法
1、root登陸
2、yum install "@Chinese Support"
3、System->preferences->input method
4、ctrl+space 開關輸入法，切換輸入法等都可以在preference裏設置快捷鍵
ls/dir可以查看文件列表 ls -a 顯示隱藏
可以先進入某個目錄 右擊進入終端
cd /目錄
cd /home 進入home目錄 cd .. 返回上一層目錄 cd ../..返回上兩層目錄
關機（root）
shutdown -h now 關機
shutdown -r now 重啓
logout 註銷
date 顯示系統日期
mkdir dir1 dir2
mkdir -p /tmp/dir1/dir2
rm -rf 目錄名（刪除非空） rm -rf dir1 dir2
rm -f file1
rmdir dir1
mv -rf dir1 new_dir 重命名
cp file1 file2
cp dir/* . 複製一個目錄下所有文件到當前目錄
cp -a dir1 dir2 複製一個目錄
df -h 顯示已經掛載的分區列表
ls -ISr|more 以尺寸大小排列文件和目錄
du -sh dir1 估算目錄‘dir1’已經使用的磁盤空間
du -sk *|Sort -m 以容量大小爲依據依次顯示文件和目錄大小
user add user1
user del -r user1
usermod -c "user FTP" -g System -d /ftp/user1 -s /bin/nologin user1 修改用戶屬性
ls -lh 顯示權限
chown user1 file1 改變一個文件的所有人屬性
chmod go-rwx dir1 刪除羣組(g)和其他人（o）對目錄的讀寫執行權限
linux兩種軟件
1、軟件源代碼-》tar.gz
2、軟件安裝程序包-》.rpm
tar -cjvf *.bz
tar -xzvf *.tar.gz
1）有configue 則# ./configue #make #make install
2）如果是makefile文件 #make #make install
3）如果是Imake file文件 #xmkmf #make #make install
對於.rpm 1、安裝軟件 rpm -ivh rpm包名
#rpm -ivh apache**.rpm
2、升級軟件 rpm -uvh rpm包名
3、反安裝 rpm -e rpm包名
rar a file rar test_file 創建一個叫做“file.rar”的包
rar x file1.rar 解壓rar包
unrar e amp.rar
安裝*.sh 和*.bin sudo在普通賬戶下使用root權限得修改/etc/sudoers文件纔可以
*.sh=====>1、sudo sh *.sh 直接運行
2、sudo chmod +x *.sh
3、sudo ./*.sh 安裝到任意有權限的目錄
*.bin=====>1、sudo chmod +x *.bin
2、sudo ./*.bin
配置檢驗JDK
root #vi /etc/profile
export JAVA_HOME=JDK安裝目錄
export JRE_HOME=JRE安裝目錄
export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH
vi編輯器
編輯模式》》》》》
k,j,h,l上下左右箭頭鍵 w指定行右移光標，到下一字符開頭 ctrl+b =>pageup ctrl+f=>pagedown gg最上行 G最下行
rc，用c替換光標所指向的當前字符 5rc用c替換光標所指向的前5個字符 x刪除光標所指向的當前字符 nx刪除光標所指向的前n個字符
/str1正向搜索 ?str1反向搜索 n繼續找下一個出現位置 e(在指定行右移光標，到下一個字末尾) 0數字0，右移光標，到本行的開頭
$右移光標到本行的末尾 ^移動光標到本行的第一個非空字符 dd刪除光標所在行，並去除空隙 ndd刪除n行內容並去除空隙
u撤銷前一條命令的結果 vi visual模式 v字符選中命令 V行選中命令 .重複最後一條修改正文的命令
插入模式》》》》》
編輯模式下輸入i,a,I,A進入插入模式，退出插入模式按ESC，cd用輸入的正文替換光標所在的行
命令模式》》》》》
編輯命令 :w保存 :q在未作修改的情況下退出 :q!放開所有修改退出編輯程序 :d刪除光標所在的行 :3d刪除3行
vi命令模式提供shell切換命令，無須退出vi，即可執行linux命令 :!command 執行完shell命令 command後回到vi。
恢復文件 修改時產生以.開頭並以.sup結尾的臨時文件。若意外退出且沒有保存修改文件內容，可用恢復命令:recover也可以在啓動vi時利用-r選項
vim vi+特色功能，window版本工具等---gvim echo $ARGS 用來顯示環境變量
bc 計算器 clear清屏 reset重複終端
shell和vim切換：：：：
長時間離開vim--》用:shell或:sh，用exit或ctrl+D回到編輯器
短時間離開vim--》用:!command命令運行結束後，自動回到vim編輯器，然後按ENTER返回。
find /-name 文件名 chmod +x 文件名 start-all.sh ./start-all.sh
破解linux用戶名和密碼
開機linux 按e，選第二項按e，添加（空格+1）或（空格+single）回車，按b進入root，設置root密碼，exit。以其他賬戶登錄root，密碼爲設置的新密碼，修改噹噹前用戶密碼 passwd currentuser
查看ip地址：ifconfig
查看端口監聽：netstat -nap|grep 9000
安裝open office下載tar.gz 1. tar -xvzf ***.tar.gz 2.cd RPMS 3.rpm -ivh *.rpm 4.cd Desktop_integration 5. 選擇相應版本安裝第一個free版本就可以。
uname -r 查看內核版本（NTFS支持）
1、下載kernel_2.6.32_71.e16.i686.rpm
2、rpm _ivh ***.rpm
3、運行/sbin/modprobe ntfs 加載內核模塊（無輸出）
4、運行dmesg|grep NTFS 查看NTFS驅動版本
5、cat /proc/filesystems 出現
nodev
ext3
nodev rpc_pipefs
nodev outofs
vfat
ntfs
yum install gcc wget UKL cd ./configue make make install
mv file folder rm -f -r file
安裝VM-tools 1、需要查看虛擬機設置，將CD/DVD改成自動檢測，使用物理驅動器下載完就會進入
2、需要先copy出來，不能直接在CDROM中解壓
3、如果需要Perl，需要yum install perl
4、./vmware -install.pc
======================================hadoop===================
hadoop指令
程序的輸出目錄一般不能存在，除非設置覆蓋爲true。
運行hadoop程序 haddop jar /usr/opt/SingerIntegers_fat.jar wcin wcout
hadoop jar /usr/opt/MakeIntegersFile_fat.jar （必須用hadoop指令不能用hdfs指令）
首先將jar包複製到/usr/opt目錄下
1、刪除hadoop上指定目錄和文件 hadoop fs -rmr /user/t
hadoop fs -rm /user/ok.txt
2、將hadoop上某個文件down至本地已有目錄下
hadoop fs -get /user/ok.txt /home/t
3、查看指定目錄下的內容 hadoop dfs -ls /user/wangkai.txt
4、打開某個已存在文件 hadoop dfs -cat /user/wangkai.pt/data.txt
5、將本地文件存儲至hadoop hadoop fs -put /home/file.txt /user/t
6、將本地文件夾存儲至hadoop hadoop fs -put /home/dir_name /user
7、在hadoop指定目錄內創建新目錄 hadoop fs -mkdir /user/t
8、在hadoop指定目錄下創建空文件，使用touchz命令hadoop fs -touchz /usr/new.txt
9、將hadoop上某個文件重命名 hadoop fs -mv /usr/test.txt /usr/test.txt
10、將hadoop指定目錄下所有內容存爲一個文件，同時down至本地 hadoop dfs -getmerge /user /home/t
11、將正在運行的hadoop作業kill掉 hadoop job -kill [job-id]
安全模式：：離開安全模式 bin/hadoop dfsadmin -safemode leave
NameNode啓動首先進入安全模式，如果datanode丟失的block達到一定的比例（1-dfs.safemode.threshold.pct），則系統一直處於安全模式狀態即只讀狀態
dfs.safemode.threshold.pct（缺省0.999f）表示HDFS啓動的時候，如果DataNode上報的block個數達到了原數據記錄的block個數的0.999倍+時，可以離開安全模式，如果設爲1，則HDFS一直處於安全模式。有兩個方法離開安全模式：
1、修改dfs.safemode.threshold.pct 爲一個比較小的值，缺省0.999
2、hadoop dfsadmin -safemode leave 命令強制離開
用戶可以通過dfsadmin -safemode value 來操作安全模式，參數value說明如下： enter 進入安全模式 leave 強制NameNode離開安全模式
get 返回安全模式是否開啓的信息 wait 等待，一直到安全模式結束
linux下面的SELINUX相當於windows下的內部防火牆，目的在於明確指明某個進程可以訪問哪些資源，對系統服務、文件權限、網絡端口訪問有極其嚴格的限制，例如，如果對一個文件沒有正確安全上下文配置，甚至你是root用戶，也不能啓動某服務。
查看防火牆狀態 /etc/init.d/iptables status /sbin/chkconfig --level 2345 iptables off
暫時關閉防火牆 /etc/init.d/iptables stop
重啓iptables: /etc/init.d/iptables restart
netstat -ano|grep 9000
lsof -i :9000
輸入mr-jobhistory-daemon.sh start historyserver 不需要再花時間重連服務器
如果發現系統支持IPV6 hadoop會啓用IPV6，在hadoop-env.sh中添加一句：
HADOOP_OPTS=-D java.net.preferIPV4Stack=true
hadoop啓動出現問題，先去修改/etc/hosts 將127.0.0.1 localhost刪掉整行
運行別人寫的程序或者示例程序時，一般會有包名，自己寫的當然有些時候也會有，這時需要注意命名空間
hadoop jar /usr/opt/wordcount_fat.jar gucas.Ikl.Simple.WordCount wcin/search.log wcout
hadoop 默認按key升序排序