原创 Spark Install
1. Spark install 01 1.1下載spark-2.4.4-bin-hadoop2.7.tgz 1.2.解壓 tar -zxvf spark-2.4.4-bin-hadoop2.7.tgz 1.3. mv
2020-07-04 14:29:00
原创 解決hadoop ambari 提示各service"黃色問號"
Ambari 所有Service提示黃色問號，一般爲heartbeat lost引起，而這種情況爲python版本問題解決方法：vim /etc/python/cert-verification.cfg[html] view plain
2020-07-04 14:29:00
原创 linux 硬盤格式化
1. fdisk -l 2.mkfs -t ext4 -c /dev/sdb1 (快速格式化：mkfs.ext4 /dev/sdb1) 3.mount /dev/sdb1 /data 4.df -h ll /dev/sdb1 mo
2019-05-07 00:36:32
原创 linux下使用磁帶備份
1. 將磁帶卷至起始位置 mt -f /dev/st0 rewind 2. 擦掉磁帶上的內容 mt -f /dev/st0 erase 3. 將磁帶卷至初始位置然後從磁帶機內彈出 mt –f /dev/s
2019-05-03 11:21:47
原创 Hadoop---Zookeeper安裝
配置完全分佈式zk集羣 --------------------- 1.挑選3臺主機 S101 ~ s103 2.每臺機器都安裝zk tar
2019-03-14 05:40:35
原创 Hadoop---HA安裝
配置細節 --------------- 1.s101和s108具有完全一致的配置，尤其是ssh. 將S108 authorized_keys cat 到S101中，並分發到其它node 2.
2019-03-14 05:40:35
原创 Hadoop--HDFS 安裝
1.刪除原系統上的JAVA rpm -qa|grep jdk rpm -qa|grep gcj yum -y remove java-1.7.0-openjdk-1.7.0.99-2.6.5.1.el6.x86_64 yum -y
2019-03-12 04:35:01
原创 解決Redhat 7 不能用yum安裝軟件
1.check yum在linux所安裝的包#rpm -qa| grep yumyum-utils-1.1.31-24.el7.noarchyum-langpacks-0.4.2-3.el7.noarchyum-metadata-pars
2018-09-02 22:47:57
原创 Linux rsyslog記錄指定的設備IP存放到指定的目錄位置
在/etc/rsyslog.conf中加上如下設定$template aaa,"/log/%$YEAR%-%$MONTH%/%fromhost-ip%/%fromhost-ip%_%$YEAR%-%$MONTH%-%$DAY%-%$HOU
2018-09-02 22:47:57
原创 HDFS API 例子
1. 列出目錄文件信息import java.net.URI;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileStatus;impor
2018-09-02 22:47:57
3
原创 解決Redhat 7 ambari安裝hadoop過程中出現myql安裝出錯
Redhat 7 ambari安裝hadoop過程中出現myql安裝出錯, check log, 這爲沒有可用的包所引起download mysqlrepo源# wget http://repo.mysql
2018-09-02 22:47:57
原创 Hadoop重要配置文件
l Hadoop的配置文件 1. Hadoop-site.xml, *-default.xml,*-site.xml,2. Core-default.xml: 默認的核心hadoop屬性文件。該配置文件位於下面JAR
2018-09-02 22:47:57
原创 解決hadoop ambari 提示各service"黃色問號"
Ambari 所有Service提示黃色問號，一般爲heartbeat lost引起，而這種情況爲python版本問題解決方法：vim /etc/python/cert-verification.cfg[html] view plain
2018-09-02 22:47:57
8
原创 解決Redhat 7無法自動啓動ntpd
redhat7 無法自動啓動ntp這是由於chronyd service所引起的問題關閉chronyd service就可以解決#systemctl disable chronyd#systemctl start ntpd
2018-09-02 22:47:57
3