原创 hive 使用

hive動態分區設置 set hive.exec.dynamic.partition=true;(可通過這個語句查看:set hive.exec.dynamic.partition;) set hive.exec.dynamic

原创 linux 桌面安裝

安裝步驟參見: CentOS 7命令行安裝GNOME、KDE圖形界面 https://www.linuxidc.com/Linux/2018-04/152000.htm Xmanager遠程桌面連接CentOS7 https://

原创 sqoop 安裝及使用

文章目錄解壓sqoop報錯java.lang.NoSuchMethodError:導入hbase不現實中文 數據源爲utf-8格式的漢字被自動轉換爲二進制文件 文章目錄解壓sqoop報錯java.lang.NoSuchMethod

原创 redis 編譯安裝 及使用

準備 yum -y install tcl 下載解壓 cd /usr/local/src wget http://download.redis.io/releases/redis-3.2.1.tar.gz tar -zxvf

原创 centos ping 未響應

1 查看ifcfg-enp0s3  未發現異常 2 重啓網卡  未發現異常 3 查看虛擬機網絡  nat轉換  修改爲橋接模式後網絡暢通

原创 hadoop 安裝配置

文章目錄大數據環境安裝機器準備機器配置靜態IP配置主機名配置linux 無密碼登錄ntp時間同步編輯配置文件 hadoop1 hadoop2 hadoop3 都需要編輯jdk 安裝zookeeper安裝zookeeper 使用ha

原创 maven 代碼混淆

proguard代碼混淆 <!-- Build Settings --> <build> <plugins> <plugin> <groupId>com.github.wvengen</groupId> <artifac

原创 外網ip獲取

純IP curl ip.6655.com/ip.aspx curl whatismyip.akamai.com curl icanhazip.com/ curl ident.me curl v4.ident.me 其他

原创 hadoop2.6.2centos 配置文件說明

文章目錄hadoop2.6.2centos 配置文件說明1修改hadoo-env.sh2修改core-site.xml3修改hdfs-site.xml4修改mapred-site.xml5修改yarn-site.xml6修改sla

原创 spark安裝配置

##spark安裝 下載spark2.2.0 下載地址 上傳spark 安裝java 參見jdk安裝 安裝scala scala安裝 ###安裝hadoop hadoop分佈式安裝 解壓 tar -zxvf spark-2.2.0

原创 flume 編譯

flume 筆記 源碼編譯 下載源碼 https://github.com/apache/flume/tree/release-1.7.0 編譯 mvn install -Dmaven.test.skip=true 重要事情說

原创 win10 右鍵添加命令行打開

win10 右鍵添加命令行打開 新建 a.reg ,內容添加如下,運行後右鍵就會出現 OpenCMDHere Windows Registry Editor Version 5.00 [HKEY_CLASSES_ROOT\Dir

原创 mysql在linux上安裝

  檢查是否安裝mysql rpm -qa | grep mysql 如果有 卸載mysql  rpm -e mysql  // 普通刪除模式  rpm -e --nodeps mysql  // 強力刪除模式,如果使用上面命令

原创 ntp時間同步

安裝ntp centos 6.4已經自帶了ntp了,無需安裝 檢查是否已安裝了ntp rpm -qa | grep ntp 如果需要安裝:yum -y install ntp 設置開機啓動 檢查是否開機啓動 sudo chkcon

原创 mysql 編譯安裝

  卸載舊版本 rpm -qa | grep mysql rpm -e --nodeps mysql 下載MySQL 5.6.14 cd /usr/local/src wget http://cdn.mysql.com/Dow