原创 hiveQL
create table student( id string, name string ) row format delimited fields terminated by ‘\t’; 將本地文件加載到表中 load data l
2018-11-14 10:36:26
原创 centos安裝hive
安裝hive 前提:首先hadoop集羣環境要能跑起來 1.先在網上下一個hive的壓縮包 2.然後解壓 3.解壓完將 這個jar包傳到hive的lib文件夾下 4.在 /etc/proflie 下將HIVE_HOME和path配置
2018-11-13 01:42:39
原创 centos7安裝 my sql
安裝mysql步驟: 1.sudo yum -y install wget 2.wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm 3.sudo rp
2018-11-13 01:42:39
原创 打包eclipse中的MapReduce類及在linux上運行jar出現的問題
注意:我使用的是centos7+hadoop2.7.3的環境 今天將eclipse中寫好的MapReduce打成jar包傳到linux服務器上，跑了下hadoop集羣。 首先先記錄下如何將eclipse的工程打成jar包 1.選中你要
2018-11-07 10:19:00
原创 MapReduce中自定義類並序列化
今天操作了一下MapReduce，並自定義了類進行輸入輸出。 其中出現了一些問題:就是該如何序列化。 然後將輸出中的key-value分別使用自定義的類。 當value爲自定義的類時 發現當value爲自定義的類時，此類一定要繼承wr
2018-11-07 10:18:49
原创 利用JUnit實現對hadoop中javaAPI的測試
package gorilla.test; import java.io.FileInputStream; import java.io.FileNotFoundException; import java.io.FileOutpu
2018-11-04 11:10:45
原创 MapReduce模板
package gorilla.util; import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.conf.C
2018-11-04 11:10:45
原创 HDFS讀寫流程
HDFS寫數據流程 client發起文件上傳請求,通過RPC與NameNode建立連接,NameNode檢查目標文件是否已經存在,父目錄是否存在,並檢查用戶是否有相應的權限,若檢查通過, 會爲該文件創建一個新的記錄,否則的話文
2018-11-04 11:10:45
原创 類的加載
1.加載 將類的.class文件加載到方法區 創建一個Class對象(表示就是.class文件) 相當於文件的對象 2.連接 驗證 驗證一下類的內部結構(成員變量 和 方法) 準備 爲靜態變量或靜態方法開闢空
2018-11-04 11:10:45
原创 基於僞分佈式hadoop搭建完全分佈式
上篇博客中，我們搭建了單機版和僞分佈式版的hadoop。但是在真正的開發中都是用的完全分佈式hadoop環境。 因此今天我們就來搭建一下完全分佈式hadoop環境。 前提:有四臺解壓了hadoop和javajdk，且其中一臺作爲nam
2018-11-04 11:10:44
原创 JUnit中的註解
利用JUnit註解完成對java程序的測試 註解@Before @Before 在執行每個方法之前，會有公共的事情，可以寫。會在每個方法執行之前調用 @After則與@Before相反 @Test註解 可以不需要寫在main方法 添加
2018-11-04 11:10:44
原创 linux搭建單機版和僞分佈式hadoop
前提:我使用的window操作系統，然後下載的VMware創建虛擬機，然後在xshell中進行操作，並使用filezilla進行文件的上傳。這些可以自行百度搜索下載。 單機版hadoop環境搭建 首先我們用VMware創建一個新的虛擬
2018-10-27 11:00:38
2
原创 linux設置用戶名並使用命令設置密碼
useradd username 方法1. passwd 密碼 來手動設置密碼 方法2. echo “密碼” | passwd username --stdin 這樣就直接設置成功了
2018-10-27 11:00:38
原创 servlet連接數據庫實現登錄
實現了一個簡單的連接數據庫查詢用戶名是否匹配，並登錄且使用cookie實現記住賬戶密碼的操作。 一下是代碼。 封裝的一個Connection工具類 package com.xx; import java.io.IOException
2018-10-13 10:26:13
原创 Servlet中的一些基本方法
獲取servlet配置信息(需要在web.xml中進行配置) getServletConfig() 然後getInitParameter() 獲getInitParameterNames() 然後就可以獲取web.xml中的配置信息了
2018-10-10 10:26:11