原创 sqoop的import與export及其腳本使用
Sqoop官方網址：http://sqoop.apache.org/ 一、Sqoop的誕生 1、存在的問題 ⑴RDBMS：數據大量存儲在RDBMS（Oracle、MySQL、DB2等）上，如果需要對數據進行分析，需要將這些數據遷移到H
2020-06-25 09:38:53
原创 MapReduce八股文模板
package com.bruce.mapreduce; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apac
2020-06-25 09:38:43
原创 shell中test命令用法詳解
test命令用法。功能：檢查文件和比較值 1）判斷表達式 if test (表達式爲真) if test !表達式爲假 test 表達式1 –a 表達式2 兩個表
2020-02-23 20:56:26
原创 Linux系統常用基本操作（二）
一、用戶和用戶組命令（對用戶的操作應該在root權限下） 1、超級用戶：就是root用戶，擁有至高無上的權限（root用戶在實際生產環境中儘量不要使用）； root用戶的UID爲0； 2、普通用戶：UID從500開始的；3、僞用戶：UI
2020-02-23 20:56:26
原创 linux 增加用戶 useradd 用法小結及配置文件說明
在Linux 系統中，所有的用戶和組像一個國家。如果國家要繁榮昌盛的話，需要治理得當，需要有主席或者總統，以及地方官員和老百姓組成。在linux 中如果你對安全需求比較苛刻，完全可以限制用戶的各種行爲，不同用戶的權限是不
2020-02-23 20:56:26
7
原创 Hadoop分佈式集羣環境搭建
環境配置：VMware10 + CentOS 6.5 + JDK1.7.0_67 + Hadoop 2.5.0 一、集羣規劃（以3臺虛擬機爲例） 二、準備系統環境 1、配置靜態IP和DNS # vi /etc/sysconfig
2020-02-23 20:56:26
原创 Linux系統常用基本命令（三）
一、linux 軟件包管理（安裝，卸載，升級，查詢） 1、主要是針對服務器；2、windows中所有的軟件包不能直接Linux中使用；3、軟件包： -> 源碼包（腳本）--》特點：免費、開源 .src ->二進制包（rpm
2020-02-23 20:56:26
原创 Linux系統常用基本操作（一）
一、Linux命令行 [user@bigdata ~]$ [root@bigdata ~]# 1、user、root 當前操作的用戶； 2、@bigdata 當前的主機名； 3、~ 當前用戶主目錄，如/home/user ； 4、$ 當
2020-02-23 20:56:16
原创 hive2.x異常（一）
問題描述 在安裝好hive2.x之後，可以進入hive命令行，但相關操作會報異常，如我們通常測試hive是否安裝好，用show databases;來測試，但在hive2.x會報如下異常：hive> show databases;
2018-08-22 13:03:33
原创 hadoop異常（ssh公鑰認證）
[hadoop@bruce02 hadoop]$ start-dfs.sh Starting namenodes on [bruce02.mydomain] bruce02.mydomain: Permission denied (pub
2018-08-22 13:03:32
原创 Scala高階函數與隱式轉換
Scala 官網：http://www.scala-lang.org/ 一、高階函數 1、函數化簡 package com.example.scala /** * Created by Bruce on 2017/6/12. */
2018-08-22 13:03:32
原创 Scala的LRU算法實現
/** * Created by Bruce on 2017/6/15. */ /** * Input：array = [1,2,3,5,8,4,5,2,9], size = 4 * Output: result = 8 *
2018-08-22 13:03:32
1
原创 Scala類與模式匹配
Scala 官網：http://www.scala-lang.org/ 一、類 1、main /* * main method * ⑴如同Java中，如果要運行一個程序，必須編寫一個包含main方法的類一樣； * 在Scala中，
2018-08-22 13:03:32
原创 xml文件格式化腳本
xml文件格式化腳本先創建臨時目錄mkdir ~/tmp#!/bin/bash#校驗參數個數if [ $# != 1 ]then echo "please input at least one parameter,for examp
2018-08-22 13:03:32