大數據（巨型數據集合）
Linux+Hadoop+mr+zookeeper+hive+sqoop+hbase+flume
1 .Linux的目錄結構
2.三種網絡模式：
-bridged （橋接方式，默認是使用vmnet0虛擬網卡）
-net （網絡地址轉換模式，默認爲vmnet8虛擬網卡）
-host-noly（僅主機模式，默認使用vmnet1虛擬網卡）
4.虛擬網絡配置
5.linux中的命令
（1）man 找出某個命令的幫助文檔
例如：ls的幫助文檔
我們就可以打開終端，輸入 man ls ;
想要退出按q鍵，就可以退出；
也可以用ls --help，或者info ls
（2）Ctrl+R 查找歷史輸入過的命令 （方向鍵的上下鍵也可以翻出來）
Ctrl+c Ctrl+z 終止或者退出當前操作
（3）Table鍵的作用
1.自動補全命令或者目錄
2.在某個目錄下只有一個目錄的時候就可以不用輸入首字母直接敲擊table鍵，既可以自動補全目錄
3.雙擊table鍵時一般會顯示所有命令或者列出某個目錄下的所有目錄和文件；
（4）command [-option] 路徑
uname 打印出虛擬機版本信息
用man uname查看
date 查看時間
（5）查看系統小版本
cat/etc/redhat-release
（6）查看當前主機名
hostname
（7）查看第一個網卡
ifconfig ech0
（8）查看和設置系統時間
date
date -s “2020-06-14 18:02:00”
（9）查看進程
ps -fe | grep redis 查看關於Redis進程
ps -fe 查看全部進程
（10）top 查看運行進程包括對CPU內存使用，動態監控
（11）grep 過濾
（12）重啓linux操作系統
reboot
（13）關閉linux操作系統
shutdown -h now
init 0
(14)圖形和命令行轉換
vi /etc/inittab
init 3 命令行模式
init 5 圖形化
加載網卡：service network restart
linux不僅系統更改root密碼：
1.在grub選項菜單中按e進入編輯模式
2.編輯kernel哪行，輸入“1”（空格1），然後按enter鍵
3，按b鍵重啓
4.進入執行下列命令：
password root 配置root的密碼
enter new Unix password：輸入新密碼
init 6 啓動
二。Hadoop
1.Hadoop簡單介紹
Hadoop核心構成：
Hadoop是Apache基金會旗下的一個分佈式系統基礎框架，主要包括分佈式文件系統HDFS，分佈式計算系統MapReduce和分佈式資源管理系統YARN。
HDFS：
基本原理：就是將數據文件以指定的塊大小拆分成數據塊，並將數據塊以副本的方式存儲到多臺機器上，即時某個節點出現故障，該節點的存儲的數據塊副本丟失，但是其他節點上還有對應的數據副本，所以在HDFS中即使某個節點出現問題也不會造成數據塊副本丟失，但是在其他節點上還有對應的數據副本，所以HDFS中即使某個節點出現問題，也不會造成數據丟失。
分佈式計算系統MapReduce
MapReduce是個編程模型，泳衣進行大數據量的計算，MapReduce名字起源於這個模型的兩個核心操作：Map（映射）和Reduce（歸納）。MapReduce是一種簡化的應用程序開發編程模型。
資源管理系統YARN
YARN基本思想是將Hadoop1.X中MapReduce框架中JobTracker的資源管理和作業監控功能進行分離。引入Hadoop集羣在利用率，資源統一管理和數據共享等方面帶來很大的好處，而且在YARN之上還可運行不同類型的作業。
Hadoop平臺是一個框架，允許適應簡單的編程模型
（1）在計算機中集羣中對大型數據集進行分佈式處理
（2）該平臺被設計成可以從單個服務器擴展到數千臺服務器，每個服務器都提供本地計算和存儲；
（3）該平臺也被設計成可檢測和處理應用層的故障（即高可靠性，高容錯），高可用服務是基於計算機集羣的。
2.HDFS框架概述：
Namenode：存儲文件的元數據，如文件名，文件目錄結構，文件屬性，以及每個文件的塊列表和塊所在的DateNode；
DateNode：在本地文件系統存儲文件塊數據，以及塊數據的校驗和。
Secondary：用來監控HDFS狀態的輔助後臺程序，每隔一段時間獲取HDFS元數據的快照。
3.MapReduce架構概述
MapReduce將計算機分爲兩個階段，Map和Reduce。
Reduce階段對Map結果進行彙總。
