原创 Redis 環境安裝
文章目錄1. 下載redis安裝包2. 解壓redis壓縮包到指定目錄3. 安裝C程序運行環境4. 安裝較新版本的tcl5. 進行編譯redis6. 修改redis配置文件7. 啓動redis8. 連接redis客戶端 1. 下載
2020-04-18 20:02:22
原创 大數據流程練習題
本題是一個綜合練習題目總共包括以下部分： 1.數據的預處理階段 2.數據的入庫操作階段 3.數據的分析階段 4.數據保存到數據庫階段 5.數據的查詢顯示階段 給出數據格式表和數據示例，請先閱讀數據說明，再做相應題目。 數據說明：
2020-02-22 00:19:43
原创 Linux安裝jdk1.8
JDK安裝步驟 1.創建文件夾 mkdir -p /export/soft mkdir -p /export/install 2.上傳按照包到 /export/soft , 解壓到 /export/install
2020-02-22 00:19:32
原创 crontab 任務調度
文章目錄1.1 原理1.2 概述1.3 案例: 每隔1分鐘將時間打印到 /export/文件中1.4 參數細節說明 1.1 原理 1.2 概述 crontab 進行 定時任務的設置 基本語法 crontab [選項]
2020-02-22 00:19:32
原创 Hadoop的組成部分
Hadoop的組成部分有: HDFS: 海量數據的存儲系統 Map Reduce: 海量數據的計算系統（計算框架） YARN: 集羣資源管理（調度）的框架。 HDFS 管理者：NameNode 作用：負責管理，管理集羣
2020-02-22 00:19:31
原创 rpm軟件包管理器
1.1 目標 通過rpm命令實現對軟件的安裝、查詢、卸載 RPM 是Red-Hat Package Manager（RPM軟件包管理器）的縮寫 雖然 打上了 red-hat 的標記, 但是理念開放, 很多發行版都採用, 已經成
2020-02-22 00:19:31
原创 Linux用戶權限相關命令
用戶和權限的基本概念 1.1 基本概念 (1) 用戶 是Linux系統工作中重要的一環, 用戶管理包括 (2) 用戶與組管理在Linux系統中, 不論是由本級或是遠程登錄系統, 每個系統都必須擁有一個賬號, 並且
2020-02-22 00:19:31
原创 HDFS介紹
文章目錄1. HDFS 副本存放機制2. HDFS數據寫入流程3. HDFS數據讀取流程4. HDFS數據完整性5. HDFS適用場景6. HDFS特性7. HDFS缺點8. HDFS高級命令9. HDFS安全模式10. Fsim
2020-02-22 00:19:31
原创 Linux設置局域網的yum源
文章目錄1.1 目標1.2 路徑1.3 實現1.3.1 yum的原理1.3.2 常用命令(重點)1.3.3 製作本地yum源1.3.4 製作局域網yum源1.3.5 安裝httpd軟件1.3.6 製作局域網 yum源1.4 小結
2020-02-22 00:19:31
原创 Linux掛載新的硬盤
1.掛載新的硬盤 1.1 目標 虛擬機 增加一塊 硬盤 1.2 路徑 第一步: 瞭解linux系統分區的原理 第二步: 查看系統分區情況 第三步: 虛擬機 增加 硬盤 第四步: 分區 第五步: 格式化 第六步: 掛載 第七步
2020-02-22 00:19:31
原创 Hadoop安裝 -- CDH分佈式環境搭建
目標: 搭建基於CDH的分佈式集羣 安裝環境服務部署計劃 準備工作 1.關閉防火牆/etc/init.d/iptables stop chkconfig iptables off 2.關閉selinux 3.修改主機名
2020-02-22 00:19:31
原创 Linux安裝mysql及解決mysql亂碼問題
文章目錄1. 查詢系統自帶的mysql2. 安裝mysql3. 啓動服務4. 修改密碼5. 問題1: 解決中文亂碼1. 進入MySQL控制檯2. 修改mysql配置文件3. 重啓MySQL服務6. 問題2: 默認情況下 mysql
2020-02-22 00:19:30
原创 大數據與傳統數據對比
文章目錄1. 傳統服務器與大數據服務器的系統安裝傳統服務器大數據服務器系統安裝2. 大數據技術爲什麼快 1. 傳統服務器與大數據服務器的系統安裝 傳統服務器 系統硬盤（100%完全獨立，不要存儲業務數據） 物理磁盤做raid1（兩
2020-02-22 00:19:30
原创 ERROR:org.apache.hadoop.hbase.PleaseHoldException: Master is initializing
異常信息 : 解決方法 : 集羣時間不同 設置一下時間 在完成上部操作之後，重啓hbase服務時又會報錯： ERROR: Can't get master address from ZooKeeper; znode data =
2020-02-22 00:19:30
原创 Impala 介紹
文章目錄1. Impala基本介紹2. Impala與Hive關係3. Impala與Hive異同3.1 Impala使用的優化技術3.2 執行計劃3.3 數據流3.4 內存使用3.5 調度3.6 容錯3.7 適用面4. Impa
2020-02-22 00:19:30