原创 SVN客戶端 TortoiseSVN安裝教程(圖文步驟教程)

 前言 原本好好的Git用的挺好的,結果到了公司需要用SVN。。。心碎了一地  SVN版本:TortoiseSVN-1.10.1.28295-x64-svn-1.10.2 官網:tortoisesvn.net/downloads.ht

原创 ETL - Kettle基礎入門(實戰篇)

前言: Kettle是一個用於做數據ETL的工具,所謂ETL則爲:將數據從來源端經過抽取(extract)、轉換(transform)、加載(load)至目的端的過程,ETL一詞較常用在數據倉庫,但其對象並不限於數據倉庫。  Kett

原创 入門篇:從零到一搭建大數據開發平臺(六)Zookeeper分佈式集羣安裝部署教程【含一鍵啓動關閉腳本】

環境: VMware15.5Pro【安裝傳送門】 CentOS6.9【安裝傳送門】 JKD1.8【安裝傳送門】 zookeeper-3.4.5-cdh5.14.0   前言: Zookeeper集羣搭建指的是ZooKeeper分佈式模式

原创 入門篇:從零到一搭建大數據開發平臺(二)史上最詳細的安裝Linux系統(圖文教程 從配置主機到安裝系統)

環境: Windows10 VMware15.5【附安裝教程】 CentOS 6.9 安裝包下載 提取碼: c5ej   安裝CentOS 一:打開Vmware選擇創建新的虛擬機 二:選擇自定義然後下一步 三:選擇稍後安裝操作系統,

原创 Linux搭建HDFS集羣教程準備工作

第一步 創建三個虛擬機 可複製可克隆 1.複製法: 找到目標虛擬機複製粘貼 複製完成後修改文件名(自定義起名不要有中文) 使用VMware打開三臺虛擬機 全部開機 開機時如果詢問您是複製的還是移動的,選擇我是複製的 等

原创 使用SecureCRT從Windows系統上傳文件到CentOS系統

前言 在日常開發中,我們經常需要把Windows上的文件或安裝包上傳到 linux系統,爲了方便第一次學習虛擬機的小夥伴更快速的找到從Windows上傳文件到linux,特出此教程。 使用的上傳文件的軟件是SecureCRT,既可以上傳文

原创 入門篇:從零到一搭建大數據開發平臺(五)Hive安裝部署教程(derby單機版不推薦 強烈推薦集羣式)

環境: VMware15.5Pro【安裝傳送門】 CentOS6.9【安裝傳送門】 JKD1.8【安裝傳送門】 Hadoop2.6-CDH5.15【安裝傳送門】   一、derby單機版(瞭解即可不推薦學習) 1、上傳安裝包和mysql連

原创 關於Kafka這些面試題你必須要知道

    1、請先描述一下Kafka的總體架構 Kafka生態系統四大角色,生產者(Producer)、kafka集羣(Broker)、消費者(Consumer)、zookeeper 每個消費者都必須屬於一個消費組,一個組內的消費者可以

原创 Hadoop:ApacheSqoop安裝部署

環境: VMware15.5 hadoop-2.6.0-cdh5.14.0 sqoop-1.4.6.bin__hadoop-2.0.4-alpha hive-1.1.0-cdh5.14.0 jdk1.8 安裝 上傳sqoop到L

原创 IntelliJ IDEA的強大:使用IDEA實現Hive的可視化

目錄 環境: 步驟: 可以自由放縱Hive了IDEA集成Hive就此完成 環境: idea 2019.3 hive-1.1.0-cdh5.14.0 步驟:          必須開啓Hive服務才能使用工具連接Hive  不推薦:開

原创 【VMware】vmware15 安裝win10教程【史上最詳細圖文教程】

VMware15安裝教程【傳送門】 目錄 VMware15安裝教程【傳送門】 一:創建新的虛擬機 --》 自定義 --》 下一步 二:直接選擇下一步 三:選擇稍後安裝操作系統 --》 下一步 四:選擇Microsoft Windows(W

原创 入門篇:從零到一搭建大數據開發平臺(三)使用SecureCRT連接工具連接服務器配置服務器,爲搭建Hadoop做準備

環境: Linux  CentOS6.9 查看下載安裝教程 [ 傳送門~~ ] 一:使用SecureCRT連接服務器 點擊文件 選擇快速連接 輸入連接服務器的ip 用戶名  點擊連接  輸入服務器登陸密碼 點擊確定  連接成功 二

原创 Hadoop:介紹HDFS的安全模式,具體做了什麼

環境Linux CentOS6.9 CDH5.14.0 什麼是HDFS安全模式 HDFS是一種特殊的狀態,集羣在安全模式下只能做數據讀取操作,不能做增、刪、改等變更操作 什麼情況下會進入安全模式? 1、在集羣開機啓動的時候首先進入

原创 Hadoop:Flume實時日誌採集組件集成搭建

環境: VMware15.5 hadoop-2.6.0-cdh5.14.0 jdk1.8 apache-flume-1.8.0 Flume安裝部署: Flume的安裝非常簡單 上傳安裝包到數據源所在節點上 然後解壓  tar -zx

原创 入門篇:從零到一搭建大數據開發平臺(一)安裝VMware虛擬機(圖文教程)

環境: Windows10 VMware15.5pro  點擊下載VMware安裝包   安裝VMware: 一:以管理員方式運行VMware Pro 15.5.exe  二:勾選 “我接受許可中的條款” 三:更改VMware的安裝位