原创 大數據綜合案例---網站點擊流數據分析系統
大數據的學習告一段落，今天是大數據近些日子的最後一篇。 這篇主要是一個思路，並沒有代碼啥的，也是將所學的東西，進行一個小的應用。 最後希望大家都可以學習到東西，還是那句話，不懂就問我 點擊流數據即指用戶訪問網站時的所有訪問、瀏覽、點擊行
2021-06-26 12:59:34
原创 flume 簡單學習
hive完事了 今天輔助系統 三個組件 數據採集flume 任務調度 oozie 數據導出 sqoop 除了hdfs+mapreduce+hive組成分析系統的核心之外，還需要數據採集、結果數據導出、任務調
2021-06-25 12:59:39
原创 Spark RDD彈性分佈式數據集 spark——spark中常說RDD，究竟RDD是什麼？
爲啥要學Spark中的RDD？？ RDD的全稱叫做Resilient Distributed Datasets，即彈性分佈式數據集。 之前我們學過MapReduce，它具有自動容錯、平衡負載和可拓展性的優點，但是其最大缺點是採用非循環式的
2021-06-24 12:59:33
2
原创 hive的簡單學習
啥是hive？爲啥學習它？ Hive是基於Hadoop的一個數據倉庫工具，可以將結構化的數據文件映射爲一張數據庫表，並提供類SQL查詢功能。 因爲直接使用MapReduce實現複雜查詢邏輯開發難度格外的大，使用Hive能夠使用類SQL語法，
2021-06-24 12:59:33
原创 spark簡單學習
爲啥學spark 中間結果輸出：基於MapReduce的計算引擎通常會將中間結果輸出到磁盤上，進行存儲和容錯。出於任務管道承接的，考慮，當一些查詢翻譯到MapReduce任務時，往往會產生多個Stage，而這些串聯的Stage又依賴於底層文
2021-06-23 12:59:38
原创 scala簡單學習
爲啥學scala 因爲簡單，清晰，在windows下可以很直觀的表現 安裝JDK 安裝Scala（一直下一步就行） windows下安裝 不會的看這篇文章 windows下scala安裝 linux下安裝 解
2021-06-23 12:59:38
原创 yarn的簡單學習 hadoop集羣中zkfc的作用和工作過程
什麼是yarn？什麼是yarn?如果你想知道什麼是yarn的話，我馬上帶你去研究！ yarn，全名：Yet Another Resource Negotiator，中文名：另一種資源協調者 它是hadoop集羣的資源管理系統，從had
2021-06-22 12:59:44
原创 zookeeper簡單學習
今天引入zooKeeper，來解決一些問題 首先還是那個問題？我們爲啥學zooKeeper？ 爲了解決高可用性，保證出現故障正常使用，在hadoop中的namenode有第二備份，什麼時候告訴客戶端namenode變了，變成什麼
2021-06-18 12:59:45
原创 zookeeper分佈式部署及簡單操作
這篇文章一共說了三個方面：Zookeeper分佈式部署、 與集羣交流shell操作、與集羣交流Java API操作 1.Zookeeper分佈式部署 搭建在很多臺虛擬機上，就像是上一篇文章所說，需要有奇數個服務器才能投票，所以我們用2N+1
2021-06-18 12:59:35
原创 基於Hadoop集羣開發shell採集腳本
需求分析： 生活中存在這樣的情況，需要將同名日誌文件進行上傳週期性上傳至指定文件夾中 技術分析： 定時調度器： Linux crontab crontab -e */5 * * * * $home/bin/co
2021-06-17 12:59:40
原创 構建HDFS訪問客戶端對象
HDFS在生產生活中應用主要是客戶端的開發，其核心步驟是從HDFS提供的API構建一個HDFS的訪問客戶端對象，通過該對象對HDFS上的文件進行增刪改查 1.配置JAVA環境 首先電腦裏cmd輸入java -version 查看版本，如果
2021-06-17 12:59:40
原创 HDFS的簡單學習
上一篇文章將Hadoop環境搭建完畢，下面我們學習一些HDFS的工作原理 HDFS ---> 分佈式文件系統 簡單說就是把很多數據文件分開放在很多的服務器上，採取分開的方式對很多很多的數據進行分析 一.HDFS特點：
2021-06-16 12:59:42
原创 sql-lib闖關祕籍之11-20關 sql-lib闖關祕籍之1-10關
下面開始11-20關，之前不會的關卡可以參考我這篇文章： sql-lib闖關祕籍之1-10關 不管是第幾關，我們的最終目標是獲得用戶密碼，從而獲取最高權限！ 以下的學習過程中如果遇到那裏不會的或者不清楚的地方，歡迎大家留言，我將盡力幫助大家
2020-02-20 15:13:16
原创 sql-lib闖關祕籍之1-10關
以下所有操作建議在虛擬機中進行~ First you shoud have a 文件夾在你電腦上的例如phpstudy的WWW文件夾中 首先進入這裏創建數據庫，after that ，let‘s we go~ 不管是第
2020-02-20 15:13:16
原创 VM15上安裝macOS操作系統
（該篇博客已經成功安裝上Xcode，放心下載） 因爲要開學了，需要學習mac操作系統，自己沒有蘋果電腦只能虛擬機上下載嘍 我在電腦上安裝的VM15虛擬機，不會安裝的可以來這裏下載軟件VM15虛擬機 這是官網，可以參考別的教程安裝
2020-02-20 15:13:15