原创 Java集合分析
一、JAVA集合的框架圖 常見集合的架構圖： 二、Set的底層實現 HashSet 它的構造函數 public HashSet() { map = new HashMap<>(); } 從上面的
2020-06-30 20:13:32
原创 JAVA I/O（三）
文件創建 調用方法:createNewFile() 這個方法會拋出一個IOException的異常 File file = new File("D:/1.txt"); file.createNewFile(); 對於cr
2020-06-30 20:13:32
原创 JAVA I/O （二）
如何通過文件的遞歸來實現獲取指定文件的大小 一、聲明類FileTools public class FileTools { /** * 返回文件的大小 * @param file 文件或目錄對象
2020-06-30 20:13:32
原创 JAVA I/O（四）
IO流的編碼與解碼 對於純文本文件來說，我們通常會遇到下面這個問題: 我們有一個文件爲utf8格式的文本文件（如:utf8.txt）;另一個文件是GBK格式的文件（如：gbk.txt），這個時候我們希望把utf8.txt
2020-06-30 20:13:32
原创 Hive工具的介紹（一）
一、Hive是什麼 要了解Hive是什麼得先了解一下數倉(數據倉庫)的概念，什麼又是數據倉庫呢？ 數據倉庫的目的是爲了協助輸出分析報告，支持決策，爲需要業務智能的企業提供業務流程的改進和指導，從而可以節省時間和成本，提高質量。 數據倉庫
2020-06-30 20:13:32
原创 JAVA I/O （一）
一、關於I/O 什麼是I/O? I：Input 輸入 O：output 輸出 這裏的輸入、輸出是針對於當前的應用程序而言的。 輸出：應用程序把數據輸出到："控制檯"、“文件”、“網絡”、“打印機”…… 輸入：把數據讀取到應用程序中：“鍵盤
2020-06-30 20:13:32
原创 使用IntelliJ IDEA 生成Struts2框架應用實例Hello World
使用IntelliJ IDEA 生成Struts2框架應用實例Hello World 當在Struts2的web應用程序中點擊一個超鏈接或提交一個HTML表單時，會由控制器收集輸入併發送一個叫Actions的Java類。 Action被執
2020-06-03 22:48:35
1
原创 HBase簡介（一）
HBase屬於列式非關係型婁據庫（NoSQL）,在介紹HBse則先了解NoSQL。 一、關於NoSQL 什麼是NoSQL? NoSQL（Not Only SQL）,它是一個通用的述語，也就是非關係型數據庫，它並不是以sql
2020-05-23 06:42:42
原创 Hive工具介紹（三）
Hive表的相關操作 Hive是一個數據倉庫，它可以把結構化的數據文件映射爲一張數據庫表，並且有SQL語言的查詢功能。 注意：一般來說數據倉庫存放的是一些歷史數據，它的作用是用來做查詢分析，往往不會用來做單條記錄的增加、刪除、修改 H
2020-05-20 20:09:30
原创 Hive工具介紹（二）
Hive的安裝及配置 一、Mysql安裝 安裝MySQL可以基於yum進行安裝 安裝mysql數據庫 yum install -y mysql-server 對數據庫的字符集進行配置 vi /e
2020-05-11 10:53:42
原创 YARN-Hadoop集羣資源管理系統
YARN:Yet Another Resource Negotiator，它是在Hadoop2.0版本中出現的。YARN是一個集羣資源管理系統，負責集羣的統一管理和調度。 類似分佈式操作系統 Master/Slave架構 管理
2020-05-08 06:34:30
原创 MapReduce分佈式離線計算框架學習摘要（一）
一、MapReduce簡單概述 在Hadoop中有兩個核心的模塊，一個是大數據量文件的存儲HDFS，另一個是能夠做快速的數據分析，則爲MapReduce。 百度百科介紹： 二、MapReduce的特點 它適合做“離線”(存儲在本地)的海
2020-05-06 01:15:54
原创 MapReduce分佈式離線計算框架學習摘要，時間溫度排序（二）
對溫度進行排序實例（實例來源於《從零開始學Hadoop大數據分析》） 如有下溫度數據，根據這些溫度信息找出每年每月3個最高溫度的年月及溫度並按照溫度進行降序排列 2010-01-01 12:00:21 8 2010-01-02 12
2020-05-06 01:15:54
原创 使用JAVA API調用ZooKeeper
一、環境準備及創建會話實例 JAR包 使用JAVA API調用ZooKeeper時必須要導入對應的jar包 對應的jar包:ZooKeeper-3.x.x.jar（其中的x需要依據版本而定。注意：使用
2020-05-05 02:52:21
原创 Zookeeper基礎概念及基本命令簡介
關於Zookeeper需要了解的核心概念及常用命令 在分佈式系統構建的集羣中，每臺機器都有自己的角色定位，其中最爲典型的就是Master/Slave模式 Master：提供寫操作服務 Slave：通過異步複製的機制獲取新數據並提供讀服務
2020-05-05 02:52:21