原创 面向切面編程-AOP的介紹
AOP簡介AOP(Aspect-Oriented Programming, 面向切面編程): 是一種新的方法論, 是對傳統 OOP(Object-Oriented Programming, 面向對象編程) 的補充.。AOP 的主要編程對象
2020-02-24 11:59:42
原创 mybatis中sql語句查詢操作
動態sql where if where可以自動處理第一個and。 <!-- 根據id查詢用戶信息 --> <!-- public User findUserById(int id); --> <selec
2020-02-24 11:59:42
原创 spring的開發
spring與web的整合1. 整合的原理：Spring容器隨着tomcat容器ServletContext的啓動而啓動，並且在初始化完成後放到整個應用都可以訪問的範圍。ApplicationContext隨着服務器的啓動而啓動，可以藉助
2020-02-24 11:59:42
原创 Liunx的目錄結構
/： 根目錄，一般根目錄下只存放目錄，不要存放文件。 /etc、/bin、/dev、/lib、/sbin應該和根目錄放置在一個分區中 /bin: /usr/bin: (binaries)存放二進制可執行文件。如常
2020-02-24 11:59:42
原创 Liunx網絡管理
本地yum源 yum（Yellow dog Updater, Modified）是一個在 Fedora 和 RedHat 以及CentOS 中的 Shell 前端軟件包管理器。基於 RPM 包管理，能夠從指定的服務器自動下載 RPM 包並
2020-02-24 11:59:42
原创 Hive的內置函數
定義：UDF(User-Defined-Function)，用戶自定義函數對數據進行處理。UDTF(User-Defined Table-Generating Functions) 用來解決 輸入一行輸出多行(On-to-many map
2018-08-25 12:49:49
44
原创 HDFS重要特性
首先，它是一個文件系統，用於存儲文件，通過統一的命名空間目錄樹來定位文件；其次，它是分佈式的，由很多服務器聯合起來實現其功能，集羣中的服務器有各自的角色。1． master/slave 架構 HDFS 採用 master/slave 架
2018-08-25 12:49:49
原创 HDFS的JavaAPI
配置windows平臺的Hadoop環境 在 windows 上做 HDFS 客戶端應用開發，需要設置 Hadoop 環境,而且要求是windows 平臺編譯的 Hadoop,不然會報以下的錯誤:Failed to locate th
2018-08-25 12:49:47
3
原创 MapReduce輸入輸出的處理流程及combiner
MapReduce 的輸入輸出MapReduce 框架運轉在<key,value> 鍵值對上，也就是說，框架把作業的輸入看成是一組<key,value>鍵值對，同樣也產生一組<key,value>鍵值對作爲作業的輸出，這兩組鍵值對可能是不
2018-08-25 12:49:47
原创 Hive的運算和函數大全
hive 常用運算測試各種內置函數的快捷方法：創建一個 dual 表create table dual(id string);load 一個文件（只有一行內容：內容爲一個空格）到 dual 表 第一部分：關係運算 Hive支持的關係運
2018-08-25 12:49:45
原创 Hive的介紹及安裝
簡介 Hive 是基於 Hadoop 的一個數據倉庫工具，可以將結構化的數據文件 映射爲一張數據庫表，並提供類 SQL 查詢功能。 本質是將 SQL 轉換爲 MapReduce 程序。 Hive組件 用戶接口：包括 CLI、JD
2018-08-25 12:49:45
5
原创 MapReduce序列化及分區的java代碼示例
概述 序列化（Serialization）是指把結構化對象轉化爲字節流。 反序列化（Deserialization）是序列化的逆過程。把字節流轉爲結構化對象。 當要在進程間傳遞對象或持久化對象的時候，就需要序列化對象成字節流，反之當
2018-08-25 12:49:45
3
原创 Hive的DML操作
1． Load 在將數據加載到表中時，Hive 不會進行任何轉換。加載操作是將數據文件移動到與 Hive表對應的位置的純複製/移動操作。 語法結構:load data [local] inpath 'filepath' [overwr
2018-08-25 12:49:43
1
原创 Hive的DDL操作
DDL（數據定義語言）操作 Hive配置單元包含一個名爲 default 默認的數據庫. create database [if not exists] <database name>；---創建數據庫 show dat
2018-08-25 12:49:43
1
原创 HDFS原理
1 ． NameNode 概述a、 NameNode 是 HDFS 的核心。b、 NameNode 也稱爲 Master。c、 NameNode 僅存儲 HDFS 的元數據：文件系統中所有文件的目錄樹，並跟蹤整個集羣中的文件。d、 Nam
2018-08-25 12:49:43