原创 Hive數據類型---以集合類型爲主

1、hive的常見的數據結構   Hive數據結構 Java數據結構 int int bigint long string string hive的數據類型基本沒變,除了long變成bigint之外,其他的都沒有變 2、集合類型 數

原创 Kafka集羣部署及命令行操作

前提是:zookeeper集羣已經搭建完畢具體步驟見:https://blog.csdn.net/student__software/article/details/81486769 1、集羣規劃 hadoop102           

原创 maven中log4j的配置文件

一、在resources中先創建一個log4j.properties的文件 二、在文件中添加以下內容 log4j.rootLogger=INFO, stdout log4j.appender.stdout=org.apache.log4

原创 Hive查詢之排序

一、查詢語句注意事項 1、where子句中不能使用字段別名 2、like和rlike 1)使用LIKE運算選擇類似的值 2)選擇條件可以包含字符或數字: % 代表零個或多個字符(任意個字符)。 _ 代表一個字符。 3)RLIKE子句是Hi

原创 Hive數據導入導出

Hive的數據導入導出指的是將數據從本地或者是hdfs導入到表中,其中本地導入的話,其實是兩部操作,一是上傳到hdfs,二是在hdfs移動到倉庫位置。記住,本地上傳一定要加local 一、數據導入 1、Load模式 1)語法 hive>

原创 Hive函數之行轉列

介紹三種常用函數,空字段賦值,行轉列,case when, 一、NVL函數 空字段賦值, 語法:nvl(string1,replaceValue),當某值爲空時調用, 二、case when 就相當於java中switch case,記得

原创 Hive的常見屬性配置和其他命令

Hive的一些常見配置有,比如:更改數據倉庫位置,在shell中顯示數據庫名,執行查詢時顯示字段名等 一、Hive中的常見的其他命令 $ bin/hive -help可以查看hive的命令以及解釋 1、“-e” 不進入hive窗口就可以執

原创 Kafka簡介和架構

一、簡介 Kafka是一個分佈式消息隊列。★Kafka對消息保存時根據Topic進行歸類,發送消息者稱爲Producer,消息接受者稱爲Consumer,此外kafka集羣有多個kafka實例組成,每個實例(server)稱爲broker

原创 Hive的DDL操作

本部分主要是講述了兩部分:一個是對數據庫的增刪查改,一個是對錶的增刪改 重點:創建表的完整創建過程,分區表的理解和操作 引言        其實alter命令就是在操作元數據,其實就是對mysql的數據庫中的元數據進行操作 一、數據庫的D

原创 Hive簡介和架構

第1章 Hive基本概念 1.1 什麼是Hive Hive:由Facebook開源用於解決海量結構化日誌的數據統計。 Hive是基於Hadoop的一個數據倉庫工具,可以將結構化的數據文件映射爲一張表,並提供類SQL查詢功能。 本質是:將H

原创 Hive分桶和抽樣查詢

一、分桶       分區針對的是數據的存儲路徑;分桶針對的是數據文件,就相當於hadoop裏面的真正的分區。       ★怎麼選擇桶?默認時對某一列進行hash,使用hashcode對 桶的個數求模取餘,確定哪一條記錄進入哪一個桶。分

原创 Hive安裝以及和Mysql關聯

一、Hive的安裝地址 1.Hive官網地址 http://hive.apache.org/ 2.文檔查看地址 https://cwiki.apache.org/confluence/display/Hive/GettingStarted

原创 Spark-core之RDD核心概念

一、Spark包括什麼 spark的核心是Spark Core,其中上面的Spark Sql對接的是Hive等結構化查詢,Spark Streaming是對接的流式計算,後面的那兩個也是主要用在科學任務中,但是他們的基礎都是spark

原创 Mysql之索引

一、索引簡介 1、定義:索引就是幫助mysql高效獲得數據的數據結構,簡單理解就是“排好序的快速查找的數據結構” 2、索引詳解:  在數據之外,數據庫系統還維護着滿足特定查找算法的數據結構,這些數據結構以某種方式引用(指向)數據, 這樣就

原创 JVM入門及調優

jvm是在操作系統之上的,他與硬件沒有直接的交互。 一、JVM體系結構(非常重要) 其中: 1、ClassLoder類加載器相當於快遞員,只負責傳輸,而真正執行的是後面的額執行引擎 2、Jvm調優只能調亮的地方也就是方法區和堆,灰色的部