原创 Hive函數重要應用案例

第一章、多字節分隔符 1.1 應用場景 Hive中的分隔符 Hive中默認使用單字節分隔符來加載文本數據,例如逗號、製表符、空格等等,默認的分隔符爲\001。根據不同文件的不同分隔符,我們可以通過在創建表時使用 row format del

原创 Hadoop HA 高可用

第一章 HA 概述 (1)所謂 HA(High Availablity),即高可用(7*24 小時不中斷服務)。 (2)實現高可用最關鍵的策略是消除單點故障。HA 嚴格來說應該分成各個組件的 HA機制:HDFS 的 HA 和 YARN 的

原创 Hive參數配置與函數、運算符使用

第一章、Hive參數配置 1.1 CLIs and Commands客戶端和命令 Hive CLI $HIVE_HOME/bin/hive是一個shellUtil,通常稱之爲hive的第一代客戶端或者舊客戶端,主要功能有兩個: 一:用於以

原创 HiveSQL 數據操控、查詢語言(DML、DQL)

第一章 DML-Load加載數據 1.1 背景 回想一下,當在Hive中創建好表之後,默認就會在HDFS上創建一個與之對應的文件夾,默認路徑是由參數hive.metastore.warehouse.dir控制,默認值是/user/hive/

原创 Scala (三)集合

第一章 集合簡介 1)Scala 的集合有三大類:序列 Seq、集 Set、映射 Map,所有的集合都擴展自 Iterable特質。 2)對於幾乎所有的集合類,Scala 都同時提供了可變和不可變的版本,分別位於以下兩個包 不可變集合:sc

原创 Redis(一)NoSQL簡介、Redis安裝 、數據類型、配置文件、發佈訂閱

第一章 NoSQL數據庫簡介 1.1 技術發展 技術的分類1、解決功能性的問題:Java、Jsp、RDBMS、Tomcat、HTML、Linux、JDBC、SVN2、解決擴展性的問題:Struts、Spring、SpringMVC、Hibe

原创 Redis(二)jedis API

第一章 Jedis 測試 jedis是redis的java版本的客戶端實現。 1.1.Jedis所需要的jar包 <dependency> <groupId>redis.clients</groupId> <artifactId>jedi

原创 HBase分佈式數據庫的安裝、操作、集成

第一章 HBase 快速入門 1.1 HBase 安裝部署 1.1.1 Zookeeper 正常部署 首先保證 Zookeeper 集羣的正常部署,並啓動之:https://www.cnblogs.com/wkfvawl/p/1553984

原创 HBase分佈式數據庫——穀粒微博實戰

第一章 需求分析 微博內容的瀏覽,數據庫表設計 用戶社交體現:關注用戶,取關用戶 拉取關注的人的微博內容 第二章 數據庫設計  設計成三張表微博內容表、用戶關係表和微博收件箱表。   第三章 代碼實現 3.1 創建工程 maven工程

原创 HiveSQL 數據定義語言(DDL)

第一章、數據定義語言(DDL)概述 1.1 DDL語法的作用 數據定義語言 (Data Definition Language, DDL),是SQL語言集中對數據庫內部的對象結構進行創建,刪除,修改等的操作語言,這些數據庫對象包括datab

原创 爲什麼成爲一名程序員?

好久沒有寫感悟類的文章了,本來考完研就打算寫一篇文章,對大學四年做一個“覆盤”的,但複試被調劑了,難受了很久,之後也實在沒什麼由頭寫。在歲末年初前夕,我終於不打算再拖沓了,準備好好整理一下,做個紀念。一方面,審問一下自己的初心,整理一下思

原创 考研英語複試問題

一、自由問答 1、沒聽清或沒聽懂老師的問題 I'm sorry, I didn't understand/get/catch the question, could you repeat it in another way?(麻煩老師解釋問

原创 Scala (二)面向對象

第一章 面向對象 Scala 的面向對象思想和 Java 的面向對象思想和概念是一致的。Scala 中語法和 Java 不同,補充了更多的功能。 1.1 Scala 包 1)基本語法 package 包名 2)Scala 包的三大作用

原创 計算機網絡複習總結(研)

1、對比分析計算機網絡、分佈式系統、主機系統的差異。 計算機網絡:計算機網絡是由不同通信媒體連接的、物理上獨立的多臺自主計算機組成的、將要傳輸的數據分成不同長度的分組進行傳輸和處理的系統。 差異: 計算機網絡是多臺自主計算機的互聯繫統;用

原创 航天技術概論複習提綱

第一章 緒論 1、19世紀末,火箭運動的基本數學方程,並且從理論上證明,用多級火箭可以推動一定的載荷進入空間的是前蘇聯火箭之父——齊奧爾科夫斯基。 2、開展了人類第一次液體火箭飛行試驗的是美國的戈達德博士。 3、領導設計了世界上最大的火箭—