原创 Hive 之 管理表、外部表、分區表

Hive 之 管理表、外部表、分區表一、 管理表(內部表):二、 外部表:三、 管理表與外部錶轉換:3.1 內轉外:3.2 外傳內:四、 分區表:4.1 分區表的簡單使用:4.1.1 創建:4.1.2 導入數據:4.1.3 索引和

原创 Hive 之 函數 02-常用查詢函數(二)

Hive 之 函數 02-常用查詢函數(二)六、 窗口函數6.1 函數說明6.2 需求6.3 實現6.3.1 查詢在 2017 年 4 月份購買過的顧客及總人數6.3.2 查詢顧客的購買明細及購買總額6.3.3 上述的場景, 要將

原创 Hive 之 數據的導入與導出及刪除

Hive 之 數據的導入與導出及刪除一、數據導入1.1 向表中加載數據(load): 用的很多1.2 通過查詢語句向表中插入數據(insert): 用的很多1.2.1 基本模式插入: (根據單張表查詢結果)1.2.2 多插入模式

原创 Hive 之 函數 01-常用查詢函數(一)

Hive 之 函數 01-常用查詢函數(一)一、 空字段賦值二、 時間類2.1 date_format: 格式化時間2.2 date_add: 時間跟天數相加2.3 date_sub: 時間跟天數相減(跟 date_add 記一個

原创 Hive 之 查詢 03-排序

Hive 之 查詢 03-排序一、 全局排序(order by)二、 按照別名排序三、 多個列排序四、 每個 MapReduce 內部排序(sort by)五、 分區排序(distribute by)六、 cluster by 一

原创 Hive 之 查詢 01-基本查詢、where子句、分組

Hive 之 查詢 01-基本查詢、where子句、分組一、 基本查詢1.1 全表和特定列查詢(select ... from)1.1.1 全表查詢:1.1.2 特定列查詢:1.2 列別名1.2.1 重命名一個列;1.2.2 便於

原创 設計模式 之 簡單工廠模式-計算器程序

設計模式 之 簡單工廠模式-計算器程序一、需求二、 普通實現三、 簡單工廠模式實現3.1 給出一個 Operation 類3.2 分別新建四個類對應加減乘除的四個方法3.3 新建一個簡單工廠類:3.4 新建一個展示信息的類:3.5

原创 Hive 之 壓縮和存儲

Hive 之 壓縮和存儲一、 壓縮1.1 MR 支持的壓縮編碼1.2 壓縮參數配置1.3 開啓 Map 輸出階段壓縮1.4 開啓 Reduce 輸出階段壓縮二、 存儲2.1 行存儲和列存儲2.1.1 行存儲的特點2.1.2 列存儲

原创 Hive 之 查詢 04-分桶及抽樣查詢

Hive 之 查詢 04-分桶及抽樣查詢一、 分桶表數據存儲二、 分桶抽樣查詢 一、 分桶表數據存儲 分區針對的是數據的存儲路徑, 分桶針對的是數據文件; 分區提供一個隔離數據和優化查詢的便利方式。 不過, 並非所有的數據集都可以

原创 Hive 之 函數 03-系統內置函數 及 自定義函數

Hive 之 函數 03-系統內置函數 及 自定義函數一、 系統內置函數1.1 查看系統自帶的函數1.2 顯示自帶的函數的用法1.3 詳細顯示自帶的函數的用法二、 自定義函數2.1 概述2.2 自定義 UDF 函數2.2.1 創建

原创 MapReduce java.io.IOException: No FileSystem for scheme: d

MapReduce java.io.IOException: No FileSystem for scheme: d一、 異常分析二、 解決方式2.1 解決方式一2.2 解決方式二三、 總結 一、 異常分析 最近, 在使用服務器運

原创 Hive 之 優化

Hive 之 優化一、 Fetch 抓取二、 本地模式三、 表的優化3.1 小表、 大表 join3.2 大表 join 大表3.2.1 空 KEY 過濾3.2.2 空 key 轉換3.3 MapJoin3.4 Group by(

原创 Hive 之 查詢 02-join 語句

Hive 之 查詢 02-join 語句一、 只支持等值 join二、 表的別名三、 內連接四、 左外連接五、 右外連接六、 滿外連接八、 笛卡爾積九、 連接謂詞中不支持 or 一、 只支持等值 join Hive 支持通常的 S

原创 Linux 之 定時任務 crond

Linux 之 定時任務調度一、概念二、分類三、相關命令四、 一個例子五、 關於佔位符的說明六、一個案例6.1 需求6.2 步驟6.2.1 編寫一個 shell 腳本 /home/mytask1.sh, 內容如下:6.2.2 給

原创 Django 之 修改 Django ORM 底層連接數據庫爲連接池方式

目錄一、概述二、安裝 djorm-ext-pool三、創建 APP四、配置 settings.py五、修改 MySQL 配置文件 一、概述 在使用 Django 進行 Web 開發時, 我們避免不了與數據庫打交道。 當併發量低的時候,