原创 八、排序介紹--四個by
一、全局排序（Order By） Order By：全局排序，一個Reducer 1、使用 ORDER BY 子句排序 ASC（ascend）: 升序（默認） DESC（descend）: 降序 2、ORDER BY 子句在SEL
2020-05-30 18:02:47
原创 十、hive異常記錄
1、TezSession has already shutdown Caused by: org.apache.tez.dag.api.SessionNotRunning: TezSession has already shutd
2020-05-30 18:02:46
原创 十五、hive-自定義udf、udtf函數
一、系統內置函數查看 1．查看系統自帶的函數 hive> show functions; 2．顯示自帶的函數的用法 hive> desc function upper; 3．詳細顯示自帶的函數的用法 hive> desc func
2020-05-30 18:02:46
原创 九、Hive--Tez安裝
一、什麼是Tez Tez是一個Hive的運行引擎，性能優於MR。爲什麼優於MR呢？看下圖。 兩者之間區別： 用Hive直接編寫MR程序，假設有四個有依賴關係的MR作業，上圖中，綠色是Reduce Task，雲狀表示寫屏蔽，需要將
2020-05-30 18:02:46
原创 十一、行轉列、列轉行函數
一、行轉列 1、相關行數 CONCAT(string A/col, string B/col…)：返回輸入字符串連接後的結果，支持任意個輸入字符串; CONCAT_WS(separator, str1, str2,…)：它是一個特
2020-05-30 18:02:46
原创 Hadoop之LZO壓縮配置
一、下載地址 1、先下載lzo的jar項目 https://github.com/twitter/hadoop-lzo/archive/master.zip 2、下載後的文件名是hadoop-lzo-master，它是一個zip格
2020-05-30 18:02:46
原创 十三、Hive中日期操作總結
1、獲取當前時間 hive (default)> select current_date; 2020-05-26 hive (default)> select current_timestamp ; 2020-05-26 16:
2020-05-30 18:02:46
原创 七、Hive中的常用基本查詢與基本函數使用
創建位置表 建表語句 create table if not exists default.location( loc int, loc_name string ) row format delimited fields term
2020-05-30 18:02:46
原创 十二、over開窗行數，rank排序函數介紹
一、函數介紹 1、OVER()： 指定分析函數工作的數據窗口大小，這個數據窗口大小可能會隨着行的變而變化，例如分區排序； over函數相關參數： partition by：分區，窗口大小爲分區 order by：一般與分區相結合使
2020-05-30 18:02:46
原创 十六、hive sql求連續三天購買指定需求
在實際開發中經常會有一些求連續類型指標，如系統連續幾天登錄、商城連續幾天下單客戶，等等關於連續時間類型的指標問題 需求：下面會做一個求連續三天下單的客戶 1、測試數據 001 zs p001 2020-02-04 002 zs p
2020-05-30 18:02:46
原创 vue treeselect load-options 加載樹形數據前判斷
假設有a、b兩顆樹，a選中的節點是b樹的根節點，那麼a必須在b樹加載前選擇數據，如果此時a樹沒有選擇節點則b樹不應該加載數據 unitCode :a樹選中的節點數據判斷 if(this.addDatas.unitCod
2020-05-23 09:02:15
原创 js獲取字符串中某個字符的最後座標位置
js在線運行測試地址：http://js.jsrun.net/ js常用函數收集： 1、編寫類似java中的lastIndexOf function lastIndexOf(str, c) { var x = str.in
2020-05-22 04:57:08
原创 六、Hive-DML數據導入導出操作
一、數據導入 1．語法 hive> load data [local] inpath '/opt/module/datas/student.txt' overwrite | into table student [partitio
2020-05-21 09:01:36
原创 一、hive介紹
一、什麼是hive？ Hive：由Facebook開源用於解決海量結構化日誌的數據統計。 Hive是基於Hadoop的一個數據倉庫工具，可以將結構化的數據文件映射爲一張表，並提供類SQL查詢功能。 HIVE本質是：將HQL轉化成M
2020-05-19 09:19:35
原创 二、Zookeeper單機版安裝配置參數解讀
一、單機安裝 1、安裝前準備 （1）安裝Jdk （2）拷貝Zookeeper安裝包到Linux系統下 （3）解壓到指定目錄 [root@hadoop102 software]$ tar -zxvf zookeeper-3.4.10
2020-05-19 09:19:35