原创 店鋪銷售異常監測和薅羊毛用戶識別
店鋪銷售異常監測和薅羊毛用戶識別 一 店鋪銷售異常監測 公司財務反應全國個別店鋪短時間覈銷了大量優惠券 三個維度進行監控識別 銷售收入和物料成本（物料成本上傳數據有延遲）進行對比，物料成本佔比大於40%，異常 銷售收入和優惠券覈
2019-06-10 15:14:06
1
原创 hive 計算 球隊比賽各球隊反超比分的球員姓名及時間 連續三次得分球員
球隊 比賽 反超球員及連續得分球員問題計算 問題：兩支籃球隊進行了激烈的籃球比賽，比分交替上升。比賽結束後，你有一張兩隊得分分數的明細表，記錄了球隊team，球員號碼number，球員姓名name, 得分分數score 以及得分時
2019-06-10 15:14:05
原创 linux df du ls 命令詳解
參考 ls的用法 ls -l |grep “^-”|wc -l或find ./company -type f | wc -l 查看某文件夾下文件的個數，包括子文件夾裏的。 ls -lR|grep “^-”|wc -l 查看某文件
2018-11-26 11:26:31
原创 hive 鎖表 解決方法
hive表執行insert overwrite table_a partition(dt=‘20181121’) select * from table_b 時，報錯 FAILED: Error in acquiring locks:
2018-11-26 11:26:31
13
原创 Sqoop 各參數詳解
轉載sqoop Sqoop可以在HDFS/Hive和關係型數據庫之間進行數據的導入導出，其中主要使用了import和export這兩個工具。這兩個工具非常強大，提供了很多選項幫助我們完成數據的遷移和同步。比如，下面兩個潛在的需求： 業
2018-11-19 22:16:00
原创 Sqoop 介紹 安裝 應用
Sqoop 介紹 安裝 應用 總體介紹 Sqoop簡單介紹 1.1 概述 作用：導入導出數據 sqoop是apache旗下一款“Hadoop和關係數據庫服務器之間傳送數據”的工具。 導入數據：MySQL，Oracle導入數據到Had
2018-11-19 22:16:00
原创 sqoop 導入數據到hive分區表（外表，內表） 指定分區 指定數據庫 指定表
sqoop 導入數據到hive 1.1.導入數據到hive分區表（內表），指定分區 創建hive分區表 –hive-database 指定數據庫 –table 指定表 –hive-overwrite 覆蓋已有表中的數據 從mys
2018-11-19 22:16:00
原创 Azkaban 安裝及簡單使用
Azkaban 安裝及簡單使用 安裝大體過程： 1 Azkaban安裝部署 準備工作 Azkaban Web服務器 azkaban-web-server-2.5.0.tar.gz Azkaban執行服務器 azkaban-execu
2018-11-19 22:16:00
原创 Flume中的HDFS Sink配置參數說明
完全引用原文原文 channel type hdfs path 寫入hdfs的路徑，需要包含文件系統標識，比如hdfs://namenode/flume/webdata/ 可以使用flume提供的日期及%{host}表達式
2018-11-14 11:40:51
原创 python3.5 連接hive 基本使用 pyhive
可以通過pyhive連接hive 還可以通過impyla 詳見 impyla連接hive 1.安裝相關依賴 目前python3連接hive的方法主要是使用pyhive包，但是要安裝pyhive也不是那麼容易的事情，因爲pyhive要使
2018-11-13 01:20:19
33
原创 DB、ETL、DW、OLAP、DM、BI關係結構圖
發現一篇好文，後期整理，目前是全文引用 參考鏈接 DB、ETL、DW、OLAP、DM、BI關係結構圖 DB、ETL、DW、OLAP、DM、BI關係結構圖 在此大概用口水話簡單敘述一下他們幾個概念： （1）DB/Database/數據庫
2018-11-13 01:20:09
5
原创 flume 安裝及應用
1. 日誌採集框架Flume 1.1 Flume介紹 1.1.1 概述 Flume是一個數據搬運工，側重於數據的搬運，而不是數據處理 Flume是一個分佈式、可靠、和高可用的海量日誌採集、聚合和傳輸的系統。 Flume可以採集文件，
2018-11-13 01:20:09
原创 Hive 簡單應用
一 Hive 使用方式 1.1.Hive shell 直接在hive的安裝目錄下，然後輸入hql語句就可以了 bin/hive 1.2.通過Hive thrift服務啓動，啓動後可以遠程連接 啓動爲前臺： bin/hiveserve
2018-11-13 01:20:09
原创 Python Hadoop Mapreduce 實現Hadoop Streaming分組和二次排序
如果對各個定義參數，看後還是不理解，可以先看下面三個參考了。 參考一 參考二 參考三 需求：公司給到一份全國各門店銷售數據，要求：1.按門店市場分類，將同一市場的門店放到一起；2.將各家門店按銷售額從大到小，再按利潤從大到小排列 一
2018-11-04 12:26:49
3
原创 hive 安裝與配置 用mysql存儲元數據
安裝配置mysql 安裝配置hive 一 mysql 安裝配置 一、Mysql安裝 1、安裝mysql命令: yum install mysql-server -y （-y參數作用爲所有需要輸入yes的地方默認yes） 2、打開
2018-11-04 12:26:49