原创 hive調優之map task數量
第一步： 1.當輸入文件超過mapred.max.split.size大小時，以Math.max(minSize,Math,min(maxSize,blockSize))爲單位（以他的倍數）切分成不大於mapred.max.spl
2020-06-29 02:04:49
原创 史上最全git操作
一、git基本操作流程 1.新建遠程分支 （一般公司都用一些工具，可以直接點擊新建分支。如果沒有這功能的話，需要3個步驟完成新建遠程分支） 1.創建本地分支 git branch branch_name， 2.然後切換到新建分支上
2020-06-29 02:04:49
原创 linux centos7防火牆操作
linux centos7防火牆操作 1.查看防火牆狀態 firewall-cmd --state 如果顯示 not running 表示已經關閉防火牆。 2.關閉防火牆： systemctl stop firewalld.s
2020-05-08 20:26:28
原创 安裝mysql5.7（yum安裝阿里雲）
wget 'https://dev.mysql.com/get/mysql57-community-release-el7-11.noarch.rpm' rpm -Uvh mysql57-community-release-el7
2020-03-16 15:31:45
原创 hive transform
hive transform python語法 select transform( sessionid, datajson, ods_day ) using './pyenv.s
2020-03-03 02:36:19
原创 gp企業級收集數據腳本
#!/bin/sh set -x psql -h xxxx -p xxxx -d xxxx -U xxxx -t -F ',' -A -c " select orderId,dxmBid,transact
2019-10-25 13:58:57
原创 git主要操作命令
git remote -v //查看遠程庫信息 git remote rm origin //刪除關聯的origin的遠程庫 git remote add origin [email protected]:doudou666/douyo
2019-09-15 13:54:03
原创 【linux】 sed、awk、cut、sort、uniq等命令
awk '/root/' [file] awk -F " " '{print $1,$3}' [file] awk -F ':' '/root/ {print $1,$2,$3}' /etc/passwd //過濾包含'root
2019-09-05 13:51:13
3
原创 shell剔除包含另一個文件的內容
#!/bin/sh set -x source ~/.bashrc sourcePath=/home/irim/ris-data-analyse/resources/backtrack mgVarGroupFile=mg_var
2019-09-04 13:52:26
原创 每個部門的每月盈利佔當月總金額的比率hql實現
需求：部門表bm：部門id，每月，每月盈利金額 求每個部門的每月盈利佔當月總金額的比率。 hql實現 create table bm ( id String, month int, money int ) row format
2019-07-05 13:54:14
1
原创 sql找出更改後的利率值
id string,//利率的類型 times date,//更改時間 val string//利率值 //外部表 create external table rate_w( id string, times date, val
2019-07-05 13:54:14
原创 企業中hive定時執行的腳本-每天生成日誌
#!/bin/bash APP=gmall hive=/opt/hive/apache-hive-1.2.2-bin/bin/hive if [-n $1] ;then do_data=$1 else do_da
2019-07-02 13:56:52
原创 hive的case when的操作
hive元數據 /root/test //各個字段的表示：教師id 周幾 表示有課 js_id zj yk 1 2 有 1 1 有 1 4 有 1 4 有 2 2 有 3 1 有 2 2 有 3 1 有 4 4 有 5 4 有
2019-06-23 13:50:03
原创 hive統計店鋪每個月的營業額以及到當目前的歷史累計額
--------數據 名稱，月份，資金 a,01,150 a,01,200 b,01,1000 b,01,800 c,01,250 c,01,220 b,01,6000 a,02,2000 a,02,3000 b,02,1000
2019-06-10 14:19:13
原创 hadoop（阿里雲）外網無法訪問8088端口-------看啥都不如看官方文檔
報錯內容： 2019-03-06 22:19:32,365 INFO org.apache.hadoop.service.AbstractService: Service RMActiveServices failed in stat
2019-03-08 01:29:56
1