原创 配置ssh-key
步驟一（生成ssh祕鑰）： 右鍵git Bash git config --global --list 查看配置 如果沒有配置用戶名： git config --global user.name “用戶名” git confi
2020-06-22 03:42:31
原创 Hadoop基礎（一）：簡介
Hadoop簡介： 1.Hadoop 是 Apache 旗下的一個用 java 語言實現開源軟件框架，是一個開發和運行處理大規模數據的軟件平臺。 允許使用簡單的編程模型在大量計算機集羣上對大型數據集進行分佈式處理。 狹義上說，Ha
2020-06-22 03:00:09
原创 SQL根據身份證,統計用戶的省份
根據身份證 fcredit_id, 截取前兩位，統計用戶的省份 select sum(case when SUBSTRING(fcredit_id,1,2)='11' then 1 else 0 end) as beijing
2020-06-22 03:00:09
原创 HiveQL:數據操作-導入和導出
–向管理中加載數據 (分區目錄不存在，則會先創建分區) load data local inpath '${env:HOME}/california-employees' overwirte into table employee
2020-06-09 04:48:07
原创 MySQL對group by原理和理解
寫在前面的話：用了好久group by，今天早上一覺醒來，突然感覺group by好陌生，總有個筋別不過來，爲什麼不能夠select * from Table group by id，爲什麼一定不能是*，而是某一個列或者某個列的聚
2020-06-09 04:47:57
4
原创 hive創表語句
Hive的建表\插入語句 創建規則： CREATE [TEMPORARY] [EXTERNAL] TABLE [IF NOT EXISTS] [db_name.]table_name -- (Note: TEMPORARY
2020-05-07 04:27:11
原创 IDEA工程建設步驟(git)
1.下載配置IEDA 2.Clone相關的工程 (使用CVS->GIT->CLONE) 3.解決工程爆紅 ①配置User settings 和 Local respositry ②setting.xml文件配置localReposi
2019-05-08 18:51:06
原创 SQL心得
1 .發現select結果出現空行，如：(A union all B )left join C 。可能是A和B 不需要union 刪除一個即可 2 .發現select出現的行，重複問題。如 A leftjoin (select * f
2019-02-21 23:56:00
原创 Hive添加自增列
select row_number() over(order by 1) as id, a.* from dp_ipo_tmp.tmp_ipo_yekuai_118_2018q4_06 a where Finterest_date
2019-01-31 12:58:31
原创 Add to group by or wrap in first() (or first_value) if you don't care which value you get. 報錯解決方案
SELECT SUBSTR(i.fdate,1,10) fdate ,Ftype ,SUM(i.Fdate_interest/100-i.Fpetty_date_ticket/1000000) fbase_interest ,SUM
2019-01-25 15:13:47
3
原创 inner join 與 left join 之間的區別
inner join 與 left join 之間的區別 關於inner join 與 left join 之間的區別，以前以爲自己搞懂了，今天從前端取參數的時候發現不是預想中的結果，才知道問題出在inner join 上了。 需求是
2018-12-26 18:57:43
原创 hive 插入數據到date類型的列中
方法一 SELECT '2018-11-30' as fdate from.... 方法二 SELECT cast('2018-11-30' as date) as fdate from.... 方法三 SELECT to
2018-12-26 03:06:15
1
原创 ORC文件格式
ORC文件格式 https://cwiki.apache.org/confluence/display/Hive/LanguageManual+ORC 在Hive版本0.11.0中引入。 所述***優化行柱狀（ORC）***文件格式提
2018-12-17 16:24:59
原创 HiveQL: 查詢
–創表語句 create table employees ( name string, salary float, subordinates array<string>, deductions map<string,fl
2018-12-15 01:49:45