原创 hive鎖的問題
hive鎖的問題 最近在insert into 插入數據的時候遇到了hive鎖表的問題，下面是報錯信息，原因就是一張hive的臨時表被鎖造成報錯。 1.Hive中定義了兩種鎖的模式： 共享鎖（S）和排它鎖（X），顧名思義，多個共
2020-07-08 09:11:58
8
原创 Hive批量刪除一段時間分區和動態分區更新數據
Hive批量刪除一段時間分區和動態分區更新數據 1.hive動態分區 -- 批量刪除分區數據 alter table dm.dm_call_gateway_bill_time_detail drop partition(dt >=
2020-07-08 09:11:58
2
原创 Tomcat配置和優化 Tomcat配置和優化
Tomcat配置和優化 Tomcat 服務器是一個免費的開放源代碼的Web 應用服務器，屬於輕量級應用服務器，在中小型系統和併發訪問用戶不是很多的場合下被普遍使用，是開發和調試JSP 程序的首選。對於一個初學者來說，可以這
2020-06-16 15:48:39
原创 巧用 CASE WHEN THEN END
巧用 CASE WHEN THEN END 一.CASE WHEN THEN END結構有兩種書寫方式 1. 簡單CASE WHEN函數： CASE SCORE WHEN 'A' THEN '優' ELSE '不及格' END C
2020-06-16 15:48:39
原创 踩過數據倉庫hive的坑：hive設置嚴格模式
踩過數據倉庫hive的坑：hive設置嚴格模式 一個報錯引發的雷！！！ hive提供了一個嚴格模式，可以防止用戶執行那些可能產生意想不到的不好的效果的查詢，也可以很好的防止數據傾斜。即某些查詢在嚴格模式下無法執行。通過設置hiv
2020-06-16 15:48:39
原创 數據中臺之OneData體系
數據中臺之OneData體系 知其然知其所以然，本篇的博文總結和自己公司現在用到的數據中臺的OneData的體系類似，使用的情景也很相似，所以我就把它放到自己的博文裏，不僅自己可以重溫一下，同時也可以幫到那些同樣使用OneDa
2020-06-16 15:48:38
原创 讓你一步步成爲運維專家之各種運維腳本
讓你一步步成爲運維專家之各種運維腳本 最近想做一個自動化運維的腳本，就整理一些資料，分享出來，一起共勉！ 運維腳本參考：https://github.com/SwordfallYeung/BigData_AutomaticDepl
2020-05-15 01:18:32
原创 每個人都能看懂de圖文詳述排序算法
圖文詳述排序算法 目錄冒泡排序選擇排序插入排序希爾排序 歸併排序快速排序堆排序計數排序桶排序基數排序基數排序 vs 計數排序 vs 桶排序 名詞解釋： n：數據規模 k：“桶”的個數 In-place：佔用常數內存，不佔用額外
2020-05-06 01:12:22
原创 實用乾貨：詳細Linux筆記
Linux筆記 1.列出幾個主要的 Linux distributions 發行者網址： • Red Hat: http://www.redhat.com • Fedora: http://fedora.redhat.com •
2020-05-06 01:12:22
原创 基本算法之分治算法
基本算法之分治算法 一.分治算法的基本思想 分治算法的基本思想是將一個計算複雜的問題分爲規模較小、計算簡單的小問題求解，然後綜合各個小問題，得到最終的答案。大致執行的流程如下： 1.對於一個規模爲N的問題，若該問題比較容易解決（比
2020-04-19 10:58:11
原创 基本算法之窮舉算法
基本算法之窮舉算法 一.窮舉算法的基本思想 窮舉算法的基本思想就是從所有的可能的情況中搜索正確的答案，其執行步驟大致如下： 1.對於一種可能的情況，計算其結果； 2.判斷結果是否滿足要求，如果不滿足則執行第1步來搜索下一個可能的情
2020-04-19 10:58:11
2
原创 基本算法之遞歸算法
基本算法之遞歸算法 一.遞歸算法的基本思想 遞歸算法即在程序中不斷反覆調用自身來達到求解問題的方法。此處的重點是調用自身，這就要求待解決的問題能夠分解爲相同問題的一個子問題。這樣通過多次調用，就可以完成求解。 遞歸調用是一個方法在
2020-04-19 10:58:11
原创 基本算法之概率算法
基本算法之概率算法 一.概率算法的基本思想 大致執行步驟如下： 1.將問題轉化爲相應的幾何圖形S，S的面積容易計算，問題的結果往往對應幾何圖形中的某一部分。 2.然後，向幾何圖形中隨機撒點。 3.統計幾何圖形S和S1中的點數，根據
2020-04-19 10:58:11
原创 基本算法之遞推算法
基本算法之遞推算法 一.遞推算法基本思想 遞推算法是一種理性思維模式的代表，其根據已有的數據和關係，逐步推導而得到結果。其大致步驟如下: 1.根據已知結果和關係，求解中間結果。 2.判定是否達到要求，如果沒有達到，則繼續根據已知結
2020-04-19 10:58:11
原创 Hive面試篇之Hive與Hbase的區別
Hive面試篇之Hive與Hbase的區別 使用方面區別 Hive是一個構建在Hadoop平臺上的數據倉庫，可以將結構化的數據文件映射爲一張數據庫表。通過Hive可以使用HQL語言查詢存放在HDFS上的數據。HQL是一種類SQL語
2020-04-13 22:47:44