原创 利用shell腳本批量執行HBase相關命令操作方法

0 引言 生產中經常需要對HBase進行建表、刪除、插入數據等相關操作,本文總結了兩種常用的方法供讀者使用 1 方法  (1)方法1利用EOF #!/bin/bash #table_head='iot_phm_' if [ "$1"

原创 一種CPU佔用過高的故障定位分析方法

目 錄 1.前 言 2. 測試類編寫 3. 故障定位方法    3.1 定位CPU佔比最高的PID    3.2 定位該PID對應的應用程序名字    3.3 定位具體的線程ID    3.4 定位具體的應用程序代碼位置 4. 小結 1.

原创 HiveSql面試題4詳解(窗口函數應用之移動範圍計算,詳解窗口函數)

目 錄 0 需求分析 1 需求實現 2 小 結 0 需求分析 有如下數據表: A 2015-01 5               A 2015-01 15 B 2015-01 5 A 2015-01 8 B 2015-01 25 A 2

原创 一種java死鎖故障問題定位分析方法

目錄 0 引 言 1 什麼是死鎖 2 死鎖代碼測試用例 3 定位分析方法 4 小 結 0 引 言       在java中我們常常使用加鎖機制來確保線程安全,但是如果過度使用加鎖,則可能導致鎖死鎖。那麼在生產中如何快速定位是否發生了死鎖的

原创 一種Git衝突(commit your changes or stash them before you can merge) 解決方法

1. 現象 error: Your local changes to the following files would be overwritten by merge: xxx/xxx/xxx.sh Please,

原创 HBase騷操作之數據加載方式BulkLoad

目 錄 0 引言 1 原理 2 BulkLoad的使用場景 3 HBase命令行實現 4 Java代碼實現 5 小 結 0 引言  通常 MapReduce 在寫HBase時使用的是 TableOutputFormat 方式,在reduc

原创 Mysql常用的時間日期函數

目 錄 0 前言 1 獲取當前時刻的時間函數      1.1 返回當前時刻的時間      1.2  獲取當前時刻的年月日     1.3 獲取當前時刻的時分秒     1.4 獲取當前時刻的所在的週數      1.5 獲取當前是一週

原创 commons-dbutils工具介紹及實戰

目錄 1.commons-dbutils簡介 2.DbUtils類介紹 3.QueryRunner類 介紹 4.ResultSetHandler接口 5.代碼示例 6.小結 1.commons-dbutils簡介 commons-dbut

原创 HiveSQL面試題3(經典連續性問題--數學思維在SQL編程中的應用)

目 錄 0 需求描述 1 實現思路 2 總 結 0 需求描述 數據表如下 wang 2020-05-01 wang 2020-05-01 wang 2020-05-01 wang 2020-05-02 wang 2020-05-03 w

原创 你真的會用GitHub嗎?如果你連這幾種使用方式都不知道,還敢說會用?(GitHub正確打開方式及使用技巧)

目 錄 0 引言 1 GitHub常用詞含義 2 如何快速精準查找某個項目? 3 如果我想按照star和fork數比較多的查詢方式查詢呢? 4 GitHub學習利器之awesome 5 GitHub查找時如何高亮顯示某行代碼 5 GitH

原创 git checkout XXX error: Your local changes to the following files would be overwritten by 解決方案

0 問題現象描述 當我們在使用git checkout 命令時,如果本地有修改的代碼沒有提交,則無法切換分支,git會提示你本地有未提交的代碼,本地修改會被覆蓋: $ git checkout review0329 error: You

原创 一文說透hive中的分桶及抽樣查詢

目錄 0 引 言 1 分桶與分區的區別 2 分桶及抽樣查詢 3 小 結 0 引 言     本文圍繞hive中分桶問題進行展開研究,分析了hive分桶與分區的區別,分桶的相關原理、分桶的優勢,並對分桶的操作方法進行詳細論述,給出了具體的操

原创 oozie如何真正殺死僵死任務,你是不是被kill命令騙了?

目錄 1. Oozie僵死任務的形成原因分析 2. 解決方法 3. 總結 1. Oozie僵死任務的形成原因分析 (1)同時提交多個任務導致相互等待 (2)提交任務後,yarn掛了或yarn的資源不足 (3)提交了任務後,不小心將後

原创 Oozie重啓任務策略研究及總結

目錄 1 引 言 2 Oozie重啓任務方法 2.1 重新運行一個Coordinator job ​2.2 Oozie重新運行一個workflow 中的某個子任務 2.3 Oozie按照時間的range重跑歷史任務 2.4 Oozie重啓

原创 Git超會玩

目錄 0 前 言 1 爲什麼要使用Git 2 Git初始化及基本配置 3 Git的基本操作 4 Git 回滾功能基本使用 5 如何修改commit的message信息(Git的變基操作) 6 Git 開發新功能及bug修復  6.1  方