原创 hdu2191
#include <stdio.h> #include <string.h> #include <algorithm> using namespace std; int main() { int ncase,p[105],w[
2020-06-23 09:20:59
1
原创 hive訪問不在同一集羣的hbase表數據
文章目錄背景開啓白名單限制打通hive集羣與hbase集羣的連接創建hbase映射表 背景 最近有個需求，有一些數據會實時寫入到 hbase，但是又需要在 hive 中計算這些數據，最後把結果同步到 mysql。如果對於 hba
2020-06-23 08:41:55
原创 presto sql輸入表、輸入字段、limit、join操作解析
前言 一段時間沒有寫文章了，寫下最近做的事情。目前我們這邊有一個metabase 查詢平臺供運營、分析師、產品等人員使用，我們的查詢都是使用 presto 引擎。並且我們的大數據組件都使用的是 emr 組件，並且涉及到中國、美西
2020-06-23 08:41:55
6
原创 赫拉(hera)分佈式任務調度系統之操作文檔
文章目錄前言操作文檔登錄和註冊用戶用戶組總結首頁機器組監控系統管理用戶管理用戶組用戶總結監控管理機器組管理&worker管理任務管理任務詳情任務依賴上游任務下游任務任務搜索日誌記錄開發中心新建任務/新建文件夾執行任務日誌查看上傳資
2020-06-23 08:41:53
原创 Java設計模式（一）適配器模式
一天無意中在github上搜索，發現了在Java領域stars排名最多的一個項目：iluwatar/java-design-patterns 裏面總結了許多在我們開發過程中會使用到的設計模式，以前雖然也學習過，可是總很快就忘，在
2020-06-23 08:41:53
原创 記一次JAVA使用ProcessBuilder執行Shell任務卡死問題分析
背景 最近由於某些原因需要把一些原本 location 在 oss (阿里云云對象存儲)上的 hive 數據遷移到cosn（騰訊雲對象存儲）。目前一直在增量進行同步，在遷移之前需要進行數據的對比。至於對比的方法計劃有兩種，一種是對
2020-06-23 08:41:53
5
原创 zookeeper數據恢復
剛剛在向hbase表寫數據時發現一個神奇的現象：判斷該表顯示不存在，建表時發現顯示 表已存在。 org.apache.hadoop.hbase.TableExistsException: cash_log:op_info 查看h
2020-06-23 08:41:53
原创 記一次 spark rdd 寫數據到 hbase 報 NPE 的問題排查
文章目錄前言問題排查 前言 最近我們的 EMR 集羣要從 spark2.3.2 升級到 spark2.4.3 來解決 spark 小文件多的問題。但是在升級後發現之前 spark rdd 寫 hbase 正常的任務報錯了，花費一
2020-06-14 16:13:18
原创 Dubbo 源碼分析之 SPI 詳解
前言 不得不說 Dubbo的自定義 spi 減輕了擴展者的負擔，但減輕負擔的代價是使用大量晦澀難懂的代碼，調用層次深，使閱讀者步步維艱。爲了避免後來者再像我當初那樣看源碼的吃力，特意把我的閱讀見解分享下來，希望大家一起學習。
2020-06-02 16:22:53
原创 動態代理的簡單實用
這兩天在研讀大衆點評所採用的分佈式任務調度系統，發現了許雪裏的許多值得我學習的代碼。其中讓我印象最深的就是調度中心向執行器分發任務的代碼，在執行器和調度中心之間的通信使用的是內置的jetty服務器(總感覺netty更好一點，畢竟是
2020-06-02 16:22:53
原创 Java設計模式（二）回調模式
在學習Java的路上很早很早就接觸了回調，比如：JFrame的鍵盤事件，JFrame控件的點擊事件，線程池執行之前的方法beforeExecute與執行之後的方法 afterExecute，線程的Run方法其原理就是使用了回調。之
2020-06-02 16:22:53
原创 Dubbo 源碼分析之自定義線程池拒絕策略(使用 Java 程序 Dump 線程堆棧信息)
最近在看 dubbo 源碼，真的學習了很多知識，記得上次看 dubbo 源碼是在半年前了，看到 dubbo 自定義的 spi 就看不下去了，完全看不懂。上週又看了看，頓時茅塞頓開，有時間會分享出來。廢話不多說，在 dubbo 內
2020-06-02 16:22:53
1
原创 JAVA線程池ThreadPoolExecutor詳解
文章目錄摘要線程池的工作原理構造方法存活時間（keepAliveTime）存活的時間單位u（unit）任務隊列（workQueue）###線程工廠（threadFactory）###拒絕策略（handler）###任務執行的基本流
2020-06-02 16:22:53
原创 記一次大數據跨區域流量排查及修復
最近公司在降成本，發現了歐州、美國區兩個區每天存在 300$ 的跨區流量費用，經過運維同學定位後發現絕大部分流量在 emr 機器上。於是排查就開始了。 前言 首先附上我們的任務調度架構 我們大數據計算使用的是 AWS 的
2020-04-23 11:34:22
原创 關於dubbo 佔位符無法解析問題
不知道大家有沒有遇到過，你要開發一個新應用要使用 dubbo 、 apollo 等組件，在集成的過程中發現 dubbo 配置文件的佔位符無法替換，wtf，配置明明和以前的項目一樣，爲啥就不行了。我前兩天也遇到了這個問題，就一起來
2020-03-29 11:43:33
7