原创 Doris數據劃分

基礎概念 Tablet 和 Partition 在Doris的存儲引擎中，用戶數據被水平劃分爲若干個數據分片（Tablet，也叫數據分桶）。每個Tablet包含若干數據行。各個Tablet之間的數據沒有交集，並且在物理上是獨立存儲的。 多個

2022-12-10 13:43:32

原创 Doris安裝部署

下載安裝 Doris運行在Linux環境中，推薦 CentOS 7.x 或者 Ubuntu 16.04 以上版本，同時你需要安裝 Java 運行環境（JDK最低版本要求是8） 1、下載安裝包 下載地址：https://doris.apa

2022-12-07 13:43:37

原创 Doris數據表設計

數據模型 本文主要從邏輯層面，描述Doris的數據模型，以幫助用戶更好的使用 Doris 應對不同的業務場景。 基本概念 在 Doris 中，數據以表（Table）的形式進行邏輯上的描述。 一張表包括行（Row）和列（Column）。Row

2022-12-07 13:43:37

原创 知道策略模式！但不會在項目裏使用？

前言 在學開發的第二年就開始聽說要想代碼寫得好，一定要會設計模式。於是就興致沖沖的啃了《Head First 設計模式》，看完之後對於策略模式映像很深刻，覺得這個模式好，易上手，應用廣，我又能優化一波代碼了(裝波逼了)，於是興致沖沖的打開了

2022-12-04 13:43:25

原创 Doris入門

什麼是 Doris？ Apache Doris 是一個基於 MPP（大規模並行處理） 架構的高性能、實時的分析型數據庫，以極速易用的特點被人們所熟知，僅需亞秒級響應時間即可返回海量數據下的查詢結果，不僅可以支持高併發的點查詢場景，也能支持

2022-11-30 13:43:32

原创 一招解決所有依賴衝突

背景介紹 最近遇到了這樣一個問題，我們有一個 jar 包 common-tool，作爲基礎工具包，被各個項目在引用。突然某一天發現日誌很多報錯。 一看是 NoSuchMethodError，意思是 DisJunction 裏 init 方

2022-11-29 13:43:37

原创 進大廠必須要會的單元測試

本文將按照如下順序給大家簡單講講單元測試應該怎麼寫 什麼是單元測試 單元測試又稱模塊測試，是針對軟件設計的最小單位（模塊）就行正確性的校驗的測試，檢查每個程序模塊是否實現了規定的功能，保證其正常工作。 測試的重點：系統模塊、方法的邏輯正確

2022-11-23 13:43:27

原创 記錄因Sharding Jdbc批量操作引發的一次fullGC

週五晚上告警羣突然收到了一條告警消息，點開一看，應用 fullGC 了。 於是趕緊聯繫運維下載堆內存快照，進行分析。 內存分析 使用 MemoryAnalyzer 打開堆文件 mat 下載地址：https://archive.eclip

2022-11-07 13:43:37

原创 我用EasyExcel優化了公司的導出（附踩坑記錄）

背景介紹 最近要改一個導出的功能，在原有的基礎上，在導出一份明細數據，要求導出內容加在原有 excel 的第二個 sheet 上。考慮到數據量還比較大，乾脆引入阿里的 EasyExcel 來做。 下面我先上最終代碼，再來說說我遇到的坑有哪些

2022-11-04 13:43:30

原创 還在用雙層for循環嗎？太慢了

前情提要 我們在開發中經常碰到這樣的場景，查出兩個 list 集合數據，需要根據他們相同的某個屬性爲連接點，進行聚合。但是平時我們使用的時候關注過性能嗎？下面讓我們一起來看看它的表現如何。 來個例子 我們現在有兩個 List集合，需要根據他

2022-11-03 13:43:38

原创 Flink WordCount入門

下面通過一個單詞統計的案例，快速上手應用 Flink，進行流處理（Streaming）和批處理（Batch） 單詞統計（批處理） 引入依賴 <!--flink核心包--> <dependency> <groupId>or

2022-10-19 13:44:51

原创 Flink體系架構

Flink的重要角色 Flink是非常經典的Master/Slave結構實現，JobManager是Master，TaskManager是Slave。 JobManager處理器（Master） 協調分佈式執行，它們用來調度task

2022-10-19 13:44:51

原创 工作7年收集到的git命令

概念 git 中的術語解釋： 倉庫也叫版本庫（repository） stage:暫存區，add 後會存到暫存區，commit 後提交到版本庫 git 安裝 linux 下安裝 git 第一種方法：yum install git-

2022-10-04 13:43:38 32

原创 Flink基礎概念入門

Flink 概述 什麼是 Flink     Apache Apache Flink 是一個開源的流處理框架，應用於分佈式、高性能、高可用的數據流應用程序。可以處理有限數據流和無限數據，即能夠處理有邊界和無邊界的數據流。無邊界的數據流就是真

2022-09-18 13:46:04

原创 學習那麼久還是小趴菜，看看你是否也是假學習

我的疑問 工作之後每天都要花時間學習技術，技術水平卻沒有預想的提升，離大佬也還是所差甚遠。 我一直在反思是哪個環節出了問題，是學習方法不對，還是學習的內容不夠好。而最近看了一篇文章《你的學習是否只是一場行爲藝術》，我發現這麼多年我一直在假學

2022-09-15 13:43:37 28