原创 ODPS使用之上傳下載數據
這篇文章裏面我們介紹一下如果我們要想從ODPS裏面讀到數據並加工處理，有一種通道叫批量數據通道。這個需要在程序裏面做處理。寫一個非常簡單的示例程序： import java.io.IOException; import java.ut
2020-06-16 06:25:20
原创 關於彈性調度系統設計細節
一、關於應用的接入準則與標準 這個應用什麼時候可以觸發擴容呢？什麼時候可以觸發縮容呢？這個應用的評判標準是什麼？是要看它的QPS嗎？當QPS達到一定的量的時候會不會觸發應用自身的限流行爲，有些應用比如是進程跑任務的應用，可能都沒有rt，即
2020-06-16 06:25:19
原创 如何玩轉zk來做分佈式編程
一、搭建zk集羣 1. 去ZK的官網下載最穩定版本http://apache.fayea.com/zookeeper/zookeeper-3.4.9/ 2. tar -zxvf zookeeper-3.4.9.tar.gz 3. 將解壓
2020-06-16 06:25:19
原创 Flink系統教材一：安裝部署篇
環境準備 Flink 運行在所有類 UNIX 環境上，例如 Linux、Mac OS X 和 Cygwin（對於Windows），而且要求集羣由一個master節點和一個或多個worker節點組成。在安裝系統之前，確保每臺機器上都已經
2020-06-16 06:25:19
原创 【運維業務】關於服務的SLA
在分佈式服務調用場景下，各個服務方都必須針對各自提供的服務提供一個明確的SLA值，即這個服務的響應時間最大可承受的QPS值。在某個系統內部在執行某個業務流程的時候各個流程節點也需要定義各自的SLA值。這樣在整個流程搞完之後的時間點就可
2020-06-16 06:25:19
原创 fastjson使用技巧整理
一、關於fastjson生成和解析json數據 常用的四種類型：JavaBean,List<JavaBean>,List<String>,List<Map<String,Object> 1.1 fastjson生成json字符串統一使用
2020-02-20 23:37:44
原创 Quartz與Spring裏面實現定時器
一、需求背景 一些業務場景需要用到定時執行某些任務，Spring支持單機定時任務執行, quartz支持比較複雜的定時任務執行。像一些業界開源的分佈式任務管理可以做到支持多機並行執行任務，類似於在單機上面執行Fork-Join邏輯。
2020-02-20 23:37:43
原创 【運維平臺系列】關於彈性擴縮容操作的細節
在IAAS層資源的自動擴縮可以有效地節省機器資源成本，比如在業務的低谷期可以將機器資源降下來，在業務高峯期可以自動擴容出來新機器。要支撐這樣彈性調配需要有幾個事情先要支持。 1. 基礎運維能力 即一個應用的上線\下線可以做到全自
2020-02-20 23:37:43
原创 身邊的牛人
專訪騰訊資深專家小軍老大。 在運維道路上，我的切身體會比較多，簡單總結一下主要有以下幾點： 1、堅定的目標 目標是職業生涯遠處的燈塔，它能衝破迷霧，讓你在迷惘中堅定信念和方向。要想成爲一名優秀的技術專家就要牢牢樹立你的目標
2020-02-20 23:37:43
原创 UML裏面的常用分析手段
一、什麼是UC？ 用例圖描述了角色和系統之間的關係，描述系統功能需求，角色和系統的交互以及系統的反應。 會員具有瀏覽商品類別、根據關鍵字查詢商品和選擇商品添加到購物車的功能。 疑問：如果對於一個後臺系統，只是提供了後端的服務API，那如
2020-02-20 23:37:43
原创 關於技術方案與需求拆解最佳實踐
我們知道面對複雜的業務場景，如何去做好需求分解這個是非常考驗一個技術架構師能力的。看到一篇不錯的文章在講《需求拆解》，簡單記錄一下學習心得與感悟。 《需求拆解》讀書筆記 1. 敏捷性的核心 以更快的速度更低的成本來驗證假設響應變化
2020-02-20 23:37:43
原创 Java裏面的Fork/Join編程框架
1. 什麼是Fork/Join框架 簡單理解就是把一個大任務分割成若干小任務，最終彙總每個小任務結果後得到大任務結果的框架。 打一個非常形象的比喻：比如要計算 從1+2+3+...+10000，那可以分割成10個子任務，每個子任務分別對1
2020-02-20 23:37:43
原创 【規則引擎】關於規則引擎
8月份打算把規則引擎這塊的東西好好整理一下，做個體系化的學習整理。 一、規則引擎及簡單應用 規則引擎實現了將業務決策從應用程序代碼中剝離出來，並使用預定義的語義模塊編寫業務決策。規則引擎具體執行分爲接受數據輸入、解釋業務規則、根據業務規則
2020-02-20 23:37:43
3
原创 Kafka介紹
關於kafka kafka是LinkedIn在2014年開源的一個複雜事件處理系統，將數據組織成事件流進行處理。即stream processing. kafka特點 1. 分佈式系統，易於擴展，容錯性好 2. 使用日誌分
2020-02-20 23:37:43