原创 應用架構之道:分離業務邏輯和技術細節 架構 典型應用架構 COLA 應用架構 COLA 架構總覽 應用架構的核心

架構 什麼是架構? 關於架構這個概念很難給出一個明確的定義,也沒有一個標準的定義。 硬是要給一個概述,我認爲架構就是對系統中的實體以及實體之間的關係所進行的抽象描述。 架構始於建築,是因爲人類發展(原始人自給自足住在樹上,也就不需要架構)

原创 數據中臺交付專家告訴你,數據架構的分層怎樣更加合理? 數據採集層 數據計算層 數據服務層

從整體上看,數據中臺體系架構可分爲:數據採集層、數據計算層、數據服務層三大層次。通過這三大層次對上層數據應用提供數據支撐。 數據採集層 對於企業來說,每時每刻都在產生海量的數據,數據採集作爲數據體系第一環尤爲重要。 因此在數據採集層需要建立

原创 3千字帶你搞懂XXL - JOB任務調度平臺

思維導圖 一、概述 在平時的業務場景中,經常有一些場景需要使用定時任務,比如: 時間驅動的場景:某個時間點發送優惠券,發送短信等等。 批量處理數據:批量統計上個月的賬單,統計上個月銷售數據等等。 固定頻率的場景:每隔5分鐘需要執行一次。

原创 java安全編碼指南之:方法編寫指南

簡介 java程序的邏輯是由一個個的方法組成的,而在編寫方法的過程中,我們也需要遵守一定的安全規則,比如方法的參數進行校驗,不要在assert中添加業務邏輯,不要使用廢棄或者過期的方法,做安全檢查的方法一定要設置爲private等。 今天我

原创 java安全編碼指南之:死鎖 dead lock

簡介 java中爲了保證共享數據的安全性,我們引入了鎖的機制。有了鎖就有可能產生死鎖。 死鎖的原因就是多個線程鎖住了對方所需要的資源,然後現有的資源又沒有釋放,從而導致循環等待的情況。 通常來說如果不同的線程對加鎖和釋放鎖的順序不一致的話,

原创 什麼是物聯網?常見 IoT 物聯網協議最全講解

什麼是物聯網?常見IoT 物聯網協議最全講解 一、什麼是物聯網? 物聯網(Internet of Things)這個概念讀者應該不會陌生。物聯網的概念最早於1999年被提出來,曾被稱爲繼計算機、互聯網之後,世界信息產業發展的第三次浪潮,到現

原创 一家化纖工廠的數字化轉型之路

在數字經濟的浪潮中,零售業被公認爲是數字化程度最高的行業,而與此形成鮮明對比的中國傳統制造業,大部分還處於觀望狀態。當前,國內外形勢正在發生深刻複雜的變化,越來越多的製造企業希望通過業務數字化與智能化,降低公司的管理成本,提升運營效率,推動

原创 【數據湖計算篇】雲原生計算引擎挑戰與解決方案

雲原生背景介紹與思考 圖一是基於ECS底座的EMR架構,這是一套非常完整的開源大數據生態,也是近10年來每個數字化企業必不可少的開源大數據解決方案。主要分爲以下幾層: ECS物理資源層,也就是Iaas層 數據接入層,例如實時的Kafka,

原创 看動畫學算法之:排序 - 基數排序 簡介 基數排序的例子 基數排序的java代碼實現 基數排序的時間複雜度

簡介 之前的文章我們講了count排序,但是count排序有個限制,因爲count數組是有限的,如果數組中的元素範圍過大,使用count排序是不現實的,其時間複雜度會膨脹。 而解決大範圍的元素排序的辦法就是基數排序。 基數排序的例子 什麼是

原创 螞蟻御術:我的前端十年成長之路 大學·直面恐懼,遇強越強 百度·多做一點,強者越強 創業·高維躍遷,強如螻蟻 螞蟻·夢想可貴,未來無畏 當下·真實活着,真正活過

我是御術,10年北郵畢業參加工作至今,剛好10年。一直覺得自己特別幸運,一路走來遇到了那麼多好人好事,有機會一同做了點事情,由衷感激家人朋友們的支持和幫助。 自以爲每一個人的發展軌跡都是不可複製的,過去的點滴權當引子就好,比能力更重要的是

原创 java安全編碼指南之:可見性和原子性

簡介 java類中會定義很多變量,有類變量也有實例變量,這些變量在訪問的過程中,會遇到一些可見性和原子性的問題。這裏我們來詳細瞭解一下怎麼避免這些問題。 不可變對象的可見性 不可變對象就是初始化之後不能夠被修改的對象,那麼是不是類中引入了不

原创 寫在 Dubbo go 的第五年 引語 立項 團隊 管理 展望

引語 dubbogo 項目已進入第五個年頭。 項目發展的前兩年,我們把 hessian2 協議庫、網絡庫和整體基礎框架搭建一番。從 2018 年項目被 Dubbo 官方接納開始,依託阿里平臺,社區開始形成並快速發展。與社區同學們齊心合力之

原创 【數據湖構建篇】數據湖構建服務搭配Delta Lake玩轉CDC實時入湖

什麼是CDC Change Data Capture(CDC)用來跟蹤捕獲數據源的數據變化,並將這些變化同步到目標存儲(如數據湖或數據倉庫),用於數據備份或後續分析,同步過程可以是分鐘/小時/天等粒度,也可以是實時同步。CDC方案分爲侵入式

原创 阿里巴巴電商搜索推薦實時數倉演進之路 1. 業務背景 2.典型實時數倉訴求 3. 實時數倉架構 4. 基於Hologres的最佳實踐 5. 未來展望

1. 業務背景 阿里巴巴電商搜索推薦實時數據倉庫承載了阿里巴巴集團淘寶、淘寶特價版、餓了麼等多個電商業務的實時數倉場景,提供了包括實時大屏、實時報表、實時算法訓練、實時A/B實驗看板等多種數據應用支持。 數據的價值 我們認爲數據處於阿里巴巴

原创 數據湖元數據服務的實現和挑戰

大數據引擎的現狀 在大數據計算和存儲領域,因不同業務場景、不同數據規模,誕生了很多適合處理不同需求的各類大數據引擎,比如計算引擎類有數據分析引擎Hive、交互式分析引擎Presto、迭代計算引擎spark以及流處理引擎Flink等,存儲類有