原创 僞分佈式系列 - 第六篇 - flume-1.9.0-環境搭建

目錄目標架構環境準備下載flumeflume配置進入配置目錄配置啓動測試 目標 flume下載安裝 此處以實時監聽文件上傳到hdfs爲場景實現 架構 flume的官方給的如上的圖,這是個基本的單位agent 有source

原创 推薦系統系列 - 實例二 - 協同過濾算法-儲備知識

目錄協同過濾簡介協同過濾算法分類基於領域的協同過濾算法基於模型的協同過濾算法相似度算法歐式(歐幾里得)距離相似度餘弦相似度皮爾遜相關係數Jaccard公式優勢與劣勢優勢劣勢 協同過濾簡介 協同過濾算法(collaborativ

原创 推薦系統系列 - 實例一 - 基於流行度的算法 - 搜索熱詞推薦

目錄背景基礎知識數據清洗計算熱度推薦詞查看結果 背景 在新的系統裏面,早期都是沒有很多數據,很難直接拿來做推薦系統,這就是有些算法存在冷啓動的問題,所以在系統早期推薦都是基於熱度(流行度)或者基於運營策略的推薦. 我們此處案例是

原创 Antlr - 使用antlr4實現一個計算器,配合變量可以實現程序裏的複合指標運算

目錄開發環境準備idea項目配置antlr配置文件代碼編寫測試 開發環境準備 idea 我使用idea開發,所以使用一idea作爲環境參考,idea版本是 打開preferences,選擇plugins 輸入antl

原创 表達式引擎Aviator

Aviator是一個輕量級、高性能的Java表達式執行引擎, 本文內容主要來自於官方文檔   更多幹貨 分佈式實戰(乾貨) spring cloud 實戰(乾貨) mybatis 實戰(乾貨) spring boot 實戰(

原创 Java Mission Control-Java 性能分析工具

引言 本文爲 Java 性能分析工具系列文章第三篇,這裏將介紹如何使用 Java 任務控制器 Java Mission Control 深入分析 Java 應用程序的性能,爲程序開發人員在使用 Java 任務控制器的時候提供幫助。第一篇:

原创 Apache Kylin 精確去重指標優化歷程

問題背景 優化1 將精確去重指標拆分HBase列族 優化2 移除不必要的toString避免bitmap deserialize 優化3 獲取bitmap的字節長度時避免deserialize 優化4 無需上卷聚合的精確去重查詢優化 總結

原创 大數據體系乾貨(一) - 數據平臺與數據中臺

目錄數據平臺數據中臺數據平臺與數據中臺的區別與聯繫區別聯繫整體架構硬件層&虛擬化數據平臺存儲能力計算能力管理平臺數據中臺數據倉庫數據集市數據開發數據運維賦能對象賦能管理者賦能業務運營賦能業務中臺賦能數據變現賦能合作伙伴 數據平臺

原创 僞分佈式系列 - 第七篇 - zookeeper-環境搭建

目錄zookeeper架構環境準備zookeeper下載jvm安裝zookeeper配置目錄配置zk啓動測試 zookeeper架構 zk分佈式情況是master-slave架構,leader和follower,單節點的情況就是

原创 推薦系統系列 - 引導 - 5類系統推薦算法,非常好使,非常全

原文鏈接:https://sq.163yun.com/blog/article/232582687685324800   ◆ ◆ ◆   序言   最近因爲PAC平臺自動化的需求,開始探坑推薦系

原创 僞分佈式系列 - 第五篇 - flink-1.8.1-bin-scala_2.12-環境搭建on hadoop3.2.0

目錄flink的三種運行模式單機模式Standalone 分佈式on yarn環境準備下載flinkyarn安裝flink配置配置目錄home下 conf/flink-conf.yaml啓動測試方式一:Flink服務常駐yarn方

原创 僞分佈式系列 - 第六篇 - flume-環境搭建

目錄環境準備下載flumeflume配置啓動測試 環境準備 下載flume 下載地址:http://flume.apache.org/download.html http://mirror.bit.edu.cn/apache/f

原创 建設企業的數據化引擎,網易嚴選數據中臺的經驗和方法論

轉自:https://www.infoq.cn/article/Zyq4a*yEI1Uz2iwHFJuF?from=timeline 數據中臺最早是阿里提出的,但真正火起來是 2018 年,我們能感受到行業文章談論數據中臺的越來越多。大量

原创 UML示例圖

原创 Raft 爲什麼是更易理解的分佈式一致性算法

一致性問題可以算是分佈式領域的一個聖殿級問題了,關於它的研究可以回溯到幾十年前。 拜占庭將軍問題 Leslie Lamport 在三十多年前發表的論文《拜占庭將軍問題》(參考[1])。 拜占庭位於如今的土耳其的伊斯坦布爾,是東羅馬帝國的首