原创 大數據架構體系(數據倉庫)

1、傳統大數據架構 優點 缺點 使用場景 簡單,易懂,對於BI系統來說,基本思想沒有發生變化,變化的僅僅是技術選型,用大數據架構替換掉BI的組件 1、沒有BI下如此完備的Cube架構,雖然目前有kylin,但是kyli

原创 項目啓動會

1、項目啓動會 項目啓動會是一個非常重要的里程碑事件、意味着我們完成了對項目可行性研究和分析。同時獲得組織授權進入規劃階段,並且會逐步增加相關資源推動項目實施。會議要有明確的步驟和目的,也隱藏着項目團隊的很多小心機。 首先是蒐集資源。 通

原创 規劃項目成本

對於一個項目來說,能否做好成本管控也是判斷項目成功與否的一個重要標準。 想要在批准的預算內完成項目,需要對成本進行規劃,同時做好估算、預算、融資、籌資、管理和控制的各個過程,從而確保項目在批准的預算內完工。 簡單的概括這個過程,就是規劃成

原创 airflow安裝部署(python)

在線安裝Airflow 組件版本: Python 3.7.2 Apache airflow 1.10.1 Mysql 5.7.24 CentOs7.8 Python安裝 Centos7中,Python默認是安裝的,輸入python 直接可

原创 Elasticsearch等同八大全能型的數據產品對比

Elasticseach從做搜索引擎開始,到現在主攻大數據分析領域,逐步進化成了一個全能型的數據產品,在Elasticsearch諸多優秀的功能中,與很多數據產品有越來越多的交叉競爭,有的功能很有特色,有的功能只是附帶,瞭解這些產品特點有

原创 談flink實時流處理

背景: 數據量激增傳統的時代,不同的業務場景都有大量的業務數據產生,對於這些不斷產生的數據應該如何進行有效地處理,成爲當下大多數公司所面臨的問題。  但隨着數據的不斷增長,新技術的不斷髮展,人們逐漸意識到對實時數據處理的重要性,企業需要能