Spring Cloud Data Flow 介紹
需要JAVA Spring Cloud大型企業分佈式微服務雲構建的B2B2C電子商務平臺源碼 一零三八七七四六二六
1.Data flow 是一個用於開發和執行大範圍數據處理其模式包括ETL,批量運算和持續運算的統一編程模型和託管服務。
2.對於在現代運行環境中可組合的微服務程序來說,spring cloud data flow是一個原生雲可編配的服務。 使用spring cloud data flow,開發者可以爲像數據抽取,實時分析,和數據導入/導出這種常見用例創建和編配數據通道 (data pipelines)。
3.Spring cloud data flow 是基於原生雲對 spring XD的重新設計,該項目目標是簡化大數據應用的開發。 Spring XD 的流處理和批處理模塊的重構分別是基於 spring boot的stream 和 task/batch 的微服務程序。 這些程序現在都是自動部署單元而且他們原生的支持像 Cloud Foundry、Apache YARN、Apache Mesos和Kubernetes 等現代運行環境。
4.Spring cloud data flow 爲基於微服務的分佈式流處理和批處理數據通道提供了一系列模型和最佳實踐。
特點
1.使用DSL,REST-APIs,Dashboard,和 drag-and-drop gui開發
2.獨立的創建,單元測試,故障排除,和管理微服務程序
3.使用開箱即用的stream和task/batch應用迅速的構建數據通道
4.把微服務作爲maven或者docker的構件
5.在不中斷數據流的情況下擴展數據通道
6.在現代運行環境平臺上編配以數據爲中心的應用程序
7.利用度量,健康檢查遠程管理每一個微服務程序
架構
Spring cloud data flow 簡化了應用程序的開發和部署 將精力集中到數據處理的用例上主要的架構概念在 應用程序、data flow 服務器和目標運行環境上
應用程序有兩個特點:
1.週期長的流處理,程序通過消息中間件消費和產生連續不斷的數據
2.短週期的任務處理,程序處理有限的數據集合然後中斷
取決於運行環境,應用程序可以有兩種打包方式
1.spring boot 打成jar包可以託管在一個maven倉庫,文件,http或者是其他spring資源實現
2.Docker
對比其他架構平臺:
Spring Cloud Data Flow的架構風格不同於其他流處理和批處理平臺。例如Apache Spark,Apache Flink,和Google Cloud Dataflow 應用程序運行在特定的計算引擎集羣裏。
相比Spring Cloud Data Flow,這些計算引擎原生的給平臺提供一個豐富的環境去執行復 雜的數據運算,但是在別的運行環境引入複雜性,往往是不需要的。這不意味着你用 Spring Cloud Data Flow 就不能做實時數據計算。
類似的,Apache Storm,Hortonworks DataFlow 和Spring Cloud Data Flow的前身,Spring XD,都指定了程序運行集羣,每個產品的獨特性,決定了你的代碼要在平臺上運行並進行健康檢查確保長週期應用在運行失敗的時候可以重新啓動。通常,我們爲了能正確的嵌入到集羣執行框架需要實現框架指定接口。
java B2B2C 仿淘寶電子商城系統