原创 大數據批處理框架Spring Batch+spring boot+quartz
1簡介 1.1概述 大數據時代，數據的收集、處理、存儲、分析、挖掘、檢索、展示，環環相扣。其中數據處理環節是一個典型的批處理場景——定期對海量數據進行格式化，各種業務規範校驗，複雜的業務邏輯處理，並通過事務的方式處理到自己的數據庫中，同時
2018-08-29 06:47:50
690
原创 分佈式數據處理框架：Apache Beam
1簡介 大數據時代中，數據從簡單的批處理，擴展到實時處理、流處理。起初的MapReduce處理模式早已獨木難支。此外，大數據處理技術也是百花齊放，如 HBase、Hive、Kafka、Spark、Flink 等，對開發者而言，想要將其全部
2018-08-29 06:47:50
9
原创 自學Hadoop1.0——初識MapReduce基本組件
初識MapReduce基本組件 編程讀寫HDFS 開發一個PutMerge程序，用來合併文件後放入HDFS。命令行工具不支持這個操作，需要使用API編程實現。 Hadoop文件的API的起點類是FileSystem類。這是一個
2018-08-29 06:47:50