原创 flink開發實戰之flink原理解析
目錄 Flink出現的背景 Flink 簡介 Flink 的生態圈(技術棧) 執行配置 設置並行性 操作級別 執行環境級別 客戶級別 基本API（流處理和批處理） DataSet和DataStream Flink計劃的剖析 讀取數據
2018-10-02 09:33:39
4
原创 Flink開發實戰二 ——實戰案例
本文以flink本地模式 進行各個場景的實戰開發 flink本地運行模式 Flink支持兩種不同的本地運行機制: LocalExecutionEnvironment啓動完整的Flink運行環境，包括一個JobManager和一個Tas
2018-09-19 09:37:19
6
原创 flink開發實戰一：flink集羣的搭建與部署
flink實戰案例一：flink集羣的搭建與部署 1.下載Flink壓縮包 下載地址：http://flink.apache.org/downloads.html 根據集羣環境的情況下載相應的版本的flink壓縮包 hadoop2.6
2018-09-18 09:36:40
原创 hbase實戰-1
hbase實戰 hbase官方文檔： http://https://hbase.apache.org/ hbase簡介 Apache HBase™是Hadoop數據庫，這是一個分佈式，可擴展的大數據存儲。 當您需要隨機，實時讀取/
2018-09-15 01:25:57
原创 Hadoop之hdfs的工作原理和安裝
一 HDFS簡介（Hadoop Distributed File System）1簡介：是Hadoop項目的核心子項目，是分佈式計算中數據存儲管理的基礎，是基於流數據模式訪問和處理超大文件的需求而開發的，可以運行於廉價的商用服務器上。它所
2018-09-04 05:32:32
1
原创 hadoop2.0之mapReduce啓動運行全流程解析
mapReduce在Hadoop2.x中各部分簡介：ResourceManager，RM ：管理集羣上資源使用的資源管理器：Application Master ,AM ：管理集羣上運行任務聲明週期的應用管理器： 應用服
2018-09-04 05:32:32
原创 redis的安裝與使用
1.1 下載redis因爲redis一般會在linux系統進行安裝，所以下載時要下載linux系統的安裝包。官網地址：http://redis.io/下載地址：http://download.redis.io/releases/redis
2018-09-04 05:32:32
原创 基於ssm三大框架實現登錄註冊功能的配置過程
第一步 ssm jar包整合，本人的下載資源裏面有整合的jar包主要有：ssm整合jar包 ，jstl,數據庫連接，josn junit，等jar包第二步，建立各類包和配置文件，儘量把各個配置文件分開，統一放在一個自己建立的config
2018-09-04 05:32:32
4
原创 flume 的安裝與使用
1. 概述什麼是flume?Flume是一種分佈式，可靠且可用的服務，用於高效地收集，彙總和移動大量日誌數據。它具有基於流式數據流的簡單而靈活的架構。它具有可靠的可靠性機制以及許多故障轉移和恢復機制，具有強大的容錯性和容錯能力。它使用一個
2018-09-04 05:32:32
原创 YARN集羣搭建與使用
一 yarn簡介Yarn（Yet Another Resource Negotiator）是Hadoop集羣的資源管理系統，它是一個通用資源管理系統，可爲上層應用提供統一的資源管理和調度，它的引入爲集羣在利用率、資源統一管理和數據共享等方
2018-09-04 05:32:32
原创 jdbc之mysql連接與操作
一 介紹：數據庫連接其實不算複雜，連接有固定的格式，以學生系統實現mysql數據庫連接 二 jdbc連接格式（mysql爲例） 注意：數據庫連接和操作需要拋出相應的異常類型 三 數據庫具體操作 import java.sql.*
2018-09-04 05:32:32
原创 kafka工作原理與使用
1. Kafka概述1.1. 什麼是KafkaApache Kafka是分佈式發佈-訂閱消息系統（消息中間件）。它最初由LinkedIn公司開發，之後成爲Apache項目的一部分。Kafka是一種快速、可擴展的、設計內在就是分佈式的，分區
2018-09-04 05:32:31
原创 flume +kafka+SparkStreaming日誌監控平臺
流程圖 採集方案#agentsectionproducer.sources= s1producer.channels= c1producer.sinks= k1#配置數據源producer.sources.s1.type=exec#配置需
2018-09-04 05:32:31
原创 Spark Streaming工作原理分析與使用
Spark Streaming入門1. 概述Spark Streaming 是 Spark Core API 的擴展, 它支持彈性的, 高吞吐的, 容錯的實時數據流的處理。spark streaming提供是一種分佈式計算能力。數據來源數
2018-09-04 05:32:30
3
原创 kafka集羣的搭建與使用
1. 下載Apache kafka 官方： http://kafka.apache.org/downloads.htmlScala 2.11 - kafka_2.11-0.10.2.0.tgz (asc, md5)2.Kafka集羣安裝
2018-09-04 05:32:30
1