原创 Spark Streaming整合Kafka（二）
Direct 方法（沒有Receiver） 一、概述 本方法是從Spark1.3版本引進的，提供更加強大的端到端的數據保障，改善數據丟失的情況，並且不再採用receiver的方式去接收數據，這方法週期性地從每一個topic分區裏面查詢ka
2020-06-23 04:14:11
原创 【Leetcode】 Merge Sorted Array
題目： Given two sorted integer arrays nums1 and nums2, merge nums2 into nums1 as one sorted array. Note: You may assum
2020-06-23 04:14:10
原创 SparkStreaming整合Flume（一）Push方式的整合
Apache Flume 是一個分佈式、可靠的、可用的服務，應用於有效地收集、聚合以及移動大量的日誌文件。 接下來我們將來介紹配置Flume，使得SparkStreaming可以去接收來自Flume的數據。注意Spark Streamin
2020-06-23 04:14:10
原创 SparkStreaming整合Flume（二）Pull方式的整合
二、Pull方式整合 又稱：基於Pull的方式使用自定義的sink。 和第一種直接Push數據到Spark Streaming 的方式相反，Pull方式就是SparkStreaming從Flume裏進行數據的拉取，這種方式會自定義個Flu
2020-06-23 04:14:10
原创 排序算法（Java）一
選擇排序 public class SelectionSort { // 我們的算法類不允許產生任何實例 private SelectionSort(){} public static void sor
2020-06-01 12:16:19
原创 Spark Streaming整合Flume&Kafka打造通用流處理基礎
一、流程圖 首先服務器集羣中將日誌信息通過固定的主機名和端口號，對接到Flume中的Source，然後Flume將chanel中的數據按批次sink到Kafka中，即充當Kafka中的生產者，然後，kafka把生產的數據放入到brok
2020-02-23 06:39:06
原创 Spark Streaming整合Kafka（一）
基於Receiver 方式整合 一、Kafka版本選擇 Spark Streaming支持Kafka0.8.2.1及以上的版本。 Kafka項目介紹了兩個新的Comsumer（消費者）API，在0.8版本和0.10版本之間，根據自身需求選
2020-02-23 06:39:06
原创 【Leetcode】Validate Binary Search Tree
題目： Given a binary tree, determine if it is a valid binary search tree (BST). Assume a BST is defined as follows: Th
2020-02-23 06:39:06
原创 【Leetcode】 Word Ladder
題目： Given two words (beginWord and endWord), and a dictionary's word list, find the length of shortest transformation
2020-02-23 06:39:06
原创 Flume與Kafka整合完成實時數據處理
一、整合流程圖 Flume收集WEB服務器的數據信息，然後再對Flume進行串聯，即對Flume進行擴展，選中一臺flume，把信息sink到Kafka去，此時這臺Flume的 sink就相當於是kafka的生產者，再啓動一臺kafk
2020-02-23 06:39:06
原创 Kafka基本使用介紹
一、Kafka概述 Kafka® is used for building real-time data pipelines and streaming apps. It is horizontally scalable, fault-t
2020-02-23 06:39:06
原创 【Leetcode】Valid Palindrome
題目： Given a string, determine if it is a palindrome, considering only alphanumeric characters and ignoring cases. Fo
2020-02-23 06:39:06
原创 Flume的基本使用介紹
一、Flume概述 Flume是一個分佈式的、高可靠的、可用的一個服務，用於收集、聚合、移動大量數據。它有簡單、靈活的結構基於數據流，具有健壯性和容錯性，它能夠使用簡單的、可擴展的數據模型用於在線實時分析應用。結構圖如下： webse
2020-02-23 06:39:06
原创 Spark Streaming基本使用介紹
一、Spark Streaming 概述 Spark Streaming是基於Spark core API的擴展，能夠支持大規模可擴展的、高吞吐量的、容錯的流處理，可作用於實時流處理之上，並且可通過多種數據源的方式採集數據，比如Kafka
2020-02-23 06:39:06
原创 【Leetcode】Merge Intervals
題目： Given a collection of intervals, merge all overlapping intervals. For example, Given [1,3],[2,6],[8,10],[15,18],
2020-02-23 06:39:06