原创 Redis的集羣創建步驟(非redis-trib.rb腳本方式)
本文目的僅用於測試驗證創建集羣的相關步驟，所以只是採用最簡單的配置在同一個服務器部署了由3個節點組成的Redis集羣 1. 創建集羣步驟，本文使用Redis 3.2.5版本 1.1 創建配置文件目錄，使用的端口分別爲5000,5001和5
2020-07-01 21:20:52
原创 Spark命令行測試轉換RDD to DataFrame報Relative path in absolute URI錯誤-Win7
無聊玩了一下Spark命令行模式的命令，測試讀寫Parquet格式的操作，發現執行personRDD.toDF時候報以下錯誤： org.apache.hadoop.hive.ql.metadata.HiveException: java
2020-07-01 21:20:52
原创 Kafka基礎-生產者發送消息
無論你是使用Kafka作爲隊列，消息總線還是數據存儲平臺，你都會用到生產者，用於發送數據到Kafka。下文介紹如何使用Java來發送消息到Kafka。1. 發送消息的主要步驟 首先創建ProducerRecord對象，此對象除了包括需要發
2020-06-07 20:48:16
1
原创 Kafka基礎-流處理
1. 什麼是流處理？ 首先，讓我們說一下什麼是數據流（也稱爲事件流）？它是無邊界數據集的抽象說法，無邊界意味着無限且不斷增長，因爲隨着時間的推移，新數據會不斷地到來。 除了無邊界的特性之外，事件流模型還有其它幾個屬性： 1.1 事件流是有
2020-06-07 20:48:16
原创 Kafka基礎-可靠性數據傳輸
可靠的數據傳輸是系統的一個必要屬性，就像性能一樣，必須從一開始就設計到系統中。Apache Kafka在可靠的數據傳輸方面非常靈活，支持非常多的配置參數。 1. 可靠性保證 當我們討論可靠性時，通常會提到保證這個術語。最著名的可靠性保證A
2020-06-07 20:48:16
原创 Kafka基礎-內部原理
理解Kafka的內部原理可以有助於故障的排除，因此本文會着重介紹以下三個部分： Kafka複製的工作原理 Kafka是怎樣處理生產者和消費者的請求 Kafka是怎樣儲存數據，例如文件格式和索引 1. 集羣成員 Kafka使用Apache
2020-06-07 20:48:16
原创 Kafka基礎-消費者讀取消息
下文介紹如何使用Java從Kafka訂閱和讀取消息，它和從其它消息系統讀取消息有點不同，涉及到一些獨特的概念。所以我們要先了解這些概念： 1. Kafka消費者概念 1.1 消費者和消費者組 當你只有一個消費者而且生產者發送消息的速率比消
2020-06-07 20:48:16
1
原创 Hadoop僞分佈式模式安裝配置步驟
最近要升級Hadoop的版本，需要重新安裝測試環境，特此記錄一下安裝配置步驟O(∩_∩)O 1. 依賴軟件 1.1 Java Hadoop 2.7及以上版本需要Java 7，之前的版本支持Java 6，本文使用Hadoop 2
2020-02-25 01:38:50
原创 下載編譯安裝Apache HTTP Server 2.4.23以及配置HTTP/HTTPS反向代理
一，依賴軟件： 1.1 GCC和C++編譯器 - GCC - C++ Compiler1.1.1 如果沒有安裝以上依賴包請執行以下命令安裝： [root@xxx ~]# yum install -y gcc gcc-c++1.1.2 如果
2020-02-25 01:38:50
1
原创 Redis的複製原理和配置參數
Redis使用的是master-slave主從複製模式，從2.8版本開始，這個過程是異步的。1. 工作原理 當一個slave首次或重新連接到mast
2020-02-25 01:38:50
原创 Spark升級到2.0後測試stream-kafka測試報java.lang.NoClassDefFoundError: org/apache/spark/Logging錯誤
- 最近從Spark 1.5.2升級到2.0之後，運行測試代碼spark-stream-kafka報以下錯誤： java.lang.NoClassDefFoundError: org/apache/spark/Logging at
2020-02-25 01:38:50
原创 Spark編程指南入門之Java篇一-基本知識
1. Spark的Java開發包 Spark提供Java的開發包，當前最新版本是2.0.2版本：spark-core_2.11-2.0.2.jar，可以從下面鏈接下載： http://central.maven.org/maven2/or
2020-02-25 01:38:50
原创 Spark下載和配置-Win7
-下載 下載頁面的link：http://spark.apache.org/downloads.html 1，Choose a Spark release 選擇需要下載的Spark版本，我這裏使用最新的版本 2，Choose a pa
2020-02-25 01:38:50
原创 Spark編程指南入門之Java篇四-常用Actions操作
8. 常用的Actions操作 T reduce(Function2<T,T,T> f) 使用指定的函數f聚合數據集中的元素，該函數把數據集中的每2個元素聚合成一個，一直遞歸直到得出最後一個元素 java.util.List<T> col
2020-02-25 01:38:50
原创 Java7之try-with-resources語句自動關閉資源
1. 使用finally關閉資源 在Java 7之前，如果要關閉一個資源的話，可以使用finally語句，不管try語句裏面的代碼是否正常執行完畢或出現異常，例如： static String readFirstLineFromFile
2020-02-25 01:38:50
1