原创 快速入門kafka③ kafka優點及技術架構
Kafka優點 可靠性強：分佈式的，分區，複製和容錯 可擴展性：無需停機進行擴展。 耐用性：消息會盡可能快速的保存在磁盤上，持久化。 性能高：對於發佈和定於消息都具有高吞吐量，保證零停機和零數據丟失 Kaf
2020-06-24 03:10:31
原创 快速入門MapReduc① 實現WordCount
目錄 1.需要處理的數據 2.創建maven項目pom.xml 3.編寫map類 4.編寫Reduce類 5.編寫啓動類 6.執行的結果 1.需要處理的數據 hello word word count hello MapReduce 2
2020-06-24 03:10:31
原创 快速入門kafka④ 常用命令及API使用
常用命令： 創建topicbin/kafka-topics.sh --create --zookeeper node01:2181,node02:2181,node03:2181 --replication-factor 2 --part
2020-06-24 03:10:31
原创 快速入門MapReduce② MapReduce的分區與ReduceTask的數量
目錄 1.需求 2.創建maven項目導入所依賴的jar包 3.創建map類 4.創建Reduce類 5.創建Partitioner 6.創建啓動類 7.需要執行的文件及結果 1.需求 這個文本文件，其中第六個字段表示
2020-06-24 03:10:31
原创 Redis 數據持久化案例實現
一、介紹 由於redis是一個內存數據庫，所有的數據都是保存在內存當中的，內存當中的數據極易丟失，所以redis的數據持久化就顯得尤爲重要，在redis當中，提供了兩種數據持久化的方式，分別爲RDB以及AOF，且redis默認開
2020-06-24 03:10:31
原创 快速入門Redis Sentinel架構(哨兵)
一、什麼是Sentinel(哨兵) Sentinel（哨兵）是Redis 的高可用性解決方案：由一個或多個Sentinel 實例 組成的Sentinel 系統可以監視任意多個主服務器，以及這些主服務器屬下的所有從服務器，並在被監視的主服務
2020-06-24 03:10:31
原创 快速入門kafka② kafka集羣搭建(初級體驗)
一、搭建環境前提 安裝jdk，安裝zookeeper並保證zk服務正常啓動 二、下載並解壓 wget http://archive.apache.org/dist/kafka/1.0.0/kafka_2.11-1.0.0.tgz
2020-06-24 03:10:31
原创 快速入門Scala③ scala循環操作
for循環操作 scala> for (i <- 1 to 20){ println(i) } scala> var num=1.to(20) for (i <- num){ println(i) } 嵌套循環 scala> fo
2020-06-24 03:10:31
1
原创 Redis 主從複製結構
一、介紹 在Redis中，用戶可以通過執行SLAVEOF命令或者設置slaveof選項，讓一個服務器去複製（replicate）另一個服務器，我們稱呼被複制的服務器爲主服務器（master），而對主服務器進行復制的服務器則被稱爲從服
2020-06-24 03:10:31
原创 快速入門Scala④ 方法與函數操作
定義語法： 默認參數、帶名參數、變長參數 def methodName (參數名:參數類型, 參數名:參數類型) : [return type] = { // 方法體：一系列的代碼} 參數列表的參數類型不能省略 返回值類型可以省略
2020-06-24 03:10:31
1
原创 快速入門Scala⑦ 對元祖操作
元組 元組可以用來包含一組不同類型的值。 定義元組 使用括號來定義元組 var/val 元組 = (元組1，元素2，元素3...) 使用箭頭來定義元組（元組只有兩個元素） var/val 元組 = 元素1 -> 元素2 參考代碼
2020-06-24 03:10:31
1
原创 快速入門Scala② 快速入門基本語法
快速使用 scala> println("hello word") hello word 聲明變量 scala> var text:String="hello scala" text: String = hello scala scala
2020-06-24 03:10:31
1
原创 Spark快速入門API① Transformation轉換算子
Spark支持兩種RDD操作： transformation和action。transformation操作會針對已有的RDD創建一個新的RDD； 而action則主要是對RDD進行最後的操作，比如遍歷、reduce、保存到文件等，並可以
2020-06-24 03:10:31
原创 快速入門MapReduce③ MapReduce綜合練習之上網流量統計
目錄 需求： 1.創建maven項目導入pom.xml 2.自定義map輸出value對象FlowBean 3.定義map類 4.定義reduce類 5.定義啓動類
2020-06-24 03:10:31
原创 Spark環境搭建③ standalone-HA高可用模式
原理 Spark Standalone集羣是Master-Slaves架構的集羣模式，和大部分的Master-Slaves結構集羣一樣，存在着Master單點故障的問題。 如何解決這個單點故障的問題，Spark提供了兩種方案： 1.基於文
2020-06-24 03:10:31