原创 Apache Kafka 基礎
在深入瞭解Kafka之前，您必須瞭解主題，經紀人，生產者和消費者等主要術語。 下圖說明了主要術語，表格詳細描述了圖表組件。在上圖中，主題配置爲三個分區。 分區1具有兩個偏移因子0和1.分區2具有四個偏移因子0,1,2和3.分區3具有一個
2020-06-15 03:09:06
原创 Apache Kafka 概述
在大數據中，使用了大量的數據。 關於數據，我們有兩個主要挑戰。第一個挑戰是如何收集大量的數據，第二個挑戰是分析收集的數據。 爲了克服這些挑戰，您必須需要一個消息系統。Kafka專爲分佈式高吞吐量系統而設計。Kafka往往工作得很好，作爲
2020-06-15 03:09:06
原创 Hadoop 多節點集羣
本章介紹了分佈式環境中Hadoop多節點集羣的設置。由於整個集羣無法演示，我們將使用三個系統（一個主節點和兩個從節點）解釋Hadoop集羣環境;下面給出他們的IP地址。Hadoop Master：192.168.1.15（hadoop-
2020-06-15 03:09:06
原创 Hadoop Mapper&Hadoop Shuffle
Hadoop MapperMapReduce - Mapper主要是讀取InputSplit的每一個Key,Value對並進行處理public class Mapper<KEYIN, VALUEIN, KEYOUT, VALUEOUT>
2020-06-13 16:04:02
原创 Hadoop Container&Hadoop Failover
Hadoop ContainerYARN - Container基本的資源單位（CPU、內存等）Container可以加載任意程序，而且不限於Java一個Node可以包含多個Container，也可以是一個大的ContainerAppl
2020-06-13 16:04:02
原创 Hadoop 讀取數據
MapReduce - 讀取數據通過InputFormat決定讀取的數據的類型，然後拆分成一個個InputSplit，每個InputSplit對應一個Map處理，RecordReader讀取InputSplit的內容給MapInputF
2020-06-13 16:04:02
1
原创 Hadoop ResourceManager
YARN - ResourceManager負責全局的資源管理和任務調度，把整個集羣當成計算資源池，只關注分配，不管應用，且不負責容錯資源管理以前資源是每個節點分成一個個的Map slot和Reduce slot，現在是一個個Conta
2020-06-13 16:04:02
原创 Hadoop NodeManager&Hadoop ApplicationMaste
Hadoop NodeManagerYARN - NodeManagerNode節點下的Container管理啓動時向ResourceManager註冊並定時發送心跳消息，等待ResourceManager的指令監控Container的
2020-06-13 16:04:02
原创 Hadoop 編程&Hadoop IO
Hadoop 編程MapReduce - 編程處理select：直接分析輸入數據，取出需要的字段數據即可where: 也是對輸入數據處理的過程中進行處理，判斷是否需要該數據aggregation:min, max, sumgroup b
2020-06-13 16:04:02
原创 HTML 符號實體參考手冊
HTML 符號實體參考手冊HTML 符號實體如果我們希望瀏覽器正確地顯示在 HTML 中預留的字符，我們必須在 HTML 源碼中插入字符實體。字符實體有三部分：一個和號 ‘&’ 和一個實體名稱（或者一個 ‘#’ 和一個實體編號），以及一
2020-06-12 14:19:49
原创 微信小程序API 模板消息
模板推送位置：服務通知模板下發條件：用戶本人在微信體系內與頁面有交互行爲後觸發模板跳轉能力：點擊查看詳情僅能跳轉下發模板的該帳號的各個頁面使用說明步驟一：獲取模板ID有兩個方法可以獲取模版ID通過模版消息管理接口獲取模版ID在微信公衆平
2020-06-12 14:19:49
原创 HTML 語言代碼參考手冊
HTML 語言代碼 參考手冊ISO 語言代碼HTML 的 lang 屬性可用於聲明網頁或部分網頁的語言。這對搜索引擎和瀏覽器是有幫助的。例如：谷歌瀏覽器可以根據您的代碼 <html lang="en"> 就會知道您的網頁是英文頁面，則會
2020-06-12 14:19:49
原创 HTML URL 編碼參考手冊
HTML URL 編碼 參考手冊URL 編碼會將字符轉換爲可通過因特網傳輸的格式。URL - 統一資源定位器Web 瀏覽器通過 URL 從 web 服務器請求頁面。URL 編碼URL 只能使用 ASCII 字符集來通過因特網進行發送。由
2020-06-12 14:19:49
原创 微信小程序之開放數據
微信小程序開放數據 open-dataopen-data基礎庫 1.4.0 開始支持，低版本需做兼容處理用於展示微信開放的數據。屬性名類型默認值說明typeString開放數據類型open-gidString當 type="groupN
2020-06-11 02:57:37
原创 微信小程序API 微信支付
wx.requestPayment(OBJECT)發起微信支付。Object參數說明：參數類型必填說明timeStampString是時間戳從1970年1月1日00:00:00至今的秒數,即當前的時間nonceStrString是隨機字
2020-06-11 02:57:37