原创 window環境pycharm運行python項目
吐槽一下window下運行python項目是真的難受。 1.在pycharm中構建一個此項目使用的python環境 2.換阿里雲的地址拉取依賴 問題:依賴拉取失敗 解決辦法一: 我本地使用的是Anaconda，所以使用Anaconda安
2020-07-07 04:27:38
原创 Yarn 筆記一
1.Yarn架構 ResourceManager(rm)：處理客戶端請求、啓動/監控ApplicationMaster、監控NodeManager、資源分配與調度； NodeManager(nm)：單個節點上的資源管理、處理來自Reso
2020-07-05 20:16:10
原创 HDFS 筆記二
1.HDFS元數據管理機制 計算機中存儲數據兩種：內存或者是磁盤 元數據存儲磁盤：存儲磁盤無法面對客戶端對元數據信息的任意的快速低延遲的響應，但是安全性高 元數據存儲內存：元數據存放內存，可以高效的查詢以及快速響應客戶端的查詢請求
2020-07-04 06:18:36
原创 HDFS 筆記一
1.HDFS主要的組件: 2.HDFS讀數據流程 1. 客戶端通過Distributed FileSystem向NameNode請求下載文件，NameNode通過查詢元數據， 找到文件塊所在的DataNode地址。 2. 挑選一臺Da
2020-07-04 06:18:36
原创 MR 筆記三
Shuffle機制 map階段處理的數據如何傳遞給reduce階段，是MapReduce框架中最關鍵的一個流程，這個流程就叫shuffle。shuffle: 洗牌、發牌——（核心機制：數據分區，排序，分組，combine，合併等過程）
2020-07-04 06:18:36
原创 MR 筆記二
1.Writable接口 在MR中使用對象 創建對象時需要實現Writable接口中的write()和readFields()方法 反序列化方法讀順序必須和寫序列化方法的寫順序必須一致 2.MapTask運行機制詳解 詳細步驟：
2020-07-04 06:18:36
原创 MR 筆記五
1.InputFormatInputFormat常見子類包括: TextInputFormat （普通文本文件，MR框架默認的讀取實現類型） KeyValueTextInputFormat（讀取一行文本數據按照指定分隔符，把數據封裝爲kv
2020-07-04 06:18:36
原创 MR 筆記一
1.MapReduce編程規範及示例編寫 Mapper類 用戶自定義一個Mapper類繼承Hadoop的Mapper類 Mapper的輸入數據是KV對的形式（類型可以自定義） Map階段的業務邏輯定義在map()方
2020-07-04 06:18:36
原创 MR 筆記四
1.MapReduce中的Combiner 1. Combiner是MR程序中Mapper和Reducer之外的一種組件 2. Combiner組件的父類就是Reducer 3. Combiner和reducer的區別在於運行的位置
2020-07-04 06:18:36
原创 spark structure streaming + kie server
在drools workbench +kie server安裝好了kie server並且發佈了對應的項目。現在通過spark structure streaming+kie server實時爲數據打標。項目地址 項目中涉及到的地址信息都
2020-06-26 12:54:56
原创 drools workbench +kie server
環境安裝(本地環境安裝) 直接使用docker安裝 參考文檔: drools workbench:https://hub.docker.com/r/jboss/drools-workbench-showcase kie server:ht
2020-06-26 11:45:17
2
原创 flink 筆記
1.窗口時間是預定好的 不是根據數據的時間進行劃分的 2.Periodic Watermarks 用戶自定義發送的watermark 連續發送 3.Puncuated WaterMarks 基於事件(用戶自定義事件)觸發water
2020-06-15 05:11:32
原创 scala gson嵌套序列化失敗
原因: 在對象A的屬性中有list對象B，在使用Gson反序列化時對象B無法正確反序列化。反序列化出來的值都是LinkedTreeMap 解決辦法，自定義工具類: import com.google.gson.{Gson, Jso
2020-06-15 05:11:32
原创 Flink restful API demo
主要解決用flink的restful API 來啓動和停止yarn上的flink任務github地址:https://github.com/wenbaoup/flink-restful-demo package com.wenbao.f
2020-06-15 05:11:32
原创 二 最小棧
第一種: 兩個集合完成 public class MinStack { private List<Integer> data; private List<Integer> minNum; /** *
2020-06-15 05:11:32