原创 查找兩個鏈表相同部分
給定兩個有序單向鏈表，鏈表的頭指針分別爲head1和head2，請您找出兩個鏈表的公共部分並輸出。 參考答案： 思路 這道理其實挺簡單的，因爲兩個鏈表都是有序的，所以咱們不放可以從兩個鏈表的頭開始，步驟如下： 如果head1的值小於hea
2020-07-06 21:33:33
原创 Flink 之 KeyedState 的使用
場景： 不使用 Flink 提供的 sum() 方法，使用 KeyedState 完成對單詞分組求和計算操作。 代碼： /** * TODO 不使用 Flink 提供的sum()方法，對單詞進行分組求和計算。 * *
2020-07-03 08:49:35
原创 【源碼解析】Flink 滑動窗口數據分配到多個窗口
之前一直用翻滾窗口，每條數據都只屬於一個窗口，所有不需要考慮數據需要在多個窗口存的事情。 剛好有個需求，要用到滑動窗口，來翻翻 flink 在滑動窗口中，數據是怎麼分配到多個窗口的 一段簡單的測試代碼： val input = env
2020-07-03 08:49:35
原创 Flink的窗口算子 WindowOperator的實現原理
窗口算子WindowOperator是窗口機制的底層實現，它幾乎會牽扯到所有窗口相關的知識點，因此相對複雜。本文將以由面及點的方式來分析WindowOperator的實現。首先，我們來看一下對於最常見的時間窗口（包含處理時間和事件時間）其
2020-07-03 08:49:35
原创 Flink架構，源碼及debug
工作中用Flink做批量和流式處理有段時間了，感覺只看Flink文檔是對Flink ProgramRuntime的細節描述不是很多， 程序員還是看代碼最簡單和有效。所以想寫點東西，記錄一下，如果能對別人有所幫助，善莫大焉。
2020-07-03 08:49:35
1
原创 idea 看源碼關係uml插件推薦 code iris
最近看源碼就想找個uml的類圖工具，網上看了一些，發現都是一些單個類的繼承關係圖，如果不知道的朋友，可以用uml插件工具搜索uml即可（uml support），然後每次點擊右鍵後在菜單下面找Diagrams，但是我們今天介紹的不是這個，
2020-07-03 08:49:35
原创 Flink自定義Window----自定義Evictor(驅逐者)
在看flink Window 機制的相關博客時,看到有個同學的需求很有趣, "如何讓一個DataStream中的某個字段與21天前的該字段做比較?" 該同學給定了一個大小21天，每一天滑動一次的window 解決方案: 在其TimeWin
2020-07-03 08:49:35
原创 catboost案例
from catboost import CatBoostClassifier # 數據集 cat_features = [0, 1] # 類別特徵下標 train_data = [["a", "b", 1, 4, 5, 6],
2020-07-01 19:55:08
原创 anaconda安裝xgboost
最近要學習XGB打kaggle比賽，可是網上安裝xgboost的教程五花八門，又是鏡像，又是VS的~~~~非常絕望，最後之間使用anaconda簡單快捷的安裝 親測有效： 打開anaconda自帶的Prompt， 輸入 anaconda
2020-07-01 18:47:41
原创 Flink 廣播流 跟 MapState 案例
package com.coder.flink.core.aaa_Use_demo; import com.alibaba.fastjson.JSON; import com.alibaba.fastjson.JSONObject
2020-07-01 18:47:41
原创 C++中使用SIMD
圖7列出了使用SIMD技術的多種方法，我們先按從上至下的順序簡要介紹每一種，然後重點介紹彙編語言方法。 圖7 使用SIMD技術的多種方法 第一種方法是使用著名的IPP庫，IPP的全稱是Intel Integrated Perform
2020-07-01 18:47:41
原创 xgboost案例
from __future__ import division import numpy as np import xgboost as xgb # label need to be 0 to num_class -1 data = np
2020-07-01 18:47:41
原创 lightgbm案例
import lightgbm as lgb import pandas as pd from sklearn.metrics import mean_squared_error from sklearn.model_selection
2020-07-01 18:47:31
原创 Flink調度
從提交來一步一步分析，本文源碼基於Apache社區 1.8-release 版本 REST提交作業流程： 1.集羣啓動後 通過 /jars/upload 向集羣提交可執行jar文件 2.通過 /jars/:jarid/run 來啓動一個j
2020-07-01 18:47:30
原创 PgSQL · 引擎介紹 · 向量化執行引擎簡介
摘要 本文爲大家介紹一下向量化執行引擎的引入原因，前提條件，架構實現以及它能夠帶來哪些收益。 希望讀者能夠通過對這篇文章閱讀能夠對向量化執行引擎的應用特徵與架構有一個概要的認識。 關鍵字 向量化執行引擎， MonetDB，Tuple， 順
2020-07-01 18:47:30