原创 TypeError: Object of type ‘Decimal‘ is not JSON serializable
Traceback (most recent call last): File "pg2drg2pg.py", line 259, in post2DrgAndGetSql data = json.dumps(i_param
2020-07-06 21:33:33
原创 博客遷移到微信公衆號通知
以後博客的內容都是通過微信公衆號鏈接的形式發佈，之後遷移到公衆號的文章都會重新修正，也更加詳細，對於以前博客內容裏面的錯誤或者理解不當的地方都會在公衆號裏面修正。 歡迎關注我的微信公衆號，以後我會發布更多工作中總結的技術內容。
2020-07-03 08:49:35
原创 學好jvm,走向人生巔峯
JVM它是Java Virtual Machine 的縮寫，主要是通過在實際計算機模仿各種計算機功能來實現的，組成部分包括堆、方法區、棧、本地方法棧、程序計算器等，其中方法回收堆和方法區是共享區，也就是誰都可以使用，而棧和程
2020-06-26 09:17:53
原创 windows安裝pyspark
1.下載 pyspark-2.3.1.tar.gz https://archive.apache.org/dist/spark/spark-2.3.1/ 2.安裝 pip3 install pypandoc -i http://py
2020-06-18 23:07:42
原创 數據倉庫中的全量表，增量表，拉鍊表，流水錶及快照表
一.全量表 每天的所有的最新狀態的數據。 全量表，有無變化，都要報 每次上報的數據都是所有的數據（變化的 + 沒有變化的） 2020-04-06 mysql對應的user_info表 用戶id 姓名 年齡 手機號 創建時
2020-06-16 11:21:07
原创 Spark處理數據傾斜，你看懂了嗎？
前言 本文是介紹的是開發spark極其核心的地方，可以說懂得解決spark數據傾斜是區分一個spark工程師是否足夠專業的標準，在實際開發中，幾乎天天面臨這個問題。 原理以及現象 先來解釋一下，出現什麼現象的時候我們認定他爲數據傾斜，以及
2020-06-16 11:21:07
原创 2020大數據面試題 真題總結(附答案)
目錄 一.Hadoop 1.hdfs寫流程 2.hdfs讀流程 3.hdfs的體系結構 4.一個datanode 宕機,怎麼一個流程恢復 5.hadoop 的 namenode 宕機,怎麼解決 6.namenode對元數據的管理 7.元數
2020-06-13 20:08:27
原创 Flink task和subTask
概念： Task(任務):Task 是一個階段多個功能相同 subTask 的集合，類似於 Spark 中的 TaskSet。 subTask(子任務)：subTask 是 Flink 中任務最小執行單元，是一個 Java 類的實例，這個
2020-06-13 20:08:27
原创 Flink異步IO之Mysql
<!-- Licensed to the Apache Software Foundation (ASF) under one or more contributor license agreements. See the NOTIC
2020-06-13 20:08:27
原创 flink提取時間戳並指定使用eventTime
final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
2020-06-13 20:08:27
原创 flink共享資源槽
flink的任務資源槽的默認名稱爲default 可以通過調用slotSharingGroup方法指定槽位的名稱 如果改變共享槽位的名稱後，後面的沒有在設置共享槽位的名稱，那麼跟上一次改變槽位的名稱一致 槽位名稱不同的subTask不能再
2020-06-13 20:08:27
原创 Flink Kafka讀取數據並寫入Redis實現Exactly-Once
pom.xml <!-- Licensed to the Apache Software Foundation (ASF) under one or more contributor license agreements. See t
2020-06-13 20:08:27
原创 使用RichMapFunction關聯維度數據
package org.myorg.quickstart; public class OrderBean { public String province; public String city; public
2020-06-13 20:08:27
原创 Flink異步IO之HttpClient
官方示例： // This example implements the asynchronous request and callback with Futures that have the // interface of J
2020-06-13 20:08:27