原创 [大數據面試]-- 2.Scala 題目
========= 基礎 ========= 1 var, val和def三個關鍵字之間的區別? var immutable variable val mutable variable def function defined keywo
2019-08-06 02:15:07
原创 [大數據面試]-- 1.Java 題目
========= 基礎 ========= 1、封裝、多態和繼承 https://blog.csdn.net/qq_22118507/article/details/51422591 封裝：爲了安全、私有化屬性、提供 get/set方法
2019-08-06 02:15:07
原创 [大數據面試]-- 6.Hadoop 題目
============================================================================================ 1、集羣規模、配置怎樣？ 2、namenode端口
2019-08-06 02:15:07
5
原创 [生活雜感]-- 問問題的藝術
供參考，希望對各位有幫助！ 源文件訪問 https://www.processon.com/view/link/5d3a6d94e4b065dc42b2fd72 密碼：kAt4
2019-07-30 04:56:00
原创 [Spark 進階] -- Spark 如何在運行時讀取 --files 添加的 README.md 文件？
Spark 如何在運行時讀取 --files 添加的 README.md 文件？ 方法 1 本方法適用於 spark local 和 spark on yarn-client 。 --files 會把文件上傳到 hdfs 的 .spa
2019-07-30 04:56:00
3
原创 [Flink基礎]-- Flink DataSource 有哪些？
前言 不同 Flink 的 API 擁有不同或者相同的 Data source，那麼在此針對於 Flink -1.8.0 版本，總結下 它的 DataSource ，希望能對小夥伴們有幫助。 內容 DataStream API
2019-06-30 03:27:23
3
原创 [架構-基礎]--CAP 定理的含義
感謝原文作者：http://www.ruanyifeng.com/blog/2018/07/cap.html CAP 定理的含義 分佈式系統（distributed system）正變得越來越重要，大型網站幾乎都是分佈式的。 分佈式系統的
2019-06-21 02:54:53
原创 [Spark SQL基礎]-- 基本語法之 select [hints ...]
背景 今天偶然有機會看見了以前一位同學在 join 中使用了 mapjoin 小表廣播的優化，由此激起了我對 select 語法中的 hints 部分的深入挖掘，並分享出來，供小夥伴們參考，不足之處，還望賜教！ 目錄 sele
2019-06-11 08:59:24
2
原创 [Flink基礎]---- Flink學習規劃（進階）
當學習了之前的課程後，我們便有了Flink 的基礎，接下來將進行實戰，舉例各個部分的實現代碼。 1 Flink 基礎 API 概念 1.1 Scala API 擴展 1.2 Java Lambda表達式 2 Streaming (D
2019-06-11 08:59:24
1
原创 [Maven 基礎]-- Dependency Scope
前言 常常，我們在使用 Maven 構建、編譯和打包項目後，都會部署到對應的 服務環境上，然而有時會遇到以下3個問題： jar 包衝突 jar 包太大 缺少jar 依賴 在解決上面3個問題之前，一起來看看 Maven dependency
2019-06-11 08:59:24
原创 [Spark 基礎]-- 保持Spark sql join 的字段類型一致
問題 某天，在處理數據時，發現Spark sql 在進行 join 時，出現了自動截取字符和精度丟失的情況。 已經有人在 Jira 上提出需要WARN或者 Exception ，點擊 舉例 A 表中的 BigInt 類型和 B表中的
2019-05-08 18:33:00
原创 [數據倉庫]--實時數據倉庫設計目錄
1 需求分析 1.1 業務需求 1.2 用戶需求 1.2.1 使用數據平臺的用戶的需求 1.2.2 需要的數據 1.2.3 分析的內容 1.3 功能需求 1.4 數據需求 1
2019-04-18 02:50:09
2
原创 [Spark Sql]-- spark 累加歷史 + 統計全部 + 行轉列
感謝原文作者：https://www.cnblogs.com/piaolingzxh/p/5538783.html spark 累加歷史主要用到了窗口函數，而進行全部統計，則需要用到rollup函數 1 應用場景： 1、我們需要統計
2019-03-18 02:41:48
原创 [Sacla基礎]-- 某天時間往後或者往前推 n天
實現如下 import java.util.Calendar import java.util.Date import java.text.SimpleDateFormat import java.util.GregorianCalen
2019-03-07 14:30:01