原创 DStream 生成 RDD 實例詳解
我們在前面的文章講過，Spark Streaming 的 模塊 1 DAG 靜態定義 要解決的問題就是如何把計算邏輯描述爲一個 RDD DAG 的“模板”，在後面 Job 動態生成的時候，針對每個 batch，都將根據這個“模板”生成
2020-06-20 12:16:34
原创 spark啓動過程sparkconf實例化
SparkConf 的構造很簡單，主要是通過 ConcurrentHashMap 來維護各種 Spark 的配置屬性。 Spark 的配置屬性都是以“spark.”開頭的字符串。 現在開始介紹 SparkContext。
2020-06-20 12:16:34
原创 深刻理解HDFS工作機制
一個技術的工作機制是靈活運用和快速解決問題的根本方法，也是唯一途徑。對於HDFS來說除了要明白它的應用場景和用法以及通用分佈式架構之外更重要的是理解關鍵步驟的原理和實現細節。在看這篇博文之前需要對HDFS以及分佈式系統有一些瞭解。請參考
2020-02-23 15:46:13
原创 java與mysql的日期類型對應
MySQL（版本：5.1.50）的時間日期類型如下： datetime 8bytes xxxx-xx-xx xx:xx:xx 1000-01-01 00:00:00到9999-12-31 23:59:59 timestamp 4byt
2020-02-23 15:46:13
原创 Spark Streaming 實現思路與模塊概述
一、基於 Spark 做 Spark Streaming 的思路 Spark Streaming 與 Spark Core 的關係可以用下面的經典部件圖來表述： 在本節，我們先探討一下基於 Spark Core 的 RDD AP
2020-02-23 15:46:13
原创 JobScheduler, Job, JobSet 詳解
前面在 Spark Streaming 實現思路與模塊概述 和 DStream 生成 RDD 實例詳解 裏我們分析了 DStreamGraph和 DStream 具有能夠實例化 RDD 和 RDD DAG 的能力，下面我們來看 Spa
2020-02-23 15:46:13
原创 DStream, DStreamGraph 詳解
我們在前面的文章講過，Spark Streaming 的 模塊 1 DAG 靜態定義 要解決的問題就是如何把計算邏輯描述爲一個 RDD DAG 的“模板”，在後面 Job 動態生成的時候，針對每個 batch，都將根據這個“模板”生成
2020-02-23 15:46:13
原创 實現一個很簡單的計時器類
計算程序從開始到結束使用了多少時間，是經常要做的事。 import org.slf4j.Logger; import org.slf4j.LoggerFactory; public class StopWatch { p
2020-02-23 15:46:13
原创 js樹操作，層級遍歷，先序序列化與反序列化
js樹操作，層級遍歷，先序序列化與反序列化 class TreeNode { /** * 樹節點 * @param value */ constructor(value) {
2019-03-11 00:10:39
9
原创 border-box寬度計算方式
css3 box-sizing定義了兩種盒模型： content-box border-box 沒有padding-box哦，別瞎猜。 二者區別就是容器的寬度計算方式不同： content-box是塊級默認屬性，寬度計算方式爲：
2019-01-06 19:20:59
原创 es6 實現拖拽類Drag
1.es6 class的使用 之前在Jquery時代，實現拖拽功能都是使用函數直接搞，有了es6中的class，可以很好的封裝相關的功能，只要給個ID就可以，想拖誰就拖誰！不過步驟還是老一套。 先在拖拽元素DOM上添加onmouse
2019-01-04 15:32:43
原创 Redux官網Counter最基本示例的思考
1.不使用redux實現 如果不使用redux，僅僅依靠react去實現Counter功能是極其簡單的。代碼如下： index.js import React from 'react'; import ReactDOM from '
2019-01-03 19:28:43
原创 ThoughtWorks思特沃克2018校園招聘之春招家庭作業 - 無人機Java實現
如上題：本人用時2小時，單次通過（無任何調試）。 主類： package com.wang.test; import java.io.BufferedReader; import java.io.FileReader; impor
2018-12-28 14:22:08
4
原创 rest接口如何適應jsonp的方案
rest接口如何適應jsonp的方案 我的要做的事很簡單，在html中，跨域調用一個rest接口， 後端接口實現使用Node（語言無關），rest接口都是返回json數據的，如果不在頁面上進行任何處理，是不可以在頁面是使用的。 直接給
2018-12-17 18:57:53