原创 flink1.8快速實踐

官方文檔:https://ci.apache.org/projects/flink/flink-docs-release-1.8/ 1.1下載與安裝 https://flink.apache.org/downloads.html http

原创 字節、字、bit、Byte的關係

字 word 字節 byte 位 bit,來自英文bit,音譯爲“比特”,表示二進制位。 字長是指字的長度 1字=2字節(1 word = 2 byte) 1字節=8位(1 byte = 8bit)   一個字的字長爲16 一個字節的字長

原创 分佈式一致性——二階段提交協議,三階段提交協議

分佈式系統,這早已不是什麼新鮮的東西了,在分佈式系統的架構設計過程中,往往會存在分佈式一致性的問題,經過前人的辛苦探究,提出了二階段提交協議,三階段提交協議,Paxos算法等等,用來解決分佈式一致性的問題。今天我就講一下,二階段提交協議和

原创 使用java Future模式異步調用詳細實例展示

    java Future模式想必大家都比較熟悉,大體實現起來也比較簡單,因爲模式單一,我先介紹一下一般步驟,再講一下,目前項目中遇到具體問題的解決方式     一般來說,使用java Future模式實現多線程,具體步驟如下,  

原创 Nginx配置詳解

Nginx配置詳解 序言 Nginx是lgor Sysoev爲俄羅斯訪問量第二的rambler.ru站點設計開發的。從2004年發佈至今,憑藉開源的力量,已經接近成熟與完善。 Nginx功能豐富,可作爲HTTP服務器,也可作爲反向代理服務

原创 JAVA泛型通配符T,E,K,V區別,T以及Class T,Class ? 的區別

JAVA泛型通配符T,E,K,V區別,T以及Class<T>,Class<?>的區別 1. 先解釋下泛型概念 泛型是Java SE 1.5的新特性,泛型的本質是參數化類型,也就是說所操作的數據類型被指定爲一個參數。這種參數類型可以用在類、

原创 fastJson java後臺轉換json格式數據

fastJson java後臺轉換json格式數據 什麼是JSON? JSON(JavaScript Object Notation) 是一種輕量級的數據交換格式。 易於人閱讀和編寫。同時也易於機器解析和生成。 它基於JavaScript

原创 二叉樹的4種遍歷方法

package Tree; import java.util.ArrayDeque; import java.util.Queue; import java.util.Stack; public class BinaryTree {  

原创 Mysql 工作原理

Mysql 工作原理剛開始接觸一個新的事物的時候,我覺得很有必要從其工作原理入手,弄清楚這個東西的來龍去脈,爲接下來的繼續深入學習做好鋪墊,掌握好其原理有助於我們從整體上來把握這個東西,並且幫助我們在排錯過程中理清思路。接下來,還是從my

原创 Java Lambda表達式 Java Lambda表達式入門

Java Lambda表達式入門原文鏈接: Start Using Java Lambda Expressions下載示例程序 Examples.zip 。簡介雖然看着很先進,其實Lambda表達式的本質只是一個"語法糖",由編譯器推斷並

原创 Spark遠程調試

Spark遠程調試                       本例子介紹簡單介紹spark一種遠程調試方法,使用的IDE是IntelliJ IDEA。 1、瞭解jvm一些參數屬性 -Xdebug -Xrunjdwp:transport=

原创 scala的隱式轉換

摘要:通過隱式轉換,程序員可以在編寫Scala程序時故意漏掉一些信息,讓編譯器去嘗試在編譯期間自動推導出這些信息來,這種特性可以極大的減少代碼量,忽略那些冗長,過於細節的代碼。 使用方式:1.將方法或變量標記爲implicit2.將方法的

原创 Spark中的checkpoint作用與用法

Spark中的checkpoint作用與用法2017年07月27日 23:19:11閱讀數:7234checkpoint的意思就是建立檢查點,類似於快照,例如在spark計算裏面 計算流程DAG特別長,服務器需要將整個DAG計算完成得出結

原创 Spark共享變量-Broadcast廣播變量介紹及scala實現

通常情況下,當1個function傳遞到1個spark operation(例如:map、reduce)時,這個function是在遠程的集羣node上被執行的。這些變量會被複制到每一臺機器,在遠程機器上不會更新這些變量,然後又傳送回dr

原创 scala-泛型

Scala學習——泛型[T]6種使用 1 package com.dtspark.scala.basics 2 3 /** 4 * 1,scala的類和方法、函數都可以是泛型。 5 * 6 7 * 2,關於對類型邊