原创 Linux | free
free : 顯示系統中物理上的空閒和已用內存，還有交換內存，同時，也能顯示被內核使用的緩衝和緩存; free [options] options 可以選擇以下幾個： -b：以Byte爲單位顯示內存使用情況； -k：以KB爲單位顯示內
2020-06-25 14:50:14
原创 Linux | 命令學習
文章目錄 一、系統監控 1、free命令 2、ulimit命令 3、top命令 4、df命令 5、ps命令 二、文件操作 1、tail命令 2、ll -ah 三、網絡通信 1、netstat 2、重啓網絡 3、SELinux 4、防火牆
2020-06-25 14:50:14
原创 Java | TCP的三次握手&四次揮手
TCP數據在傳輸之前會建立連接需要進行3次溝通，一般被稱爲"三次握手"；在數據傳輸完成斷開連接得時候要進行4次溝通，一般稱爲"四次揮手"。 再來看下TCP報頭中得6個標誌比特，也就是控制位6位，它們中得多個可以被同時設置爲1，如下：
2020-06-25 14:50:04
原创 Java | Java類初始化順序
對於靜態變量、靜態初始化塊、變量、初始化塊、構造器，它們的初始化順序依次如下： (靜態變量、靜態初始化塊) >>>>>> (變量、初始化塊) >>>>>> 構造器。 針對類的繼承關係，其初始化順序如下： 優先完成靜態初始化，其次完成父
2020-06-25 14:50:04
原创 Java | 單例模式中雙重校驗鎖的volatile變量有什麼作用？
單例模式的雙重校驗鎖方式如下： /** * 雙重校驗鎖(在餓漢模式基礎上進一步優化) * 1、構造方法私有化 * 2、在定義靜態對象時加volatile鎖來確保初始化時對象的唯一性 * 3、定義獲取對象實例方法，並在方法體中通過
2020-06-25 14:50:03
原创 Java | 設計模式-單例模式
單例模式： 確保某一個類只有一個實例，通過將類的實例化方法私有化來防止程序通過其他方式創建該類的實例，然後通過提供一個全局唯一獲取該類實例的方法來獲取類的實例。 若一個全局類的對象在多個地方被使用並且對象的狀態時全局變化的場景下，可以考慮
2020-06-25 14:50:03
原创 Python | 將HDFS文件上傳到阿里雲
# -*- coding: UTF-8 -*- #!/usr/local/bin/python2.7 ##/usr/bin/python #import codecs import os import shutil import
2020-06-25 14:50:03
1
原创 Python | 基於PythonWebHDFS遷移HDFS數據到本地並壓縮
先回顧下之前PythonWebHDFS的操作 ： 基於WebHDFS REST API操作HDFS 記錄下工作中寫過的腳本，如下： 1、dateUtile.py： 主要選取需要遷移數據的時間區間。 import datetime imp
2020-06-25 14:50:03
1
原创 Spark | 記錄下Spark作業執行時常見的參數屬性配置
理解作業基本原理，是進行Spark作業資源參數調優的基本前提。Spark作業基礎概念與運行流程 以下記錄下常見參數配置： Spark Core num-executors：用於設置Spark作業總共要用多少個Executor進程來
2020-06-12 18:02:25
1
原创 Flink | 基礎入門小結
目錄 Flink概述 Flink架構&基本組件分析 Flink 流處理(Streaming) & 批處理(Batch) Flink 如何有效地準確地進行流處理之對時間的處理 Flink 如何有效地準確地進行流處理之有狀態的計算 瀏
2020-06-12 18:02:25
原创 Spark | 讀取Hive表數據寫入MySQL
import java.sql.Connection import scala.collection.mutable.ArrayBuffer object JdbcTemplateUtil extends Serializa
2020-06-12 18:02:25
1
原创 Flink | Windows環境搭建Local測試模式
首先，Flink官網下載地址 ：https://flink.apache.org/downloads.html 。 環境： Java 8 Scala 2.11.8 flink-1.6.1-bin-hadoop27-scala_2.11.t
2020-06-12 18:02:25
原创 Spark | 基礎概念
Spark基礎核心概念 Spark 任務提供多層分解的概念，Spark 組件將用戶的應用程序分解爲內部執行任務並提供執行容器，資源管理爲 Spark 組件提供資源管理和調度。 應用程序(Application)： 應用程序(Applica
2020-06-12 18:02:25
1