原创 週期性線程池與主要源碼解析
ScheduledThreadPoolExecutor ScheduledThreadPoolExecutor：用來處理延時任務或定時任務 定時線程池類的類結構圖 ScheduledThreadPoolExecutor接收Schedul
2019-08-19 13:43:42
原创 Executor線程池原理與源碼解讀
線程實現方式 Thread、Runnable、Callable //實現Runnable接口的類將被Thread執行，表示一個基本任務 public interface Runnable { //run方法就是它所有內容，就是實際執
2019-08-18 13:44:59
原创 手撕ThreadPoolExecutor線程池源碼
這篇文章對ThreadPoolExecutor創建的線程池如何操作線程的生命週期通過源碼的方式進行詳細解析。通過對execute方法、addWorker方法、Worker類、runWorker方法、getTask方法、processWor
2019-08-18 13:44:59
原创 系統和用戶的環境變量配置文件
/etc/profile：這個文件預設了幾個重要的變量，例如：PATH、USER、LOGNAME、MAIL、INPUTRC、HOSTNAME、HISTSIZE、umask等。/etc/bashrc：這個文件主要預設umask以及PS1。這個
2019-02-22 14:48:13
原创 java 反射
反射是一種動態獲取信息以及動態調用對象方法的機制。在程序運行狀態中，通過反射能夠知道某個類具有哪些屬性和方法；能夠訪問某一個對象的方法和屬性。具體來說，反射機制主要提供了以下功能：在運行時判斷任意一個對象所屬的類；在運行時構造任意一個類的對
2019-02-22 14:48:12
原创 《從0到1學習spark》--手撕parallelize源碼
之前小強介紹了RDD是什麼以及RDD的用法，如果還有疑惑的同學可以查看《從0到1學習spark》-- RDD，今天小強將介紹一下RDD的使用和源碼解析。 手撕RDD RDD有兩種，一種如上圖所示的，使用parallelize方法創建的並行集
2019-01-31 12:57:05
2
原创 《從0到1學習Spark》--DataFrame和Dataset探祕
昨天小強帶着大家瞭解了Spark SQL的由來、Spark SQL的架構和SparkSQL四大組件：Spark SQL、DataSource Api、DataFrame Api和Dataset Api。今天小強和大家一起揭開Spark SQ
2019-01-31 12:57:05
1
原创 《從0到1學習Spark》-- 初識Spark SQL
Spark SQL是整個Spark生態系統中最常用的組件 今天小強給大家介紹Spark SQL，小強的平時的開發中會經常使用Spark SQL進行數據分析查詢操作，Spark SQL是整個Spark生態系統中最常用的組件。這也是爲什麼很多大
2019-01-26 14:09:20
原创 java 反射
反射是一種動態獲取信息以及動態調用對象方法的機制。在程序運行狀態中，通過反射能夠知道某個類具有哪些屬性和方法；能夠訪問某一個對象的方法和屬性。具體來說，反射機制主要提供了以下功能：在運行時判斷任意一個對象所屬的類；在運行時構造任意一個類的對
2019-01-26 13:06:03
原创 系統和用戶的環境變量配置文件
/etc/profile：這個文件預設了幾個重要的變量，例如：PATH、USER、LOGNAME、MAIL、INPUTRC、HOSTNAME、HISTSIZE、umask等。/etc/bashrc：這個文件主要預設umask以及PS1。這個
2019-01-26 13:06:03
1
原创 《從0到1學習spark》-- RDD
RDD如何產生 RDD是Spark的基石，是實現Spark數據處理的核心抽象。那麼RDD爲什麼會產生呢？ Hadoop的MapReduce是一種基於數據集的工作模式，面向數據，這種工作模式一般是從存儲上加載數據集，然後操作數據集，最後寫入物
2019-01-15 12:55:53
原创 《從0到1學習spark》-- RDD特點精講
今天小強給大家精講下RDD的特點，RDD表示只讀的分區的數據集，對RDD進行改動，只能通過RDD的轉換操作，由一個RDD得到一個新的RDD，新的RDD包含了從父RDD衍生所必需的信息。下面是RDD的特點介紹：** 分區 RDD邏輯上是分區的
2019-01-15 12:55:53
2
原创 《從0到1學習spark》-- spark初體驗
Spark工程環境搭建 Spark工程相關配置的版本 JDK: 1.8.0_181 Spark: 2.3.0 Hadoop: 2.7 Scala: 2.12.6 OS: mac Maven: 3.5.4 下載並安裝JDK、Scala、M
2019-01-11 12:56:28
原创 《從0到1學習spark》-- spark前世今生
spark的前世今生 Spark是一個快速的，通用的，大數據規模的運算引擎。 2009年誕生於加州大學伯克利分校AMPLab 2010年開源 2013年6月成爲Apache孵化項目 2014年2月成爲Apache頂級項目 目前，Spa
2019-01-11 12:56:28
原创 ClickHouse大數據實時分析領域的黑馬
大數據實時分析領域的黑馬是ClickHouse，一個用於聯機分析(OLAP)的列式數據庫管理系統(DBMS)。 clickhouse背景 俄羅斯的“百度”叫做Yandex，覆蓋了俄語搜索超過68%的市場，有俄語的地方就有Yandex；有中文
2019-01-04 12:56:40