原创 Spark記錄（四）：Dataset.count()方法源碼剖析
因最近工作中涉及較多的Spark相關功能，所以趁週末閒來無事，研讀一下Dataset的count方法。Spark版本3.2.0 1、方法入口： def count(): Long = withAction("count", group
2022-05-30 14:08:18
原创 Windows搭建Golang開發環境
一、環境準備 電腦： window10 64位 代碼編寫工具：VSCode 二、安裝配置 1、官網下載golang安裝包 https://golang.google.cn/learn/ ，並安裝好 2、配置環境變量 當前下載
2022-05-16 14:48:45
4
原创 Spark記錄（三）：詳細拆解Spark代碼執行流程
在該系列的上一篇文章中，較爲詳細的描述了Spark程序的生命週期，這一篇我們以一段Spark代碼爲例，來詳細拆解一下Spark程序的執行過程。 一、示例代碼： val ss = SparkSession.builder().appName
2021-11-08 13:10:12
原创 Spark記錄（二）：Spark程序的生命週期
本文以Spark執行模式中最常見的集羣模式爲例，詳細的描述一下Spark程序的生命週期（YARN作爲集羣管理器）。 1、集羣節點初始化 集羣剛初始化的時候，或者之前的Spark任務完成之後，此時集羣中的節點都處於空閒狀態，每個服務器（節點）
2021-11-08 13:10:12
原创 Spark記錄（一）：Spark全景概述
一、Spark是什麼 Spark是一個開源的大數據處理引擎。 二、Spark的主要組件如下圖所示： 三、Spark運行時架構 Spark共有三種運行模式：本地模式、集羣模式、客戶端模式。 生產環境基本都是用集羣模式。集羣模式需要
2021-11-07 13:10:08
原创 Java併發之CompletionService詳解
CompletionService是什麼？ 它是JUC包中的一個接口類，默認實現類只有一個ExecutorCompletionService。 CompletionService幹什麼的？ 它將異步任務的生成和執行結果的處理進行了解耦，
2021-03-23 13:11:46
原创 傲視Kubernetes(六)：Pod管理及控制器
本文主要內容： 1、Kubernetes如何管理Pod？ 2、Kubernetes Control Plane組件有哪幾種？作用效果是什麼？ 一、Kubernetes如何管理Pod Kubernetes中的Pod根據創建方式的不同，可以分爲
2021-01-26 13:10:14
原创 傲視Kubernetes(五)：註解和命名空間
本文主要圍繞兩部分展開： 1. 註解的介紹及使用； 2. 命名空間的介紹及使用。 一、註解 K8S中的對象除了可以用標籤來標識/歸類外，還可以用加註解（annotations）屬性，它屬於metadata的子標籤，也是鍵值對的格式。此處的註
2021-01-24 13:10:06
原创 微信小程序域名+https的使用
前言 有開發過微信小程序的園友們應該都知道，微信小程序生產版本的前端對後端調用時，必須是用https+域名的方式調用（測試版本不受此限制），而且必須用默認端口不能手動指定端口，否則微信會給攔截下來無法調用。前段時間博主走了一遍這樣的
2021-01-10 13:10:05
原创 傲視Kubernetes(四)：Pod的創建及標籤的使用
近期一直在思索天人之道，缺少大塊的時間，決定將學習博客改爲以小短文爲主。本文主要內容： 1、kubernetes中pod的創建 2、pod上標籤的使用 一、kubernetes中pod的創建 在實際使用中，Pod通常是伴隨着Deployme
2020-12-25 13:12:05
原创 Dubbo源碼學習之-通過源碼看看dubbo對netty的使用
前言 前段時間，從頭開始將netty源碼瞭解了個大概，但都是原理上理解。剛好博主對dubbo框架了解過一些，這次就以dubbo框架爲例，詳細看看dubbo這種出色的開源框架是如何使用netty的，又是如何與框架本身邏輯進行融合的。
2020-08-23 13:00:44
原创 扯扯Java中的鎖
前言 又過去了一個週末，最近陸陸續續的看了《併發編程的藝術》一書，對鎖有不少感悟，這次就聊聊Java中的鎖事。本文純粹是漫談，想到哪說到哪，但準確性肯定會保證，倘若有不正確之處，還請交流指正。 正文 作爲Java開發， 說到
2020-07-28 13:00:38
原创 Netty源碼學習系列之5-NioEventLoop的run方法
前言 NioEventLoop的run方法，是netty中最核心的方法，沒有之一。在該方法中，完成了對已註冊的channel上來自底層操作系統的socket事件的處理（在服務端時事件包括客戶端的連接事件和讀寫事件，在客戶端時是讀寫事
2020-07-04 14:20:58
原创 Netty源碼學習系列之4-ServerBootstrap的bind方法
前言 今天研究ServerBootstrap的bind方法，該方法可以說是netty的重中之重、核心中的核心。前兩節的NioEventLoopGroup和ServerBootstrap的初始化就是爲bind做準備。照例粘貼一下這個三
2020-06-07 13:07:34
原创 Netty源碼學習系列之1-netty的串行無鎖化
前言 最近趁着跟老東家提離職之後、到新公司報道之前的這段空閒時期，着力研究了一番netty框架，對其有了一些淺薄的認識，後續的幾篇文章會以netty爲主，將近期所學記錄一二，也爭取能幫未對netty有過了解的園友對netty建立一個
2020-05-31 00:46:28