原创 關於Java反射的總結
文章目錄0.反射和類加載關係1.獲取Class對象的方法2.獲取Class對象的信息構造方法屬性方法3.反射操作實例對象判斷是否爲類的實例兩種方式：創建實例PS 反射的本質就是：在運行時，把 Java 類中的各種成分映射成一個個的
2020-05-09 19:45:32
原创 從Java線程到線程池
文章目錄線程模型線程池基礎概念線程池的使用線程池的工作狀態附1.線程池設置多少合適：2. 線程工廠的demo2. 自定義飽和策略 線程模型 線程模型分爲兩類，用戶級線程(ULT)和內核級線程(KLT) 用戶級線程（ULT）：u
2020-04-13 19:13:19
原创 ZooKeeper系列 (二) zookeeper-shell操作
文章目錄zk-shell基本操作創建zk的四種節點類型1.持久節點2.持久順序節點3.臨時節點4.臨時順序節點讀取更新刪除 zk自帶命令行工具，bin目錄下zkCli 腳本，linux下可通過執行 zkCli.sh 連接 命令:
2020-04-03 05:09:31
原创 ZooKeeper系列 (一) zookeeper的概念
文章目錄zookeeper是什麼zookeeper提供什麼能力zookeeper的特點可構成集羣順序訪問高性能zookeeper的基本概念集羣角色會話節點1.機器節點2.數據節點 ZNode版本ACLWatcher zookeep
2020-04-03 05:09:31
原创 Hadoop系列（二）Hadoop三大核心之HDFS基礎
文章目錄hdfs基礎重要概念數據塊NameNode（NN）DataNode（DN）Secondary NameNode (SNN)Hadoop 特點Hadoop HA可靠性單點故障問題 針對海量數據，核心問題始終是計算和存儲。
2020-03-28 23:54:32
1
原创 一篇文章搞清spark內存管理
文章目錄1.堆內存和堆外內存1.1 堆內存1.2 堆外內存2. 內存空間分配2.1 早期的靜態內存管理2.2 統一內存管理機制3. 存儲內存(Storage)緩存RDD怎麼存儲4. 執行內存(Execution)怎麼管理 在
2020-03-28 23:54:32
1
原创 一篇文章搞清spark任務如何執行
本文將針對spark中的Driver和Executor講起，簡述了spark的運行流程，部署模式以及內部任務調度機制，希望針對spark任務執行過程進行儘可能好理解的解析 文章目錄1.兩個重要的主角DriverExecutor
2020-03-23 10:29:20
3
原创 Spark的Shuffle是怎麼回事
Shuffle的中文含義是混洗，官方定義是：一種讓數據重新分佈以使得某些數據被放在同一分區裏的一種機制。Shuffle的過程中，存在着大量的網絡消耗傳輸數據，會在磁盤上產生大量的中間文件，在平時的工作中瞭解shuffle的運
2020-03-23 10:29:20
原创 scala這寫的都是啥？一篇文章搞清隱式轉換
文章目錄前言常規問題：隱式轉換是什麼鬼如何實現隱式轉換快速入門例子強大的擴展功能有哪些隱式轉換隱式方法隱式值隱式類最後 前言 我們都知道scala以簡潔著稱，怎麼簡單怎麼來。對於scala的簡潔語法，闊以說熟悉的人愛死scal
2020-03-16 16:55:34