原创 十：強、軟、弱、虛四大引用類型
在Java語言中，除了基本數據類型外，其他的都是指向各類對象的對象引用；Java中根據其生命週期的長短，將引用分爲4類。 強引用 特點：我們平常典型編碼Object obj = new Object()中的obj就是強引用。通
2020-06-19 02:09:36
原创 六：阻塞隊列的理解
1.阻塞隊列有哪些 強烈推薦參考：https://www.cnblogs.com/bjxq-cs88/p/9759571.html 隊列 有界性 鎖 數據結構 ArrayBlockingQueue bounded
2020-06-19 02:09:36
原创 Java NIO-之Channel與Charset
本篇文章主要介紹java8之nio相關的編碼級的設置，以及通道channels的使用，如何利用通道直接複製文件等，歡迎大家交流討論！不多說作爲碼農直接上代碼… import java.io.FileInputStream; i
2020-06-06 12:37:19
原创 Java NIO-之緩衝區Buffer
import java.nio.ByteBuffer; import org.junit.Test; public class Nio01 { /* * 一、緩衝區（Buffer）：在 Java NI
2020-06-06 12:37:19
原创 Java NIO-之管道Pipe的用法
首先給大家介紹下原理 Pipe就是個空管子，這個空管子一頭可以從管子裏往外讀，一頭可以往管子裏寫，並且是FIFO結構 操作流程： 1.首先要有一個對象往這個空管子裏面寫。寫到哪裏呢？這個空管子是有一點空間的，就在這個管子裏。 寫的
2020-06-06 12:37:19
原创 Mysql的索引、性能分析與SQL優化
文章目錄存儲引擎1.INnnoDB與MyISAM索引1.索引的定義2.索引的優勢3.索引的劣勢4.索引的分類5.哪些情況需要創建索引6.哪些情況不要創建索引性能分析1.執行計劃信息2.索引失效SQL優化1.join語句的優化2.l
2020-02-22 12:32:29
原创 基於Spark的電商推薦系統
ECommerceRecommendSystem 基於spark的商品推薦系統 項目體系架構設計 1.1 項目系統架構 項目以推薦系統建設領域知名的經過修改過的中文亞馬遜電商數據集作爲依託，以某電商網站真實業務數據架構爲基礎，構建
2020-02-22 12:32:29
原创 MapReduce的Join操作
背景 前幾日在微信的大數據技術交流羣中，有水友面試深圳的某家證券公司並將部分筆試題發出來了，廣大水友就開始討論起來了；當然作爲吃瓜羣衆中的一員我不僅吃了瓜還丟了籽！嘿嘿，當然也記錄下來了，下面請看題： 題目 在關係型數據
2020-02-21 07:24:06
原创 Hive常見的優化方式
文章目錄一、前言二、調優1.替換執行引擎爲tez2.Fetch抓取3.本地模式4.MapJoin5.Group By6.笛卡爾積7.動態分區調整8.執行推測9.JVM重用10.嚴格模式11.並行執行 一、前言 Hive是基於Had
2020-02-21 07:24:06
原创 十一：JVM的內存模型與GC算法
文章目錄一、JVM結構1.類加載器（ClassLoader）2.執行引擎3.內存區（也叫運行時數據區）4.本地方法接口二、內存分配三、垃圾檢測、回收算法1.標記-清除（Mark-sweep）2.複製（Copying）3.標記-整理
2020-02-21 07:24:06
原创 hdfs-yarn參數調優
文章目錄HDFS參數調優hdfs-site.xmlYARN參數調優yarn-site.xml HDFS參數調優 hdfs-site.xml dfs.namenode.handler.count dfs.namenode.han
2020-02-21 07:24:06
原创 Hbase的刷寫、合併與分片
文章目錄一、前言二、Hbase的刷寫合併與分片1.刷寫MemStore 刷寫時機2.合併3.分片Region Split 時機 一、前言 在上一次的Hbase的分享中我們主要了解了Hbase的系統結構、各組件、讀寫流程（H
2020-02-21 07:24:05
原创 HBase的系統結構與讀寫流程
文章目錄一、系統結構與環境角色1.架構圖2.HMaster3.RegionServer4.Client5.Zookeeper6.HDFS二、組件1.Write-Ahead-logs（hlog）2.Region3.Store4.HF
2020-02-21 07:24:05
原创 Spark應用程序運行關鍵詞與作業執行關鍵詞講解
文章目錄1.應用程序運行關鍵詞2.作業執行關鍵詞 1.應用程序運行關鍵詞 Application（應用程序）：是指用戶編寫的spark應用程序，包含驅動程序（Driver）和分佈在集羣中多個節點上運行的Executor代碼，在執
2020-02-21 07:24:05
原创 Spark-on-yarn
文章目錄一、背景二、yran-client模式1.yran-client運行流程圖2.yarn-client的工作流程三、yran-cluster模式1.yran-cluster運行流程圖2.yran-cluster的工作流程四、
2020-02-21 07:24:05