原创 Flume日誌採集多級Agent
flume的簡介 任何一個系統在運行的時候都會產生大量的日誌信息，我們需要對這些日誌進行分析，在分析日誌之前，我們需要將分散在生產系統中的日誌收集起來。Flume就是這樣的日誌採集系統 主要有三個組件： Source：消費we
2020-02-23 07:06:36
原创 hive中的四個by
order by 全局排序，只有一個reduce sort by 對每一個reducer內部的數據進行排序，全局結果集來說不是排序的，即只能保證每一個reduce輸出的文件中的數據是按照規定的字段進行排序的 insert ove
2020-02-23 07:06:36
原创 JDK併發包線程池（三）自定義線程池
自定義線程池就是自己創建ThreadPoolExecutor對象，根據自己的需求指定裏面的各個參數 自定義線程池的拒絕策略，需要實現RejectedExecutionHandler接口 自定義線程的創建工廠ThreadFact
2020-02-23 07:06:36
原创 sqoop
sqoop簡介 sqoop是一個hdfs和關係型數據庫之間傳送數據的工具 官方介紹 Sqoop is a tool designed to transfer data between Hadoop and relational
2020-02-23 07:06:36
原创 hive中的join
多個表進行join的MapReducer任務的數量 根據最典型的學生課程表，由於學生和課程之間是多對多的關係，所以需要一張中間表stundet_course表進行關聯 案例一：查詢學生課程信息 select stu.* , c.*
2020-02-23 07:06:36
原创 SSM框架的整合
第一步：首先整合spring和mybatis 1.將spring與web項目整合 通過配置ContextLoaderListener來在項目剛啓動（servletContext對象剛創建）的時候，初始化spring容器WebApplica
2018-09-01 22:26:13
原创 java線程（三）
本篇介紹守護線程和線程的優先級 守護線程（Daemon線程） 守護線程就是系統的守護者，比如垃圾回收線程，JIT線程等都是守護線程，與之相對應的就是用戶線程，如果用戶線程全部結束沒那麼也就意味着這個程序實際上無事可做了，守護線程要守護的對
2018-09-01 22:26:13
3
原创 Spark源碼分析之SparkSql的Analyzer，Optimizer
在上一篇博文中，我們深入的瞭解了SparkSql中的sql語句經過DDLParser、SparkSQLParser和SqlParser處理後得到了一個樹結構的Unresolved Logical Plan，這也是我們每一次使用sparkS
2018-09-01 22:26:13
原创 SpringMvc異步圖片上傳回顯（使用jersey上傳到另一臺服務器）
在之前的文章中已經介紹過springMvc的文件上傳，springMvc文件上傳 場景介紹 在本篇博客中主要介紹使用springMvc進行圖片的上傳 功能需求：在很多網站中都有上傳用戶頭像的功能，上傳之後就會立刻在頁面上顯示出來，這邊就
2018-09-01 22:26:13
原创 讀寫鎖
本片主要介紹java併發包中的讀寫鎖java.util.concurrent.locks.ReentrantReadWriteLock 傳統的鎖的劣勢 在有些場景中，當有幾個線程，其中絕大多數的線程都是對臨界區進行讀操作，並且讀操作不會對
2018-09-01 22:26:13
2
原创 Spark源碼分析之TaskSchedule和SparkDeployScheduleBackended的初始化
在這裏我們是使用的spark1.5.1的源代碼進行分析的 什麼是SparkContext 在編寫一個Spark程序的時候，我們總是會新建一個SparkContext對象，這個對象，下面是官方對這個對象的解釋 Main entry poin
2018-09-01 22:26:12
原创 java線程（二）
本編繼續介紹java線程操作中的掛起，繼續執行，等待結束和謙讓操作 掛起（suspend）和繼續執行（resume） 這是兩個被標註的廢棄的方法，原因如下: * suspend()方法在迫使當前正在執行的線程的暫停的時候，並不會去釋放鎖
2018-09-01 22:26:12
2
原创 Storm集羣中的組件介紹
介紹 Storm作爲最流行的的實時流計算框架，提供了可容錯的分佈式計算所要求的基本源語和保障機制 Storm的簡單的工作機制 spout先從外部獲取數據，然後簡單的封裝成一個個的tuple發送到Bolt，Bolt處理後再將處理後的數據封
2018-09-01 22:26:12