原创 Spark零基礎入門第十課:spark數據傾斜後怎麼辦??

Spark零基礎入門第九課:spark數據傾斜1.概述:2.現象:3.產生原因:4.如何定位導致數據傾斜的代碼:4.1概念:4.2現象:5. 解決方案:方案一:使用HIVE ETL進行預處理方案二:過濾少數導致傾斜的key方案三:

原创 大學畢業一年自述vlog

自述 大家一說到程序員肯定都會想到高工資,可是我的生活爲什麼和別人口中的那麼不一致呢?有時候都會覺得自己是一個假的程序猿了。感覺上面這圖很好的表現了我現在的生活。 那麼首先來說說我這大學到畢業都經歷了什麼吧: 首先自我介紹一下

原创 從0開始學習spark(9)Spark性能優化-開發調優

Spark零基礎入門第九課:spark調優建議1.spark開發調優: 沒有看前面的同學可以回顧一下: 8.SparkCore 調優之內存模型 7.SparkCore 核心知識複習與核心機制詳解 6.Spark共享變量之累加器

原创 Kafka最全單機安裝完整步驟加測試!!

Kafka安裝步驟:1.安裝JDK1.81 .1 安裝:2.安裝zookeeper (配置單機模式)2.1 下載地址:[http://mirrors.hust.edu.cn/apache/zookeeper/](http://m

原创 從0開始學習spark(7)SparkCore 核心知識複習與核心機制詳解

Spark零基礎入門第七課Spark 的核心概念 :Spark 運行架構特點Spark運行架構圖:spark stage 階段劃分算法圖:spark-on-yarn 模式圖:sparkContext的構建的過程Spark Mast

原创 leetcode每日一題,動態規劃算法+二分查找!!

leetcode 國內網站: https://leetcode-cn.com/problemset/all/ 給定一個無序的整數數組,找到其中最長上升子序列的長度。 示例: 輸入: [10,9,2,5,3,7,101,18]

原创 從0開始學習spark(8)SparkCore 調優之內存模型

Spark零基礎入門第八課1.Spark 內存模型概述2.堆內和堆外內存規劃2.1 堆內內存2.2 堆外內存2.3 內存管理接口3. 內存空間分配3.1 靜態內存管理3.2 統一內存管理4. 存儲內存管理4.1 RDD 的持久化機

原创 第一次刷leetcode記錄一下:題目爲存在重複元素。

leetcode 國內網站: https://leetcode-cn.com/problemset/all/ 感覺第一個還是很簡單的,O(∩_∩)O哈哈~,可能我還沒有被現實打擊吧,分享給大家,希望大家可以一起進步!!

原创 從0開始學習spark(6)Spark共享變量之累加器和廣播變量的使用!!!

Spark零基礎入門第六課1. spark共享變量(Shared Variables)1.1 簡介:1.2 爲什麼要定義廣播變量 :1.3 、如何定義和還原一個廣播變量 :2. Accumulators(累加器)2.1 爲什麼要定

原创 畢業一年的普通本科出路在哪?

自述 大家一說到程序員肯定都會想到高工資,可是我的生活爲什麼和別人口中的那麼不一致呢?有時候都會覺得自己是一個假的程序猿了。感覺上面這圖很好的表現了我現在的生活。 那麼首先來說說我這大學到畢業都經歷了什麼吧: 首先自我介紹一下

原创 從0開始學習spark(4)Spark Rdd常用算子和RDD必備知識!!!

Spark零基礎入門第四課1. RDD1.1 什麼是RDD1.2 RDD 的屬性2. 創建 RDD3. RDD常見的算子介紹3.1 Transformation 類算子:3.2 action 類算子:3.3 WordCount 中

原创 從0開始學習spark(5)RDD常用算子用法訓練(附習題答案)(aggregateByKey與combineByKey)!!!

Spark零基礎入門第五課常見的transformation算子練習:常用的action算子練習:在這些基本的瞭解之後,給大家來兩個高級調優的聚合算子的用過:combineByKeyaggregateByKey**最後我們做一些練

原创 程序員必備75道邏輯思維題(附答案)終章

感覺這一天天的,上班是真的混,沒有一個比你厲害的帶你,都靠自己學習,你覺得這樣的公司可以一直待下去嗎???!!! 還是多學習算法,思維,到時候去面試薪資翻倍不是夢啊! 【61】你有兩個罐子,50個紅色彈球,50個藍色彈球,隨機選

原创 程序員必備75道邏輯思維題(附答案)之六

感覺這一天天的,上班是真的混,沒有一個比你厲害的帶你,都靠自己學習,你覺得這樣的公司可以一直待下去嗎???!!! 還是多學習算法,思維,到時候去面試薪資翻倍不是夢啊! 【41】有23枚硬幣在桌上,10枚正面朝上。假設別人矇住你的

原创 阿里輕量應用服務器之圖形化界面寶塔

最近想做一個微信小程序,所以蹭着優惠買了一個阿里的服務器,還挺好用的,大家可以買一個學習學習,特別是學生,優惠力度特別大, 鏈接:阿里雲學生服務器購買地址 首先你進入網站就可以看到: 我買的是輕量應用服務器,因爲我需求是需要一