原创 【spark】記錄spark使用窗口函數的一次問題

本人菜雞一隻，正在努力學習提升自己，在工作中遇到了這個問題，因此記錄下來！   前言： 提到窗口函數，我會第一個想起ROW_NUMBER()這個函數，實際上他還有兩個兄弟，他們三個的區別這裏稍微說下（因爲我主要不是來介紹他們三個的） 以下

2019-02-15 00:34:49 1

原创 【算法】紅黑樹刪除數據（最後一步，平衡紅黑樹）（五）

老話說一說，本人菜雞，如果文章中有錯誤請大家批評指出！！！   該系列已經全部更完，有5篇文章：   【算法】紅黑樹（二叉樹）概念與查詢（一）：https://blog.csdn.net/lsr40/article/details/852

2019-02-03 00:12:18

原创 【spark】搭建生產環境的spark服務

固定開頭，菜雞一隻，如有說錯，請大家批評指出，一定改正！ 事情是這樣，當我們學習spark的時候，搭建一個環境是最簡單也是最開始我們要做的， 一般情況下，我們都是使用虛擬機（linux機器）來搭建spark的環境，然後讓spark運行在y

2019-02-02 00:54:04 2

原创 【算法】紅黑樹插入數據的情況與實現（三）

大家如果有玩魔方，我相信是可以理解我說的東西的，轉魔方就是先把第一面轉出來，然後把第一面作爲底面，然後根據遇見的情況來轉魔方（是有公式的） 該系列到現在暫只有3篇文章：   【算法】紅黑樹（二叉樹）概念與查詢（一）：https://blo

2018-12-29 02:40:38 3

原创 【算法】紅黑樹刪除數據（尋找繼承人）（四）

我的前三篇文章講紅黑樹的插入介紹完畢，並且也解釋了TreeMap的put的源碼，接下來我們一起看下remove，紅黑樹如何刪除節點？ 該系列到現在暫只有4篇文章：   【算法】紅黑樹（二叉樹）概念與查詢（一）：https://blog.c

2018-12-29 02:40:38

原创 【算法】紅黑樹插入數據（變色，左旋、右旋）（二）

本人菜雞一隻，正在更新紅黑樹系列的文章。 該系列到現在暫只有2篇文章：   【算法】紅黑樹（二叉樹）概念與查詢（一）：https://blog.csdn.net/lsr40/article/details/85230703 【算法】紅黑樹

2018-12-27 02:54:54 4

原创 【算法】紅黑樹（二叉樹）概念與查詢（一）

誒，算法這個東西，其實沒那麼簡單，但是也沒那麼難。 紅黑樹，其實已經有很多大佬都整理過了，而且文章博客都寫得超好，我寫這篇文章的目的是：自己整理一次，這些知識才是自己的，否則永遠是別人的~ 本文先講講概念和查詢！ 本人菜雞，如果文中有誤，

2018-12-26 01:26:12 1

原创 【spark】存儲數據到hdfs，自動判斷合理分塊數量（repartition和coalesce）（二）

本人菜雞一隻，如果有說的不對的地方，還請批評指出！   該系列暫有2篇文章（本文爲第2篇）： 【spark】存儲數據到hdfs，自動判斷合理分塊數量（repartition和coalesce）（一）：https://blog.csdn.n

2018-12-24 01:09:38 7

原创 【數據加密/脫敏】各種數據庫、代碼加密/解碼的方法

本人菜雞一隻，閱讀該文章之前，有句話我得先說一下： 本文不是來介紹加密算法的，也不是來解釋加密算法的過程的。如果本意想研究加密算法的實現，或者概念。不好意思本文可能囉哩叭嗦還幫不上忙！ 前言： 數據加密，也就是數據脫敏。其實就是將一些涉及

2018-12-14 00:24:53 1

原创 【spark】存儲數據到hdfs，自動判斷合理分塊數量（repartition和coalesce）（一）

本人菜鳥一隻，也處於學習階段，如果有什麼說錯的地方還請大家批評指出！ 首先我想說明下該文章是幹嘛的，該文章粗略介紹了hdfs存儲數據文件塊策略和spark的repartition、coalesce兩個算子的區別，是爲了下一篇文章的自動判斷

2018-12-14 00:24:52 10

原创 【kafka】報錯：advertised.listeners參數的重要性（外部訪問局域網kafka）

嗯，菜雞一個，寫個帖子記錄下解決的一個kafka的問題。 關於kafka的另外兩篇文章！ 【kafka】一、kafka框架介紹（生產者篇）：https://blog.csdn.net/lsr40/article/details/84029

2018-11-20 10:14:38

原创 【hive】hive創建庫，表相關

菜雞一隻，如果有說錯的地方還請大家指出批評！ 很多人，會有這樣的想法：這個東西，很簡單嘛，這樣這樣這樣，就可以。當然一部分情況確實是這樣的，不過有些時候，讓你親身去做這件事情，你又會覺得完全和想的是兩碼事，覺得困難重重。 沒錯，我就是這樣

2018-11-14 10:07:31

原创 【kafka】一、kafka框架介紹（生產者篇）

嗯，菜雞是我，驕傲在敗壞以先，狂心在跌倒之前。所以有什麼說錯的地方，還請大家指出批評！ 繼爬蟲之後，kafka的介紹。 該系列文章暫時更新兩篇： 【kafka】一、kafka框架介紹（消費者篇）：https://blog.csdn.net

2018-11-14 10:07:20

原创 【kafka】二、kafka框架介紹（消費者篇）：

  消費者有兩個配置，一個是New Consumer Configs，一個是Old Consumer Configs 官網：http://kafka.apache.org/documentation/#consumerconfigs gr

2018-11-14 10:07:20

原创 【pykafka】爬蟲篇：python使用python連接kafka介紹（四）

本人菜雞，最近還更新python的爬蟲系列，有什麼錯誤，還望大家批評指出！ 該系列暫時總共有4篇文章，連接如下： 【python】爬蟲篇：python連接postgresql（一）：https://blog.csdn.net/lsr40/

2018-11-07 09:58:27 56