原创 【kafka】Error while fetching metadata xxx: {TEST=LEADER_NOT_AVAILABLE}
本人菜雞一隻，該文章會比較短，而且沒有比較詳細的報錯和圖片，但是我想解決問題的思路還是可以分享下的！ 公司有一個kafka集羣，我接手做了些文字匹配的東西之後，好久都沒人用過了。 然後最近公司想做統一日誌的收集，打算開啓一個消費者來處理多
2019-06-18 17:25:40
6
原创 【hive】Exception: No type found for column type entry 19
菜雞一隻，記錄一個hive報錯~ 前幾天，我司的一位數據分析師來找我，給我看了一個報錯，大概如下： Caused by: java.lang.RuntimeException: Error creating a batch at or
2019-06-12 00:18:05
19
原创 【GreenPlum】記錄GreenPlum的分區表
繼上一篇GreenPlum的文章之後，過了挺長的一段時間（快1年了） 上一篇文章其實有點像雜記，有點散，沒什麼主題，都是一些測試和工作中的實際運用的記錄 後面打算，稍微整理下第一篇文章，把一些基礎知識和性能優化剝離開來，專門寫一篇（工作中
2019-06-12 00:18:05
原创 【java】java處理linux上的日誌解決方案（一）
嘎嘎嘎，我又肥來了，還是菜雞一隻，最近產品上線，要做寫監控啊，日誌解析啊，所以來記錄下所做的事情~ 對於日誌的解析！ 1、業務場景： 每天會有一個日誌數據自動推到我們服務器上的某個目錄，然後需要解析日誌，將解析好的數據插到數據庫中，供
2019-06-10 19:04:29
原创 【spark】spark廣播變量空指針異常（spark的閉包）
emmmm，大家好，我是菜雞！ 今天來說一個很詭異的問題，廣播變量空指針！ 起因： 有一個需求：行爲表中有1000W人的行爲（表名：bt_behavior），但是我只需要特定的500W人的行爲，所以直接將行爲表和特定的500W人的id關聯
2019-05-14 06:11:35
1
原创 【linux】linux免祕鑰登錄和scp傳輸文件
哦豁，好像好久沒有寫博客了，上次寫是4月8號，快一個月了吧~ 可能是最近比較忙吧。。。 這次來記錄一個簡單的東西~ 如題，其實要做到linux免祕鑰登錄，無非就幾條命令，百度一下就能找到，但是有些概念許多文章沒有講或者未描述清楚，所以
2019-05-09 03:50:42
原创 【spark】異常：org.apache.spark.sql.AnalysisException: resolved attribute(s)
本人菜鳥一隻，天天寫bug，今天又來記錄一個解決了的bug！ 業務邏輯： 1、從一張行爲表中，抽取有特點行爲的用戶 2、將這部分用戶id拿到之後保存 3、然後再將這部分用戶id關聯回行爲表，獲得這部分用戶的所有行爲 具體代碼我就不貼出來
2019-04-08 17:10:42
原创 【spark】spark異常：execute, tree:XXXX
本人菜雞一隻，在寫代碼的時候，經常會遇到這樣或者那樣的報錯，而且腦子還不好，容易忘事，所以得用爛筆頭記下來，希望以後能夠越來越不蠢！ 最近在跑一段spark的時候，報了異常，大概上就是這樣： execute, tree: Exchang
2019-04-05 20:25:18
原创 【java】通過spring通過AOP實現日誌打印（二）
本人菜雞一個，上一篇文章說了說自己對AOP的理解，並留下了一個用spring註解實現AOP的坑，本文就來填填這個坑 該系列暫時有兩篇文章： 【java】java中的AOP思想（一）：https://blog.csdn.net/lsr4
2019-03-31 17:06:28
原创 【java】java中的AOP思想（一）
本人菜雞一個，寫這個系列的文章是爲了通過把自己理解AOP的心路歷程記錄下來，加深自己對這個思想的印象~ 背景： 其實一開始聽到AOP這個概念的時候，是自己剛學java沒多久的時候，那時候很懵逼啊，這都什麼鬼啊？ 所以寫這篇文章的時候，希望
2019-03-22 17:15:57
原创 【Linux】linux中grep的用法（過濾運行日誌）
本人菜雞一隻，對於正則其實真是菜的摳腳！所以得趕緊記下來，不然下次又忘了！！ 遇到了個場景，程序的運行日誌中，有部分信息我們是想要的，需要進行一些基礎的分析。 日誌拿到手上，裏面可能有上萬條日誌，但是我們只需要其中一部分。 處理方式有非常
2019-03-03 23:13:27
原创 【SpringBoot】springboot如何添加並設置druid數據庫連接池
本人菜雞一隻，最近在研究研究SpringBoot，深感好用。 以前用SpringMVC的時候，要配置的文件可真不少，往往引入一個新的什麼插件或者框架啥的，就要多一個xml文件，對於初學者來說，真是寫得頭都暈了，而且往往寫完之後過段時間並不
2019-02-27 23:58:12
原创 【SpringBoot】新建springboot項目，訪問jsp頁面卻讓我下載和熱部署的問題
本人菜雞一隻。 最近突然有些空閒的時間，因爲最近跟數據打交道比較多（寫sql，寫spark，寫數據質量監控，寫存儲過程等），慢慢的java框架的有些知識在我腦中被淡化了，這是很可怕的事情，俗話說，一天不寫代碼，就要上房揭瓦（這是哪門子俗話
2019-02-20 23:59:41
原创 【python】爬蟲篇：最後一篇之代碼篇（六）
本人菜雞一隻！ 本篇文章，主要是記錄《【python】爬蟲篇：通過文章內容使用TF-IDF算法對文章進行分類（五）》中所說的具體代碼，具體處理方向和思路見下文： 【python】爬蟲篇：通過文章內容使用TF-IDF算法對文章進行分類（五）
2019-02-19 22:20:37
1
原创 【python】爬蟲篇：通過文章內容使用TF-IDF算法對文章進行分類（五）
本人菜雞一隻，八百多年前（當然這是誇張的手法），在我寫下第一個爬蟲篇的博客的時候，我給自己挖了一個坑！ 在我的爬蟲篇的第一篇文章中（鏈接如下） 【python】爬蟲篇：python連接postgresql（一）：https://blog.
2019-02-16 20:21:06
17