原创 spark jobserver加入認證

如何給jobserver加入認證,本文給一些尋找答案的方式。 通過官方文檔和示例一般就能夠解決了。 首先啓用shiro認證 在你的 conf配置文件里加入: shiro { authentication = on # 推薦

原创 統計Hive表佔用空間大小

首先,Hive的數據是存在HDFS上的,統計Hive表大小就算統計文件的大小。 雖然在Hive的管理界面可以看到HDFS文件佔用的整體大小,但如何查看每張表佔用的空間呢? 幾經搜索,沒有發現hive現成的命令,於是,動手擼一個出來

原创 scala惰性函數

scala惰性函數 原生支持惰性,懶加載。 回覆java的懶加載 /** * Java懶加載 */ public class LayLoad { private String prop; public St

原创 B樹詳細圖解與Java完整實現

本文的目的是從B樹的起源講起,再到java語言完整的實現,以達到對B樹有一個全面的認識,如果你打算學習並實現B樹(但是能在有生之年去實現一遍B樹的人很少),那麼看完本文就應該可以了。如果你想找B樹的應用,那本文不適合。 B樹的起源

原创 當我想爲程序員的生活寫本書...

我是一名不知名的作家,全職體驗了一年多程序員的生活,於是不忘初心的我想爲程序員寫本書。 陸游曾經說過:“紙上得來終覺淺,絕知此事要躬行”。從我這一年多踏入IT這一行,在國企和互聯網企業都幹過,這可以算2個極端吧,雖然可以分得很細,

原创 spring實戰代碼之解析CRON表達式

spring實戰代碼之解析CRON表達式 如果我們要用spring的定時器功能,那麼一般會用CRON表達式,事實上,每個框架實現的CRON解析還不同,所以需要用相應的解析規則: import org.springframework

原创 當公司讓我寫軟著...

公司要寫軟著,讓我把項目代碼複製到word裏。 我開始還傻傻的複製了幾個java類,然後突然醒悟:能用程序解決的事,絕不動手,因爲以後還會經常用到,備份下,雖然及其簡單,一個遞歸+讀寫文件。 再複雜一點,考慮文件編碼和自動過濾。如

原创 如何檢測ActiveMQ的死活

最近爲了恢復生產和經濟,國家希望人們多多消費,爲此出臺了一系列補貼政策,簡單總結就是: 買買買 走走走 喫喫喫 玩玩玩 但是本文的議題是:如何使用腳本檢測ActiveMQ的死活?然後重啓。 定義死活的概念 死得很徹底:pid

原创 springboot如何在靜態類中獲取配置-配置獲取全解

springboot如何獲取配置文件的配置? springboot如何在靜態類中獲取配置? 以下所有示例都通過驗證。 1.定義配置文件格式 這裏主要指常見的配置文件:properties, yaml. 當然,json也可以作爲

原创 activemq消息清理

本文講述activemq的消息清理方法: 配置法 命令行 purge和delete有什麼區別呢 我們看到管理界面的queue裏有purge和delete,而且注意:只有queue有purge。 他們的區別很簡單: purg

原创 springboot實戰代碼之如何優雅地返回圖片

springboot實戰代碼:【如何優雅地返回圖片】 本文將會總結返回圖片地常用方法: 流方式返回:主要是實現方式不一樣,基於response和HttpConvertMessage base64返回 說明 圖片可以來自很多地方

原创 推薦一款替換swagger的無侵入文檔生成工具-SmartDoc

在前後端分離的今天,爲了保證進度,前後端一般同步進行開發,所以後端需要先給出接口文檔,再寫實現。 經過筆者不斷地尋找寫文檔的優化方案,至少嘗試過以下方式: 手寫,如果是代碼還沒開始寫,這種方式可以當作思考的過程,但是後面改起來也

原创 python多線程掃描端口

常用的端口掃描工具:netcat nc -z -v -n IP 10-65535 如果簡單的一臺機器,幾個端口沒問題,很多臺機器就麻煩了。 下面是一個多線程掃描的python小程序:使用telnet,默認掃TCP端口 #!/us

原创 10分鐘系列-zookeeper入門

10分鐘zookeeper總結。 安裝配置 解壓 修改配置:zoo.cfg, 修改dataDir 啓動:bin/zkServer.sh start 默認是standalone 分佈式部署 同步安裝包 在zkData數據目錄下