原创 解決算子函數返回NULL問題和錯誤的持久化以及checkpoint的使用
在算子函數中，返回null // return actionRDD.mapToPair(new PairFunction<Row, String, Row>() { // // private static final lo
2020-06-21 02:09:29
原创 分佈式文件系統——fastDFS安裝
安裝 1 核心安裝1.1安裝 FastDFS 依賴1.2解壓 FastDFS 核心庫1.3進入解壓後的目錄1.4編譯安裝1.5創建軟連接1.6解壓 FastDFS 主程序1.7進入 FastDFS 主程序源碼目錄1.8修改安裝路
2020-06-21 02:09:29
原创 troubleshooting之解決yarn-client模式導致的網卡流量激增問題
Driver到底是什麼？ 我們寫的spark程序，打成jar包，用spark-submit來提交。jar包中的一個main類，通過jvm的命令啓動起來。 JVM進程，這個進程，其實就是咱們的Driver進程。 Driver進程啓
2020-06-21 02:09:29
原创 troubleshooting之解決各種序列化導致的報錯
你會看到什麼樣的序列化導致的報錯？ 用client模式去提交spark作業，觀察本地打印出來的log。如果出現了類似於Serializable、Serialize等等字眼，報錯的log，那麼恭喜大家，就碰到了序列化問題導致的報錯。
2020-06-21 02:09:29
原创 前端傳formdata數據 後端接收不到
關於前端傳formdata數據 後端接收不到問題 //填寫的信息提交到數據庫 submitFormFriuit = function(){ var form =new FormData(); form.app
2020-05-11 06:49:01
原创 alibaba的fastjson轉爲json首字母變小寫解決方法
我們經常用fastjson的話 有時候要涉及將實體對象轉爲json格式，但當用Json.toJsonString()方法時，會默認將屬性的首字母后轉爲小寫，但真正有時候我們是不想將首字母變成小寫的，針對這個解決辦法，就是我們可以用
2020-05-11 06:49:01
原创 mysql性能優化之索引
存儲引擎：索引1、普通索引1.1、創建索引1.2、查看索引1.3、刪除索引2、唯一索引2.1、創建索引3、全文索引（FULLTEXT）3.1、創建索引4、組合索引（最左前綴）4.1、創建索引5、索引優化5.1、索引不會包含有NU
2020-02-22 17:12:27
原创 Spring-4.1.6源碼分享
最近學習Spring源碼，爲了方便學習源碼做筆記，特意從GitHub上下載一份，但是GitHub下載源碼慢的要死，爲了下載源碼也是費了九牛二虎之力，爲了大家學習，特意將它分享出來，動動小手給個贊哦。如果覺得有需要可以去網盤下載。
2020-02-22 17:12:17
原创 kafka工作流程以及文件存儲機制
1）Producer ：消息生產者，就是向 kafka broker 發消息的客戶端； 2）Consumer ：消息消費者，向 kafka broker 取消息的客戶端； 3）Consumer Group （CG）：消費者組，由
2020-02-22 17:12:17
原创 鏈表和雙向鏈表介紹和代碼實現
鏈表(Linked List) 鏈表是有序的列表，但是它在內存中是存儲如下 小結: 1）鏈表是以節點的方式來存儲,是鏈式存儲 2）每個節點包含 data 域， next 域：指向下一個節點. 3）如圖：發現鏈表的各個節點不一定是
2020-02-22 17:12:17
原创 分佈式文件存儲——FastDFS
FastDFS 一、簡介1、架構圖2、上傳流程：3、下載流程：4、術語簡介5、同步機制6、 FastDFS 運行時目錄結構6.1、Tracker Server 目錄6.2、Storage Server 目錄7、 FastD
2020-02-22 17:12:17
原创 Spring之ApplicationContext介紹
ApplicationContext介紹： 如果說BeanFactory是Spring的“心臟”，那麼ApplicationContext 就是完整的“身軀”了。ApplicationContext由BeanFactory派生而來
2020-02-22 17:12:17
原创 大廠面試題之JVM
JVM結構Java8 JVM內存結構GC Roots如果判斷一個對象可以被回收？引用計數算法可達性分析算法哪些對象可以作爲GC Roots？JVM參數JVM 三種類型參數標配參數X參數XX參數JVM XX參數布爾類型KV鍵值
2020-02-22 17:12:17
原创 查找算法以及代碼實現
1.線性查找算法2.二分法查找算法3.插值查詢算法4.斐波那契(黃金分割法)查找算法 1.線性查找算法 特別簡單的算法，就是遍歷數組，一一比較，返回座標 代碼實現： public static void main(String[
2020-02-22 17:12:17
原创 解讀Mybatis中的dtd文件並配置config、mapper文件
dtd文件一般可以在哪找到規則定義 dtd文件一般可以在哪找到 一般我們可以在builder、factory、或者context等地方找到 就以Mybatis爲例： <!ELEMENT configuration (prope
2020-02-22 17:12:17