原创 elasticsearch中對於空字符串""的過濾操作

## 在項目的一個需求中,需要對ELK中的數據進行聚合統計的操作,這裏因爲是用Java進行開發,所以需要涉及到相應的api的使用。因爲之前從來沒碰過ELK之類的環境,剛拿到這個問題的時候自己還是有點懵逼的,但是既然到了自己的手上,

原创 Spark中連接Mysql

在開發中涉及到spark連接到Mysql的部分操作,雖然要用scala進行編寫,但是有過Java語言的一些基礎上手scala並不是件難事… 以下爲連接部分的代碼,注意在使用前要引入相關的依賴,比如mysql的連接驅動等等,這些就不

原创 Java 中 list集合中有幾十萬條數據,每次100條爲一組取出(一定的量取出)

在開發的過程中要處理Excel文件,將其文檔的內容按照一定的形式封住加密之後寫入到Kafka中,但是Kafka那邊一次性不能消費大量的數據,所以要將數據分批次寫入。這裏是用一個List來作爲中間載體,每次取出一定量的數據寫入Kaf

原创 spark submit 提交腳本的參數詳解

在將項目打包之後,可能需要將其提交到大數據平臺上去跑,這個時候就涉及到腳本處理。這裏主要是有關spark的運行任務…一些常用的提交參數配置如下所示: 參數名 參數說明 - -master master 的地址,提交任

原创 Java之Socket學習

Socket編程 1.網絡基礎知識 例子:兩臺計算機之間進行通信,需要有一個標識,也就是IP地址 其次兩者之間的語言應該一致,這裏的語言指的是協議,只有遵循了相同的協議, 兩者才能正常的通信,另外,每臺計算機都有相應的端口號 Imag

原创 Idea中開發中常用的快捷鍵大全

(Idea快捷鍵大全) 高效定位代碼 1.項目之間的跳轉 ctrl+alt+右方括號 Next Project Window ctrl+alt+左方括號 Previous Project Window 2.文件之間的跳轉

原创 IntelliJ IDEA控制檯不能用Scanner輸入

今天在寫NIO的小demo的時候,碰到了一個小問題,在使用Scanner的時候,我發現無法在控制檯中輸入信息,而且一直如下圖所示 我這裏的環境是jdk1.8 然後用的是Junit4進行的單元測試,但是在輸入的過程中沒有反應,但是將代碼放

原创 Mybatis中逆向工程無法查詢到類型爲text的數據

最近在學習網上的一個商城項目,但是在進行數據查詢的時候碰到了一個問題,以下爲對應的mysql數據表,當要查詢類型爲text的參數數據時,返回的是空 tb_item_param CREATE TABLE `tb_item_param` (

原创 關於IDEA中代碼快速格式化的熱鍵衝突問題

今天在用IDEA整理一段代碼時,想使用代碼格式化的快捷鍵 ctrl+Alt+L可是 嗯?按了沒有反應 第一次以爲是自己沒有選中 然後再試了一次還是沒有用 我意識到因該是這個快捷鍵有衝突了 遂去詢問度娘解決方案網友提出的熱鍵衝突問題大致有兩

原创 Idea中無法將pom中的文件導入到依賴中的解決方案

** IdeaMaven中pom.xml中的文件無法導入到依賴中的解決方案 ** 今天在進行框架整合的時候,需要在pom.xml文件中導入新的jar包 但是在jar包下好的情況下,也沒有報錯的情況下,就是使用不了新導入的jar包 剛開

原创 關於SpringMVC中關於HTTP Status 405 - Request method 'POST' not supported

其實這個問題說難也不難,只是不知道有沒有和我一樣踩了坑的小夥伴…特別來說明一下 報這個錯誤無非有以下幾個原因: 1.jsp中的請求方式和在Controller中對應的RequestMapping中的請求方式不一致,或者是沒有說明方式一致,

原创 如何在Idea中設置pom文件自動導入

在使用Idea中,可能會碰到修改pom文件之後,會頻繁的提示需要導入的通知 那麼可以使用以下方法來解決這個問題 1.在第一次打開maven文件或者創建maven工程的時候,右下角會有提示是否 Import Changes — E

原创 Idea中如何導入Eclipse中的項目

在從eclipse轉到idea之後,感覺舒服了很多…emoji 但是有的時候需要導入eclipse中的項目 那麼應該如何導入呢? 1.其實可以直接將需要導入的項目放在Idea的工作空間裏(我是這麼認爲的,其實就是平時的代碼區),然後在i

原创 關於POI框架讀取Excel文件 xls和xlsx

因爲Excel有對應不同的版本 所以在使用的時候會有不同後綴名的文件,其中xls和xlsx較爲常用和常見,這次在項目中有設計到excel表的導入導出操作,踩了坑,所以記錄一下… 我用的是maven,首先需要引入依賴,因爲這裏可能用到兩種不

原创 關於URL中帶請求Servlet獲取不到的參數結果分析

關於URL中帶請求Servlet獲取不到的參數結果分析 1.確認請求中的參數名和在servlet中的參數名一致 2.確認使用正確的方法 request.getParameter(); 3.在servlet中 有doG