原创 presto內存配置以及調優(防止OOM等操作)
參考文檔 https://prestodb.io/blog/2019/08/19/memory-tracking http://armsword.com/2019/11/13/the-configuration-settings
2020-07-03 08:12:54
5
原创 springboot 項目mysql 連接過多問題排查與解決
背景 我們自己平臺的產品發現指定的mysql數據庫後臺發現連接非常多，過多的連接對於數據庫是一種負擔。這些連接完成SQL執行任務後空閒着啥事也不幹，白白佔用內存資源，如果這些連接堆積起來，將導致MySQL超過最大連接數，從而無法新
2020-06-16 14:35:44
原创 springBoot項目引入連接池
####1、前言 springboot 2.X依賴默認支持的連接池是hiwari連接池，我們在啓動springboot項目的時候也可以發現這個 2020-06-09 14:33:42.942 [main] INFO com.za
2020-06-16 14:35:44
原创 查看開發者工具然後postman模擬傳參調用接口
參考資料 https://www.jianshu.com/p/ba40da728806 前言 當我們使用開發者工具的時候，看具體某個操作調用的什麼接口，傳入了什麼參數等信息。如果我們想在本地模擬的時候，需要postman 模擬
2020-06-16 14:35:44
原创 Logback的Filters詳解
前言：並不是懂很多，只是官網的搬運工 參考資料: http://logback.qos.ch/manual/filters.html 概念講解 我們在講之前需要了解幾個概念 DENY,NEUTRAL和ACCEPT 這三個值是通
2020-05-30 19:44:31
原创 parquet文件格式解析
參考資料: https://parquet.apache.org/documentation/latest/ https://www.jianshu.com/p/47b39ae336d5 前言 Apache Parquet是H
2020-05-30 19:44:31
原创 logback配置文件的結構與解析
1、logback整體的日誌結構 包含1個元素，包含零個或多個元素，然後是零個或多個元素，然後是最多一個元素，如以下示例 <configuration scan="true" scanPeriod="60 seconds" deb
2020-05-30 19:44:31
原创 連接池泄露問題解決
前言 我們這邊的項目的連接池使用的Hikari，連接連的是sparkThriftserver。但隨着項目越來越大，發現用一陣子，連接就擴大到160甚至更多。 解決問題 1、排查連接情況 我們使用 netstat -nat | g
2020-05-22 10:05:54
原创 sparkThriftserver 長時間運行HDFS_DELEGATION_TOKEN失效問題
參考資料:https://github.com/apache/spark/pull/9168 1、背景 sparkThriftserver 運行一天後，有人反饋查詢報錯，我自己測試了下，確實如此 org.apache.had
2020-05-19 02:26:03
原创 spark提交內存分配機制
參考資料 https://zhuanlan.zhihu.com/p/137471443 前言 衆所周知,我們一直在用spark-submit 來提交任務,在yarn 見面的Allocated Memory可以看到yarn總
2020-05-19 02:26:03
原创 git stash的應用場景
前言 自己用git 其實不多，在這裏記錄下git stash 場景 我現在正在修改一個小功能，還沒有修改完，領導讓我在別的分支先把一個bug修改了，然後這時候我這邊新的代碼需要保存下，因爲我後續還需要開發， 解決方法(git命令行
2020-05-17 11:32:17
原创 漫談Java 線程池ThreadPoolExecutor
參考資料 https://www.cnblogs.com/dolphin0520/p/3932921.html https://www.jianshu.com/p/896b8e18501b 簡介 Java線程池的核心類爲Thr
2020-05-15 09:55:29
原创 JDBC讀取mysql的數據的效率問題
背景 這邊我們做了一個產品的小功能，把mysql的數據拉取到hdfs上來 代碼實現 代碼很簡單，就是簡單的JDBC long start = System.currentTimeMillis(); PreparedStatemen
2020-05-15 09:55:29
原创 spark的csv讀取落地相關
前言 spark 在讀取和落地CSV的時候 也是一門學問，一面有很多的注意細節以及小技巧可以使用。 參考資料:https://github.com/databricks/spark-csv (這裏涵蓋了csv的option
2020-05-09 19:22:49
原创 hive UDF註冊以及編寫
背景 公司有個業務需求，需要對一些算子進行實現，寫UDF，剛開始打算用sql 實現，但是考慮到算子可能嵌套等複雜情況，遂用udf 去做。 UDF編寫 1、UDF數據類型 這裏先講一下UDF的數據類型，剛開始我寫UDF的時候使用ja
2020-05-09 19:22:49