原创 JVM進程啓動的內存分配問題
1、分配機制 JVM分爲client 端和server端，默認情況下32位的hotspot都是client模式；64位的默認都是server模式。（所以我們現在基本都是64位模式進行的） 參考資料:https://blog.csd
2020-05-06 19:12:40
原创 kerberos認證下hadoop的java應用程序超時分析
參考資料 https://cloud.tencent.com/developer/article/1419270 https://issues.apache.org/jira/browse/HADOOP-10786 背景 我們
2020-04-30 18:30:11
原创 SpingBoot項目下Spark在IDEA中進行本地測試
背景 我們在開發場景中肯定是在本地進行調試，然後打包部署到服務器進行運行，頻繁打包測試即沒有效率也不實際 下面的場景以我在本地使用spark local模式訪問hive爲例 相關代碼配置 1、代碼 val session
2020-04-29 12:55:14
原创 HttpServletResponse和HttpServletRequest解析
1、背景 最近有這麼一個訴求，我在A服務器中的java調用執行一個python文件，並將其返回值返回給B服務器的客戶端。當時在想A服務器暴露一個接口，然後使用runtime API調用即可，但是返回值這塊我卻有點苦惱。我的本意是直
2020-04-23 15:22:29
原创 hive的serde解析與應用
今天把serde講解和相關應用整理一下，參考文檔如下 參考的官方文檔: https://cwiki.apache.org/confluence/display/Hive/DeveloperGuide#DeveloperGuide
2020-04-19 02:55:17
1
原创 sparkThriftserver driver端數據過大掛掉的問題spark.sql.thriftServer.incrementalCollects
參考資料:https://github.com/apache/spark/pull/22219 https://forums.databricks.com/questions/344/how-does-the-jdbc-odbc
2020-04-19 02:55:07
1
原创 spark的廣播變量(Broadcast)
註明:大部分知識點是從官方文檔翻譯，少部分是自己測試，或者在實際項目中的總結。 官方文檔地址:https://spark.apache.org/docs/latest/rdd-programming-guide.html#sha
2020-03-28 03:08:15
1
原创 spark的日誌監控(WEB UI 和history server)
背景 當我們在跑一個spark任務的時候，如果碰到數據傾斜或者我們想去看下運行參數或者具體的運行情況，這時候我們就需要一個可視化的日誌頁面，去監控spark的運行。 (註明:大部分知識點是從官方文檔翻譯，少部分是自己測試，或者在實
2020-03-28 03:08:15
原创 spark多目錄輸出
背景 現在有這麼一個需求，spark 讀取日誌信息，日誌中有info,error,debug 相關的日誌，我們要將其讀取並分別放到不同的目錄中。當然了，每次讀取落地一次也可以，但是這樣相當於要讀取多次，在文件很大的時候，效率這塊肯
2020-03-19 12:29:21
原创 hive 查看錶的詳細信息
背景 目前有個需求，就是讓生成表以後，查看當前數據庫，以及表的路徑，之前查看錶一直是用 show create table tableName 這種方式去查看的，直接查詢可以，但是放到java訪問的方式來有諸多的不變。他是一個
2020-03-17 16:18:08
原创 HikariCP連接池
背景 公司項目用到了HikariCP連接池，配置了一堆參數我也看不懂，正好在BI這一塊需要優化，我就從連接池下手看下有沒有需要的優化項(主要是優化配置)，然後看了一遍官網總結了一下 https://github.com/bret
2020-03-14 06:37:53
原创 Linux簡單的修改權限命令解答
Linux修改權限常用的命令是chmod abc file；abc這裏分別指的是 自己（user），group，otherchmod abc file中 a,b,c也爲三位二進制的數 即 a代表xxx b代表xxx c
2018-08-23 22:57:19
原创 本機ssh連接不上虛擬機的問題
之前連接的好好的，突然xshell連接虛擬機就連接不上了找了一頓，發現問題。我們本機都有2個網卡 無線的和有線的 以太網適配器就是你的網卡連網線用的，無線局域網適配器是你的無線網卡連WIFI用的，如下圖，他們都有自己的ip，
2018-08-23 22:57:19
原创 lucene和倒排索引
https://www.cnblogs.com/zlslch/p/6440114.html 對倒排索引講的很好正排索引：由document 到單詞例如： “文檔1”的ID > 單詞1：出現次數，出現位置列表；單詞2：出現次數，出現位置列
2018-08-23 22:57:16