原创 【遠程調用傳參】java.io.InvalidClassException: failed to read class descriptor
使用遠程過程調用時，如果要傳參對象，必須要保證兩邊類的包前綴及兩邊類的序列化號碼一致，否則有可能報錯 一：客戶端 客戶端Nio測試，傳入的obj對象包名是com.seagate.client.bean.curr.CurrQueryJ
2020-07-02 22:52:27
6
原创 【hive外部表複製】hadoop數據複製及掛載hive外部表
場景 公司有生產的hadoop（2.7）集羣，現在需要搭建新的hadoop（3.1）集羣，想要廢棄mapreduce，使用其他的運算框架。選擇了sparksql和presto需要做測試。那麼新的集羣是沒有數據的，需要從生產導一些數據過來。
2020-07-02 22:52:27
原创 【筆記】java調用R，R調用hadoop
筆記 1.安裝R（linux cmd） R CMD INSTALL "R.3.5.1.tar.gz" 2.安裝Rserve（linux cmd）--開啓遠程調用服務 R CMD INSTALL "Rserve_1.8-6.tar.gz"
2020-07-02 22:52:27
1
原创 【presto on yarn】問題UnknownHostException和重啓節點
一.java.net.UnknownHostException: seacluster 在presto on yarn啓動之後，在presto-cli控制檯訪問hive的數據庫，不論是show schemas還是show tables都能
2020-07-02 22:52:27
18
原创 【postgres】postgres數據庫備份還原
安裝過程轉載 https://blog.csdn.net/wlwlwlwl015/article/details/52399739 數據庫備份 命令 pg_dump -h 10.38.199.220 -U postgres sead
2020-07-02 22:52:27
原创 【presto on yarn】解決方案
一.前言 項目架構升級，從hadoop2.7升到3.X，需要從批處理轉變到實時流。大半年一直在做數據導入，沒有很好的方案。目前在嘗試的使用kafka分發文件，解碼程序解碼文件，落到flume，flume直接寫hdfs。其中每天需要先建立h
2020-07-02 22:52:27
16
原创 【獲取項目執行路徑】static代碼塊獲取項目路徑
有時候需要在類加載時設定幾個類的靜態參數，我們可以在類的static代碼塊中給予賦值。在賦值過程中可能會訪問項目路徑下的config配置文件。 項目路徑如下 我需要在Dao類裏面加載resource/config.properties文
2020-05-31 04:42:42
原创 【http post】post傳輸數據大小
之前知道get請求對url請求長度有限制，post請求沒有限制。今天在做程序的時候遇到了這個問題。 場景：我需要將前端生成的Svg圖片轉化base64生成字符串傳入後臺，後臺根據字符串解碼生成到PPT裏面。 附：前端將svg生成圖片的工具
2020-05-11 12:08:23
1
原创 【逆向思維】yarn node label生產共用問題
生產背景 presto on yarn已經測試完畢，準備上生產，生產環境嚴格，不允許有任何影響生產的因素。生產共50個節點，要求是固定10臺節點跑presto，且不能影響原有的mapreduce（無標籤application）程序，即50
2020-04-20 22:10:12
原创 【yarn node label】yarn node label設置presto主節點（接上一篇）
接上篇https://blog.csdn.net/w8998036/article/details/101522048，安裝好presto on yarn之後，presto集羣的coordinator主節點是由yarn自動分配的，那麼每次
2019-10-26 09:40:58
7
原创 【java】java面試查漏補缺
轉載：https://mp.weixin.qq.com/s?__biz=MzA4Mzc0NjkwNA==&mid=2650789056&idx=2&sn=d902582df38fdd6859e98fbdee847ba7&chksm=87f
2019-07-31 09:19:40
原创 【pyspark】jupyter notebook安裝
經用戶要求，需要安裝jupyter notebook供其使用來調用我們集羣的spark，因此需要搭建jupyter環境並啓動 我們的jupyter主要是提供python代碼的編寫，且在python中調用pyspark來使用集羣的spark
2019-07-05 07:41:52
41
原创 【R】java調用R，R調用hadoop
筆記 1.安裝R（linux cmd） R CMD INSTALL "R.3.5.1.tar.gz" 2.安裝Rserve（linux cmd）--開啓遠程調用服務 R CMD INSTALL "Rserve_1.8-6.tar.gz"
2019-06-22 08:42:28
原创 【Eclipse打包】Eclipse打第三方包的可執行jar出現的問題
使用eclipse打項目的可執行jar包，目錄如下 右鍵選擇export，選擇Runnable JAR file Next，在launch configration選擇需要執行的main函數入口，export導出地址，第三項Lib
2019-06-21 07:53:53
原创 hadoop數據複製及掛載hive外部表
場景 公司有生產的hadoop（2.7）集羣，現在需要搭建新的hadoop（3.1）集羣，想要廢棄mapreduce，使用其他的運算框架。選擇了sparksql和presto需要做測試。那麼新的集羣是沒有數據的，需要從生產導一些數據過來。
2019-06-21 07:53:53
4