原创 Python環境安裝一些問題記錄
這次因爲工作需要，要配置了一些python的環境，需要支持很多庫。自己一路下來還算順暢，不過也算踩了些坑，在此試着進行總結。隨着工作的需要還會逐漸補充一系列問題這裏 anaconda安裝和版本問題 根據https://www.jiansh
2020-06-17 15:07:37
原创 反射泛型相關類問題總結（java.lang.IllegalArgumentException: argument type mismatch）
最近編寫接口的時候使用了反射機制，讀取一個jar包的方法，但該方法使用了不定長參數 Object...，進而關聯到Object[] 因此產生了一些問題，在此進行下總結。 獲取方法泛型問題： 輸入參數是 int nargout, Obj
2020-06-17 15:07:37
4
原创 Spark Streaming寫入tsdb卡死問題
最近寫入程序經常出現寫入tsdb卡死問題，經過比較久排查後解決，這裏記錄下。對我個人而言加深了spark程序和yarn資源管理關係的認知。 問題描述： 最近經常出現加載程序在運行中卡死，程序不再處理新的數據，其中沒有任何報錯日誌，在UI裏
2020-06-03 00:48:18
1
原创 python server端開發遇到的一些問題
嗯，作爲一個不正經的開發問題記錄，感覺與其說是給別人看的，不過是更多寫個自己的一個記錄，承接之前安裝的大大小小的問題吧，想必應該也沒有太多人看。自己的問題及解決方案也是基於其他很多類似問題或者分解出的小問題而來的，問題是一方面，思路也大概
2020-04-28 20:55:14
原创 Python環境安裝
這次因爲工作需要，要配置了一些python的環境，需要支持很多庫。自己一路下來還算順暢，不過也算踩了些坑，在此試着進行總結。隨着工作的需要還會逐漸補充一系列問題這裏 anaconda安裝和版本問題 根據https://www.jiansh
2020-03-06 23:12:32
原创 主數據
之前做數據梳理的時候對主數據進行了一個總結，雖然項目沒有很好的開展，不過對我來說也是有很多收穫的，這裏把之前用到的一些文檔總結如下。 術語和定義 主數據 早期以 ERP 爲代表的製造業集成應用系統的發展過程中，產生了信息孤島和數據處理
2020-02-22 07:35:40
原创 nohup運行sqoop卡頓問題
最近因爲工作需要開始接觸hive和mysql的數據加載，其中hive向mysql存儲數據時，其中有些任務採用了nohup的方式後臺執行。遇到了下面這個問題，因目前難以排查，現做一個記錄。 情況描述 環境：腳本內容爲循環執行 nohup
2019-09-15 22:42:27
原创 hive向mysql導入數據錯誤問題（ java.lang.RuntimeException: Can't parse input data:）
最近因爲工作需要開始接觸hive和mysql的數據加載，其中hive向mysql存儲數據時，因爲hive 表的格式可能導致錯誤。下面講這個問題。 錯誤情況 運行sqoop語句，將hive數據導入mysql。 sqoop export
2019-09-08 22:27:48
1
原创 反射泛型相關類問題總結
最近編寫接口的時候使用了反射機制，讀取一個jar包的方法，但該方法使用了不定長參數 Object...，進而關聯到Object[] 因此產生了一些問題，在此進行下總結。 獲取方法泛型問題： 輸入參數是 int nargout, Obj
2019-07-30 02:13:43
原创 log4j2日誌遷移總結與問題
最近爲實現日誌的分類，壓縮，將log4j升級爲log4j2。雖然有很多文章對其中配置講的很詳細，但實踐中仍有不少細節值得補充，雖然看着比較零散，但希望對再次遇到這些問題的有所幫助。 路徑配置： 改相對路徑爲絕對路徑，解決日誌產生點不固定的
2019-07-30 02:13:43
2
原创 hdfs寫入緩慢問題：思路分析與問題解決
最近遇見加載程序寫入hdfs速度緩慢問題。經過長時間的分析後解決，這裏寫下思路和解決方案。 實時數據寫入kafka過慢，導致加載到多個存儲組件的sparkstreaming延遲過高。其中hbase10ms，tsdb70ms，hdfs20s
2019-06-11 03:01:29
1
原创 kafka指定偏移量拉取與偏移量半自動提交
離去年寫了有關偏移量有關文章快一年了，但最近在偏移量方面遇到了些小問題，在這裏記錄下。還有關於偏移量半自動提交，是個很經典的問題，順便也記錄下。 關於拉取指定偏移量 應該只有用consumer.assign(topicPartitionL
2019-06-11 03:01:29
2
原创 java原生項目監控設計思路(二)
之前寫過第一版監控思路，收到我都想不到的關注度，後面梳理需求進行了一個更大範圍的監控，並支持後續報表的生成。最近因爲資源增加，也在關注elk監控相關思路，之後應該也會有新的文章產出（把監控的坑越挖越大），現在結合舊版講下設計思路和實現。
2019-06-11 03:01:29
原创 阻塞隊列的GC問題
最近使用隊列存放數據，發生了一次GC問題，這裏記錄一下。 開始使用定長阻塞隊列，程序運行正常。 BlockingQueue<String> queue = new ArrayBlockingQueue<>(2000); 之後再阻塞隊列中
2019-06-11 03:01:29
原创 在shell中用kylin查詢的引號問題
因開發需要在shell上編寫腳本作爲查詢kylin相關數據，在查詢的過程中因爲引號導致列無法識別。後面在同事的l和x的幫助下得出了一個可以使用的解決方案，以供參考。 查詢腳本概述 通過編寫sql，調用kylin相關api生成腳本，並通過
2019-05-01 00:56:51