原创 Hbase2.x RIT修復
Hbase2.x RIT修復RITOPENINGCLOSING hbase2.0.x由於不穩定性因素太多，還是有太多的坑，特別是沒有了hbck工具的修復功能，出現問題，解決起來還是非常不方便的。躺了好評多坑，積累一下經驗，持續更新
2020-06-19 18:33:08
原创 java上傳文件到ftp，能創建目錄，但文件不能寫入（FTPClient.enterLocalPassiveMode()的用法）
問題描述 之前在寫文件上傳到ftp服務器的java代碼時，發現創建目錄各項操作均正常，但在寫入文件時無論如何都寫入不進去，文件可以創建成功，無始終是0字節，論是通過FTPClient的storeFile還是通過輸出流寫入，都不起作
2020-06-19 00:23:54
原创 scala的Seq與java的List相互轉換
在使用sparksql的dataset時有些地方需要將seq和list進行互相轉化使用，scala集合提供相關的轉化操作： //Seq 轉 List List<Column> list = scala.collection.Jav
2020-06-19 00:23:54
原创 Python如何優雅的格式化XML 【Python XML Format】
格式化xml需要用到庫:xml.dom.minidom 直接上代碼: #coding:utf-8 import xml.dom.minidom uglyxml = '<?xml version="1.0" encoding="UT
2020-06-18 22:36:49
137
原创 華爲C80 yarn提交mapreduce異常：OutOfMemoryError:GC overhead limitexceeded kill -9 %p
yarn提交mapreduce異常：OutOfMemoryError:GC overhead limitexceeded kill -9 %p 記一次生產環境的運算異常 生產環境一直運行穩定的離線計算任務，從未出現過異常，忽然發
2020-06-18 22:36:39
原创 使用poi，java讀寫excel文件詳細過程
通過使用poi完成java對excel文件的讀寫，話不多說直接開始。 注意：這裏依賴的jar包需要使用兩個，一個是poi，一個是jxl。 附上依賴： <dependency> <groupId>net.sourceforge
2020-05-31 06:06:16
原创 Spark內存溢出OOM異常:OutOfMemoryError:GC overhead limit exceeded,Java heap space的解決方案
因爲之前spark程序運算量不是特別大，關於提交時申請的集羣資源就一直沒有變動，後來數據不斷增大，導致程序出現以下異常： java.lang.OutOfMemoryError: Java heap space java.lan
2020-05-31 06:06:16
7
原创 YARN異常YarnException:Failed while publishing entity的解決方案
版本：HDP3.0 mapreduce提交任務計算時，job已經結束，但是容器仍不能關閉持續等待五分鐘 INFO[Thread-100] org.apache.hadoop.yarn.event.AsyncDispatcher:
2020-05-31 06:06:16
原创 pyinstaller打包exe命令
pyinstaller打包exe命令 pyinstaller -F -w -i=ico.ico a.py b.py c.py
2020-03-27 16:25:25
原创 pycharm PYQT產生的ui文件 pyuic生成py文件時報錯: one input ui-file must be specified
今天在使用pyqt5產生ui文件時，發現無論怎麼調用pyuic都提示one input ui-file must be specified （至於如何安裝pyqt5和pyqt-tool的安裝就不再贅述） 搞了一圈才發現是pyuic
2020-02-28 17:32:04
原创 MapReduce八股文範式模板(WordCount爲例)
MapReduce-八股文範式模板mapreduce八股文 mapreduce八股文 八股文也稱制義、制藝、時文、八比文。而所謂的股，有對偶的意思。八股文有一套相對固定的寫作格式，其題目取自四書五經，以四書命題佔多數。 在這裏套用
2019-08-28 13:20:33
原创 linux多機打通ssh免密登錄
linux多機實現ssh免密登錄1.查看本地是否存在祕鑰文件2.使用 ssh-key-gen 在本地主機上創建公鑰和密鑰3.把公鑰複製到需要打通的機器上4.打通免密 1.查看本地是否存在祕鑰文件 ls ~/.ssh/id_rsa.p
2019-05-09 02:24:25
原创 Spark自定義RDD訪問HBase
http://www.zhyea.com/2017/06/21/visit-hbase-with-custom-spark-rdd.html 這裏介紹一個在Spark上使用自定義RDD獲取HBase數據的方案。 這個方案的基礎是我
2019-02-26 15:08:47
3
原创 YarnException:Failed while publishing entity
版本：HDP3.0 mapreduce提交任務計算時，job已經結束，但是容器仍不能關閉持續等待五分鐘 INFO[Thread-100] org.apache.hadoop.yarn.event.AsyncDispatcher:Wa
2019-02-26 15:08:47
122
原创 java讀寫excel文件-poi
通過使用poi完成java對excel文件的讀寫，話不多說直接開始。 注意：這裏依賴的jar包需要使用兩個，一個是poi，一個是jxl。 附上依賴： <dependency> <groupId>net.
2019-02-22 03:54:53