原创 pyspark啓動python的版本設置
spark安裝以後以pyspark啓動spark交互式界面的時候，默認是系統自帶的Python版本啓動，而本機是以python2的版本啓動，如下所示： spark要以python3的方式啓動，需要本地安裝有python3，如果沒
2020-06-27 11:35:14
原创 centos6.5服務器的安裝和配置
centos6.5可以作爲自己開發測試使用的服務器，本文將詳細說明，安裝的配置和步驟，僅供參考，根據自己的實際需求可做適當的調整。 1.準備基礎軟件包 VMware軟件，鏈接：https://www.vmware.com/cn.html
2020-06-27 11:35:14
原创 pyspark 啓動env: /usr/local/python3/bin: Permission denied
使用本機安裝的python3的路徑，啓動出現的錯誤如圖所示 問題是：設置的安裝路徑的問題修改spark-env.sh配置文件中PYSPARK_PYTHON的路徑即可，將路徑修改爲紅線所示的路徑，修改結果如圖所示：
2020-06-27 11:35:14
原创 flume開啓過程中出現RPC connection error異常
兩臺服務器master和slave的日誌採集過程出現RPC connection error的問題： 可能存在的配置問題： 檢查機器的防火牆是否關閉； 檢查配置文件ip地址的設置問題； 檢查自己flume服務器的開啓順序； 檢查
2020-06-27 11:35:14
原创 centos6.6安裝pyinstaller的過程及errror:shared libraries解決
1.本機centos6.6安裝python3的方式： python3.6.5的源碼編譯安裝 # 準備編譯環境 yum groupinstall 'Development Tools' yum install zlib-devel
2020-06-27 11:35:14
原创 kafka啓動異常kafka.common.InconsistentBrokerIdException
kafka在搭建完全分佈式集羣的過程中，主機把Kafka包發送到從機，修改配置文件後出現kafka進程啓動失敗的情況，異常的代碼如下所示： [2019-10-14 11:08:51,263] INFO Client environ
2020-06-27 11:35:14
原创 jupyter notebook： Intel MKL FATAL ERROR異常處理
jupyter notebook 異常： 使用sklearn的過程中，出現的jupyter 服務出現這個異常，運行過程服務自動重啓： **Intel MKL FATAL ERROR: Cannot load libmkl_avx.
2020-05-20 23:10:03
原创 jieba分詞原理：構建前綴詞典，形成語料的有向無環圖，動態規劃求解最優路徑
jieba分詞的官方github的地址：https://github.com/fxsjy/jieba，具體的實現代碼其中也有，本文對實現過程進行簡單的介紹。 結巴分詞的原理主要分爲4步： 根據詞典構建前綴詞典 通過分詞的語料構建
2020-05-01 08:28:05
原创 win7 xgboost的源碼安裝
window7 系統的xgboost的源碼安裝 xgboost的安裝和使用可以參考官方的文檔https://xgboost.readthedocs.io/en/latest/build.html 1.安裝git window版本的
2020-03-02 20:19:35
原创 hbase Can't get master address from ZooKeeper; znode data == null
在使用hbase shell 客戶端創建表和進行查詢的過程中出現異常： Can't get master address from ZooKeeper; znode data == null 可能的原因： habse服務未啓動，
2020-02-20 15:01:47
原创 win10Anaconda 安裝虛擬環境出現SSLError解決方案
Anaconda的下載鏈接 https://www.anaconda.com/distribution/ 可以點擊下載完成後直接安裝到默認的目錄或者指定的目錄。 安裝完成後配置環境變量： 安裝路徑：C:\ProgramData\A
2020-02-20 15:01:47
原创 django-apscheduler和apscheduler的安裝和示例
APScheduler(Advanced Python Scheduler)是一個輕量級的Python定時任務調度框架(Python庫)。django-apscheduler的github鏈接https://github.com/
2020-02-20 15:01:47
原创 hbase的GetJavaProperty和load main class org.jruby.Main的異常
hbase異常的處理 HBASE的異常代碼： Error: Could not find or load main class org.apache.hadoop.hbase.util.GetJavaProperty Error:
2020-02-20 15:01:46
原创 zookeeper的分佈式安裝以及啓動腳本
第一步：zookeeper安裝包的下載 鏈接地址，可以根據自己的需要下載相對應的版本，https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/ 第二步：安裝包的解壓 # 解壓安裝
2019-10-28 13:22:26
1
原创 pycharm遠程連接服務器中的docker容器的配置
pycharm遠程連接服務器中的docker容器 第一步：服務器中安裝docker以及docker容器的運行 1.1docker的安裝 docker的安裝可以參照阿里雲的教程， 阿里雲安裝教程,包含docker在Ubuntu和ce
2019-10-28 13:22:26
1