原创 AI工具：Anaconda中Jupyter不能import已安裝module問題解決
jupyter模式下寫代碼時,通過pip install package命令行安裝package完成之後,無法在jupyter模式下import ，這是個通用的問題，我這裏遇到的是import jieba，可能import 別的
2020-06-25 06:52:09
12
原创 大數據之Sqoop(四):java.io.IOException:No columns to generate for ClassWriter
這兩天做個項目使用到sqoop，這東西以前用過，現在有點忘了，出了點差錯，記錄下來 文章目錄環境報錯問題原因解決 環境 hadoop 2.4.1 jdk8 sqoop 1.4.6 centos7 mysql 5.7.x 報
2020-06-25 06:52:09
1
原创 服務器環境部署：Redis布隆過濾器使用
老早就想在項目中用起來這個優秀的東西。只是成熟的項目又有很多私有客戶部署，redis版本可能存在差異，爲避免不必要的版本兼容或遷移，就沒有大幅度的在成熟項目上使用。現新項目剛好有相關使用需求，所以理所當然的要用起來，享受算法帶來
2020-06-25 06:51:59
原创 大數據之Azkaban(二):實戰案例
記錄之前使用azkaban遇到的情況與問題 文章目錄實戰案例單一job案例多job工作流案例java操作任務HDFS操作任務mapreduce任務Hive腳本任務 實戰案例 Azkaba內置的任務類型支持command、ja
2020-06-25 06:51:58
原创 大數據之Sqoop(二):Sqoop使用案例
記錄sqoop的一些使用，複習下，此前項目中有用到，複習下 安裝與部署請參考 文章目錄使用案例導入數據RDBMS到HDFSRDBMS到HiveRDBMS到Hbase導出數據HIVE/HDFS到RDBMS腳本打包Sqoop一些常用
2020-06-25 06:51:58
原创 大數據之Sqoop(三):java.io.IOException Could not start Java compiler
這兩天做個項目使用到sqoop，這東西以前用過，現在有點忘了，出了點差錯，記錄下來 文章目錄環境報錯問題原因解決 環境 hadoop 2.4.1 jdk8 sqoop 1.4.6 centos7 mysql 5.7.x 報
2020-06-25 06:51:57
原创 AI工具：Windows安裝jieba中文分詞工具與測試
這幾天弄一個項目用到jieba中文分詞工具，之前電腦重裝系統，系統內沒了，這下來安裝，碰到了坑，記錄下 文章目錄環境安裝python3.7安裝jieba官網下載在線安裝jieba安裝過程中報錯pip is configured
2020-06-25 06:51:57
27
原创 數據結構與算法：二叉樹遍歷
好久沒敲代碼，想來還是回過頭看看基礎點的迴歸感覺。 二叉樹是個基礎數據結構，很難說直接在某個真實業務場景直接應用，很多基礎數據結構都不可能直接搬到實際業務場景中使用，基礎數據結構與其思想都是中級或高級數據結構的基礎和構造過程，如
2020-06-25 06:51:57
原创 AI基礎：先驗概率、後驗概率
前幾天朋友問到貝葉斯公式，在給他講述時有些概念不容易從字面接受。這裏記錄並通俗解釋下 文章目錄解釋案例解釋貝葉斯公式 解釋 先驗概率：根據以往經驗和分析得到的概率，以因求果問題中因的概率。（個人理解：先，即事情未應驗前來估
2020-06-11 19:29:17
原创 GitBook部署與編寫使用
記錄下gitbook 文章目錄介紹部署安裝Node.js安裝gitbook使用配置說明插件配置GitBook Editor編寫創建文件夾或目錄編寫目錄git push/pull 介紹 GitBook是一個基於Node.js的命
2020-06-11 19:29:17
2
原创 大數據之ClickHouse：安裝部署與性能測試
記錄過程 文章目錄概述環境單機安裝常用配置啓動/檢查服務命令行客戶端分佈式集羣安裝卸載性能測試 概述 個人總結式理解，詳細的去官網看吧 俄羅斯搜索引擎公司Yandex研發，2016年開源的列式存儲數據庫 主要用於在線OLAP
2020-05-05 03:25:44
4
原创 大數據之Presto：安裝部署
記錄過程 文章目錄概述環境安裝Presto服務服務啓停安裝Presto客戶端本地JMX連接查詢配置連接Hive查詢文檔 概述 這裏就不復制粘貼了，描述自己理解的。具體詳細的使用和介紹需要去官網學習更好 2014年由FaceB
2020-05-05 03:25:44
原创 雲服務器清理挖礦進程
清理挖礦程序 問題復現 沒有啓動什麼佔用資源的進程，但是4G內存直接快滿了，cpu也高，基本可以判斷是有挖礦程序在跑 如下情況 [mym@bigdata01 software]$ free -h tot
2020-04-23 07:27:44
3
原创 大數據之Azkaban(一):介紹與安裝部署
記錄之前使用azkaban遇到的情況與問題 文章目錄概述簡述特點架構安裝部署準備安裝生成密鑰對和證書時間同步配置配置文件修改web服務器配置Server(Executor)配置啓動服務 概述 Azkaban是由Linkedin
2020-02-26 02:53:26
原创 服務器安裝與配置Hive
記錄服務器上部署與配置Hive組件 文章目錄機器環境準備Hive 安裝及配置Hive 基本操作Hive常見屬性配置Hive 數據倉庫位置配置查詢後信息顯示配置Hive 運行日誌信息配置一般參數配置方式 機器環境 Centos
2020-02-26 02:53:26
1