原创 spark RDD saveAsTextFile沒有設置重複寫入的參數，只能用hdfs先刪再寫
spark RDD saveAsTextFile(path)也是調用的 hdfs的 saveAsHadoopFile 函數，但是並沒有什麼標誌設置是否重寫。 所以可以在代碼中用hadoop的刪除文件代碼模塊執行後，再寫入。（方案一：判定文
2019-08-23 05:57:18
4
原创 重裝系統後，環境變量添加anaconda的scripts，python可用但pip運行報錯解決
錯誤信息： Fatal error in launcher: Unable to create process using '"f:\devlopsoftwaredeploy\anaconda2\python.exe" "E:\dev
2019-08-09 15:09:55
原创 python matplotlib排序畫圖初探之簡單bar實時動態更新（非animation、非openvcv）
最近回顧學習排序，想用python實現，考慮可視化github上有一個python得https://github.com/ZQPei/Sorting_Visualization 還不錯。 不過有用到opencv、pygame，我不太想用這
2019-07-30 05:16:38
60
原创 記錄一次yum install bzip2 總是失敗的原因：公司yum源把目錄給改了
公司內網只有linux的anconda，而anaconda2的sklearn只到0.17.1 而其中sklearn.ensemble.IsolationForest 只在0.18.1之後纔有 看到anaconda3的是更高版本的0.18.
2019-07-30 05:16:38
原创 charles window proxy下 local ip不對解決方案
我的情況是charles 再window下，默認對網卡順序查找啓用狀態得第一個ip地址弄到local ip中。 而裝了虛擬機，有網卡啓用按時間排序，它在最近排最前，charles 就初始化爲虛擬網卡了。 這個抓pc端包應該沒問題。但是抓手
2019-07-30 05:16:37
原创 spyder 3.1.4之後就移除了python console，只剩ipython了，很難受
spyder 3.1.4之後就移除了python console，只剩ipython了，很難受。 最近想可視化排序的數據過程，不想借助過多第三方如pygame、opencv-python包，但是pyplot得實時動態更新真特麼是個大問題。
2019-07-30 05:16:37
39
原创 charles、fiddler抓https開啓，導致瀏覽器https提示“不是私密連接”，解決要點
網上大部分都說了，要生成證書或者去官網下載證書，但有時候依然不行。 我們到ie或chrome得證書管理裏面，找到安裝得，會發現默認在“中間證書頒發機構”這一類別，並且點開看，會看到“x” 就是證書不受信任，如果要信任需要再裝一遍，
2019-07-30 05:16:37
原创 轉載 matplotlib教程——matplotlib的軟件架構（matplotlib、figure、pyplot關係簡單易懂）
原博文：https://blog.csdn.net/qq_27825451/article/details/81481534 https://www.jianshu.com/p/3937798d645b matplotlib是一個
2019-07-30 05:16:37
原创 python pandas.dataframe操作出現 Could not compare [None] with block values 異常
原因是 判定dataframe是否爲空時用錯了方式； 將 if df !=None 換成 if df is not None 即可 (怪怪的不知道爲什麼，還有pandas.read_csv 命名指定dtype=str, 對於空的值，
2019-07-18 04:33:15
6
原创 window下jupyter(anaconda)中使用findspark配置spark
上一篇講完zeppelin配置spark，zeppelin啓動太慢了，經常網頁上interpreter改着就卡死，需要後面zeppelin.cmd窗後點擊纔有反應，而且啓動賊慢。 因爲本來就安裝了Anaconda2，索性給jupyter也
2019-07-08 06:34:56
14
原创 window中的zeppelin配置pyspark
前提：java8、scala、spark、python、zeppelin都安裝好了（本地單機spark可以不用hadoop的） 一：zeppelin的pyton interpret中配置信息 如果path中沒有配置python的環境變量，
2019-07-08 06:34:56
17
原创 window下的Zeppelin安裝與用戶配置(折磨之路)
一：zeppelin 官網下載： https://zeppelin.apache.org/download.html （一開始下的netinst比較少的interpret版本，後來不成功，就換成全all的了，其實都一樣，只玩spark用n
2019-07-07 15:12:06
33
原创 window下安裝scala （非插件，也不是SBT）
scala官網下載最新的scala安裝包： https://www.scala-lang.org/download/ scala 至少需要java 8及以上版本，啓動時報錯，java 版本過低的提示會有的，我就遇到了。 是因爲我C盤有個j
2019-07-07 15:12:06
原创 菜雞在window下得hadoop安裝艱難踩坑，各路問題層出不窮（繁瑣版）
此文並不是window下安裝hadoop最精簡的博文，裏面是我安裝的整個過程遇到的問題，裏面我走了很多彎路，相信菜雞如我都能安裝成功，你也可以。 ==============================================
2019-07-07 06:18:14
8
原创 菜雞踩坑之window下hadoop單機安裝 （精簡版）
承接上一篇的踩坑之路，濃縮留下精簡版。 一：hadoop下載與環境變量配置 hadoop官網下載自己的版本：https://hadoop.apache.org/release.html， hadoop-2.6.0.tar.gz 解壓放入自
2019-07-07 06:18:14
6