原创 google chrome一直崩潰 snap
昨天google一直甭哭，顯示Chrome Aw Snap 我嘗試重新安裝chrome 但是還是不行 目前還沒有找到根因 但找到了一個解決辦法 原文出自黑山老鵰 親測可用: Chrome 78 版本以後，很多人經常碰到 Aw Sn
2020-07-05 03:49:37
原创 簡單 解析spark RDD
彈性分佈式數據集 RDD(只讀，可分區) 這個數據集的部分或者全部可以緩存在內存中。 所謂彈性，是指內存不夠時可以與磁盤進行交換。 RDD 作爲數據結構，本質上是一個只讀的分區記錄集合。一個rdd可以包含多個分區，每個分區就是一個數據
2020-06-03 04:13:15
原创 RF(robotframework)安裝後RIDE雙擊打不開的問題
我嘗試用cmd中的命令行ride.py啓動 但是出現如下問題 啓動ride時出現wx._core.wxAssertionError: C++ assertion 網上有各種方法，讓去修改配置的 有讓刪除什麼庫的 但是都感覺治標不治本
2020-04-28 13:04:30
原创 Spark的Job Stage task關係
https://blog.csdn.net/hjw199089/article/details/77938688
2020-04-28 13:04:30
原创 面試開發
爲什麼要三次握手：https://www.jianshu.com/p/e7f45779008a 訪問修飾符public,private,protected,以及不寫（默認）時的區別？https://blog.csdn.net/lihua5
2020-02-26 01:51:39
原创 Anaconda安裝後默認python3.6 現在我想變成3.5 降級python版本 如何？
安裝了Annconda 他自動升級當前的python版本 我的程序運行的話python3.6是不行的 需要降級 那麼我該如何弄呢 查了網上很多東西 很心煩 比如說如何卸載anaconda安裝的python這樣
2020-02-26 01:51:39
原创 spark學習
總是學了就忘記，spark都學了幾遍了 總是深入不進去 唉 頭疼 這裏再次學習一遍 誰有更好的深入學習spark的方法給推薦推薦 面試了大數據，盤點幾個被問到的問題： spark一定會把中間結果放在內存嗎？當然不是
2020-02-26 01:51:39
原创 如何遠程連接一個主機並且執行一段命令呢
"ssh -o StrictHostKeyChecking=no -o ConnectTimeout=5 %s '%s'" % (host, mkdir -p your_path ) 如此可以遠程ssh連接一個主機 執行命令 http
2019-07-30 10:00:28
3
原创 啓動hadoop成功後，再次啓動datanode 和namenode都沒有 但有nodeManager
安裝hadoop 啓動後發現成功 但之後因爲某些原因重新啓動 發現重新啓動不起來了 datanode和namenode都沒有了 怎麼找也找不到 但可以看到nodeManager還在 這是個什麼幺蛾子 我重新刪除lo
2019-07-30 10:00:27
原创 linux 用Backspace鍵突然出現^H的問題
今天運行了某個程序後突然發生這種情況 對使用Linux命令很不方便 上網找到了解決辦法 供大家參考https://blog.csdn.net/weixin_42760394/article/details/82051477 lin
2019-06-15 00:23:40
原创 spark 提交集羣的各種方式
https://blog.csdn.net/hellozhxy/article/details/80483376 其中 deploy-mode 可以是cluster 和client形式 兩者有什麼區別呢：請看https://blo
2019-06-12 02:14:59
原创 下載apache的spark的時候總是網速很慢 下載好久的問題
下載個spark-2.2.2版本下載了一天 網速7k/s 什麼鬼 然後用專業軟件檢測 發現並沒有網速很慢呀 1M/s是沒有問題的 這是啥子個原因 哎 我也不知道到 總之能不去apache下載東西就不去 還
2019-06-12 02:14:59
原创 idea打包jar到spark集羣運行
總是想打包一個程序 到集羣 網上很多方法都是要用maven管理 用pom 和maven工具來進行 而此時我只想直接打包一個程序成爲一個jar文件 怎麼搞呢 看下面連接 https://www.cnblogs.com/
2019-04-24 23:38:24
2
原创 spark 配置historyserver進程 報錯：failed to launch org.apache.spark.deploy.history.HistoryServer
查看日誌 發現是Exception in thread "main" java.lang.reflect.InvocationTargetException 然後後面還有fail on connection 這個大概是接口防火
2019-04-16 11:59:00
原创 ramp plan 是什麼意思呢？
ramp up加強 ramp 英 [ræmp] 美 [ræmp] n. 斜坡;坡道;(裝車或上下飛機的)活動梯，活動坡道 v. 敲詐;使有斜面 看到“敲詐”嚇我一跳 難道是敲詐計劃？ 問過之後發現是ramp plan就類
2019-04-16 11:58:49