anaconda jupyter spark使用問題備註

這些到底怎麼使用,目前我還很懵,暫時先把遇到的問題記錄下。

我的系統爲ubuntu16.04

1,安裝anaconda和jupyter,在https://www.anaconda.com/distribution/下載,下載後直接執行sh Anaconda3-xxxx.sh

安裝完成後,用戶會進入base環境(用戶命令行中會自動增加(base) xx@xx),在該環境中可以啓動jupyter,jupyter notebook。

退出base環境可以試用conda deactivate命令。

~/.bashrc中會增加一些代碼,如下圖,如果不想默認使用該環境,可以把這些代碼移出到另一個文件,想啓動jupyter的時候,source 該文件。

2,使用pip install jupyter只適用於mac,linux似乎不行。

3,jupyter上執行from pyspark import SparkContext, SparkConf,報錯No module named 'pyspark',說明anaconda下的python缺少庫,請使用anaconda/bin/下的pip安裝pyspark。

4,錯誤:ValueError: Cannot run multiple SparkContexts at once,提示SparkContext已經創建。這個問題很奇怪,引起該問題的代碼是sc = SparkContext(conf=SparkConf().setMaster("local").setAppName('myspark')),代碼最後要添加sc.stop(),最好加在finally中。如果添加後也不能解決,請重啓jupyter。

5,調用某個類的某個函數,如果該函數有修改,jupyter中重新運行卻不生效,請重啓jupyter,或者把該類整個複製到jupyter的頁面上。

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章