linux上python及其依賴包安裝、節點快速擴容安裝

1、首先是安裝python版本
python的安裝可以有兩種方式,一種是先安裝純金版的python然後根據自己代碼的需要再去用pip對應安裝其他的依賴包,當然這首先要求安裝pip包;第二種方式是安裝與python相對應的Anaconda,Anaconda的好處是除了安裝對應版本的python之外還附帶了很多第三方依賴包,一些比較常見的依賴基本可以滿足,可以省去安裝完純淨python版本之後還要手動去安裝運行所需要的依賴,關於具體對應關係網上也有很多例如:https://blog.csdn.net/zzqhello2018/article/details/90896852,確認好對應關係直接去官網下載然後一路下一步安裝即可,對應算法人員要求的python3.6.0版本我安裝的Anaconda版本是Anaconda3-4.3.1-Windows-x86_64版本。下載完畢後上傳到linux目錄下,如下圖
說下具體安裝,直接在這個路徑下
直接回車/yes一路操作下來即可,注意這裏面有的版本會問你是否安裝vscode這個要說:no!
2、pip手動安裝依賴包
上面安裝完成anaconda之後,它會附帶一些依賴包,但是如果還不夠的話我們需要自己手動安裝依賴,這個時候就用pip命令如下
pip install 是安裝命令後面跟的是依賴包及其版本當然也可以不加==版本號也可以裝,這樣應該是最新版本吧,在後面 -i 指定的是鏡像的代理路徑,默認是國外的比較慢,再後面是代理ip及端口,最下方提示successfully即爲成功。
3、安裝環境的批量複製轉移
假如說我們現在有一臺機子已經安裝的很完美了,各種依賴包都齊全了,現在需要做個分佈式集羣,需要將這臺機子的信息同步配置其他的多臺機子,這時候怎麼擴容比較快捷?
首先是去需要擴充的機子上面按照第1步去安裝anaconda,然後用 pip freeze > requirements.txt這樣就會把所有環境中的依賴包列表導出,導出文件存放路徑爲執行命令的路徑,文件名字爲requirements.txt這個名字是自定義的。導出後的文件如下圖:
然後去擴容的機子上再執行如下命令即可按照此文件去自動安裝

通過 -r參數指定文件,當前前提是將此txt文件傳到執行命令的目錄下
剛開始接觸pyspark與python,如有問題,歡迎大家留言指出多謝~

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章