小象爬蟲第一週筆記

1.虛擬機原理

虛擬機本質是爲了共享,但是具有隔離性,爲了不讓宿主機掛掉


2.虛擬機的安裝

1.安裝VirtualBox

2.在VirtualBox中

1.新建:填寫名稱、類型Linux-Ubantu64位

2.內存分配1-2G

3.使用已有的虛擬硬盤文件,選擇Ubantu18.vdi文件

4.創建,然後選擇啓動,密碼爲xxxy

5.將ubantu充滿整個虛擬機對話框,根據下圖操作

①安裝增強功能,安裝更新VirtualBox Guest Additions(這一步好像可以省略,直接第二步)

②根目錄下,找到media文件夾,進入目標文件夾 /media/用戶名/VBox_GAs_6.0.4,文件夾中有VBoxLinuxAdditions.run,右鍵terminal,輸入命令 

sudo ./VBoxLinuxAdditions.run

③安裝完成,回車,命令行reboot重啓


【注意】如果直接打開.vbox文件,則需要做修改

①在當前目錄下打開命令行,輸入VBoxManage internalcommands sethduuid “F:\xxx...\xxx.vdi”,修改vdi後來存在的路徑,看到提示uuid已經改變

②按照下圖操作,點擊啓動即可


3.anaconda的安裝

因爲在虛擬機內部下載清華鏡像經常失敗,於是我在windows上下載,通過共享文件夾做以連接

①windows新建一個文件夾作爲共享文件夾 D:\VirtualBox Share

②虛擬機上設置共享文件夾

③在terminal上輸入命令 “ sudo mount -t vboxsf  共享文件夾的名字 虛擬機的掛載點 ”

實際輸入:

sudo mount -t vboxsf  VirtualBox_Share /mnt/

④在ubantu中的mnt文件夾可以找到共享的文件

⑤安裝anaconda:輸入命令:

bash Anaconda3-5.3.1-Linux-x86_64.sh

第一次yes同意license,回車,waiting... 第二次默認路徑yes,第三次安裝vscode選擇no,vs自己下載,命令行太慢(移動熱點+VPS很快?)

驗證安裝成功:

conda list

⑥如果刪除anaconda:

rm -rf anaconda文件夾名

⑦如果沒有配置環境變量,或者仍然顯示系統默認版本,則需要更新一下.bashrc,輸入

source ~/.bashrc

或者如下操作

sudo gedit ~/.bashrc

打開文件後在末尾添加

export PATH="/home/用戶名/anaconda3/bin:$PATH"

 立即生效:

source ~/.bashrc

⑧conda安裝包

conda install numpy

4.第一次運行python文件

①新建目錄,新建py文件,輸入語句,右鍵“run python file in terminal”

②還可以將當前目錄保存爲workplace


5.安裝依賴

步驟:

1.用anaconda3中的 anaconda prompt命令,下載requirements.txt中的包,運行requirements.txt,其中的庫包含(直接copy後以requirements.txt命名即可)

Pillow
requests
urllib3
bloom-filter
pymongo
mysql-connector
selenium
lxml
aiohttp
cssselect

2.清華鏡像源(以下載requests爲例)

  • 臨時使用(每次只能下載一個上面的包)
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple requests
  • √ 默認使用(升級 pip 到最新的版本 (>=10.0.0) 後進行配置),查看pip版本 pip -V
pip install pip -U #升級pip,如果大於10則無需此操作
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
  • 清華鏡像設置完成,一鍵安裝requirements.txt
pip install -r requirements.txt

注:

pypi 鏡像使用幫助(臨時使用 和 默認使用):https://mirrors.tuna.tsinghua.edu.cn/help/pypi/
 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章