小象爬虫第一周笔记

1.虚拟机原理

虚拟机本质是为了共享,但是具有隔离性,为了不让宿主机挂掉


2.虚拟机的安装

1.安装VirtualBox

2.在VirtualBox中

1.新建:填写名称、类型Linux-Ubantu64位

2.内存分配1-2G

3.使用已有的虚拟硬盘文件,选择Ubantu18.vdi文件

4.创建,然后选择启动,密码为xxxy

5.将ubantu充满整个虚拟机对话框,根据下图操作

①安装增强功能,安装更新VirtualBox Guest Additions(这一步好像可以省略,直接第二步)

②根目录下,找到media文件夹,进入目标文件夹 /media/用户名/VBox_GAs_6.0.4,文件夹中有VBoxLinuxAdditions.run,右键terminal,输入命令 

sudo ./VBoxLinuxAdditions.run

③安装完成,回车,命令行reboot重启


【注意】如果直接打开.vbox文件,则需要做修改

①在当前目录下打开命令行,输入VBoxManage internalcommands sethduuid “F:\xxx...\xxx.vdi”,修改vdi后来存在的路径,看到提示uuid已经改变

②按照下图操作,点击启动即可


3.anaconda的安装

因为在虚拟机内部下载清华镜像经常失败,于是我在windows上下载,通过共享文件夹做以连接

①windows新建一个文件夹作为共享文件夹 D:\VirtualBox Share

②虚拟机上设置共享文件夹

③在terminal上输入命令 “ sudo mount -t vboxsf  共享文件夹的名字 虚拟机的挂载点 ”

实际输入:

sudo mount -t vboxsf  VirtualBox_Share /mnt/

④在ubantu中的mnt文件夹可以找到共享的文件

⑤安装anaconda:输入命令:

bash Anaconda3-5.3.1-Linux-x86_64.sh

第一次yes同意license,回车,waiting... 第二次默认路径yes,第三次安装vscode选择no,vs自己下载,命令行太慢(移动热点+VPS很快?)

验证安装成功:

conda list

⑥如果删除anaconda:

rm -rf anaconda文件夹名

⑦如果没有配置环境变量,或者仍然显示系统默认版本,则需要更新一下.bashrc,输入

source ~/.bashrc

或者如下操作

sudo gedit ~/.bashrc

打开文件后在末尾添加

export PATH="/home/用户名/anaconda3/bin:$PATH"

 立即生效:

source ~/.bashrc

⑧conda安装包

conda install numpy

4.第一次运行python文件

①新建目录,新建py文件,输入语句,右键“run python file in terminal”

②还可以将当前目录保存为workplace


5.安装依赖

步骤:

1.用anaconda3中的 anaconda prompt命令,下载requirements.txt中的包,运行requirements.txt,其中的库包含(直接copy后以requirements.txt命名即可)

Pillow
requests
urllib3
bloom-filter
pymongo
mysql-connector
selenium
lxml
aiohttp
cssselect

2.清华镜像源(以下载requests为例)

  • 临时使用(每次只能下载一个上面的包)
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple requests
  • √ 默认使用(升级 pip 到最新的版本 (>=10.0.0) 后进行配置),查看pip版本 pip -V
pip install pip -U #升级pip,如果大于10则无需此操作
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
  • 清华镜像设置完成,一键安装requirements.txt
pip install -r requirements.txt

注:

pypi 镜像使用帮助(临时使用 和 默认使用):https://mirrors.tuna.tsinghua.edu.cn/help/pypi/
 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章