0038-如何在CDH集羣安裝Anaconda&搭建Python私有源

原創 Hadoop實操 2018-11-24 02:48

溫馨提示：要看高清無碼套圖，請使用手機打開並單擊圖片放大查看。

1.文檔編寫目的

Anaconda是一個用於科學計算的Python發行版，支持 Linux, Mac, Windows系統，提供了包管理與環境管理的功能，可以很方便地解決多版本python並存、切換以及各種第三方包安裝問題。

在企業集羣無外網環境下，通過搭建企業私有的Python源，可以使用pip工具方便的安裝，以解決Anaconda環境中沒有的依賴包的問題。

本文檔講述如何在CDH集羣離線安裝Anaconda、搭建Python私有源及pip工具使用。

  • 內容概述

1.如何在CDH集羣上安裝Anaconda

2.如何搭建python私有源

3.pip工具的使用

  • 測試環境

1.操作系統：CentOS6.5

2.CM和CDH版本爲5.12.1

3.採用root用戶操作

  • 前置條件

1.CDH集羣運行正常

2.Apache服務正常運行

2.CDH集羣安裝Anaconda

使用Parcel包的方式在CDH集羣安裝Anaconda，下載地址：

https://repo.continuum.io/pkgs/misc/parcels/

根據自己操作系統版本選擇Parcel包，本文檔是在CentOS6.5版本下操作

2.1部署Anaconda的Parcel包http訪問

1.下載Anaconda的Parcel包，下載地址如下

https://repo.continuum.io/pkgs/misc/parcels/Anaconda-4.2.0-el6.parcel
https://repo.continuum.io/pkgs/misc/parcels/Anaconda-4.2.0-el6.parcel.sha
https://repo.continuum.io/pkgs/misc/parcels/manifest.json

2.將上述3個文件下載至HTTP所在服務器的/var/×××w/html/anaconda4.2.0目錄下

[root@ip-172-31-6-148 html]# mkdir -p anaconda4.2.0/
[root@ip-172-31-6-148 html]# cd anaconda4.2.0/
[root@ip-172-31-6-148 anaconda4.2.0]# ll
total 541416
-rw-r--r-- 1 root root 554396033 Jun 19 17:47 Anaconda-4.2.0-el6.parcel
-rw-r--r-- 1 root root        41 Jul  7 19:43 Anaconda-4.2.0-el6.parcel.sha
-rw-r--r-- 1 root root      3890 Jul  7 19:43 manifest.json
[root@ip-172-31-6-148 anaconda4.2.0]#

0038-如何在CDH集羣安裝Anaconda&搭建Python私有源

3.驗證http是否正常訪問

0038-如何在CDH集羣安裝Anaconda&搭建Python私有源

2.2安裝Anaconda

1.配置Anaconda的parcels包訪問地址

0038-如何在CDH集羣安裝Anaconda&搭建Python私有源

0038-如何在CDH集羣安裝Anaconda&搭建Python私有源

2.點擊下載、分配並激活

0038-如何在CDH集羣安裝Anaconda&搭建Python私有源

2.3配置Anaconda環境變量

Anaconda默認安裝在/opt/cloudera/parcels/Anaconda目錄，在集羣所有節點配置Anaconda的環境變量，操作如下：

  1. 使用root用戶或有sudo權限用戶編輯/etc/profile文件，在文件末尾增加如下配置
export ANACONDA_HOME=/opt/cloudera/parcels/Anaconda
export PATH=$ANACONDA_HOME/bin:$PATH

0038-如何在CDH集羣安裝Anaconda&搭建Python私有源

2.執行source命令，使環境變量立即生效

[root@ip-172-31-6-148 anaconda4.2.0]# source /etc/profile

3.驗證環境變量是否配置成功

[root@ip-172-31-6-148 anaconda4.2.0]# python
Python 2.7.12 |Anaconda 4.2.0 (64-bit)| (default, Jul  2 2016, 17:42:40) 
[GCC 4.4.7 20120313 (Red Hat 4.4.7-1)] on linux2
Type "help", "copyright", "credits" or "license" for more information.
Anaconda is brought to you by Continuum Analytics.
Please check out: http://continuum.io/thanks and https://anaconda.org
>>>

0038-如何在CDH集羣安裝Anaconda&搭建Python私有源

3.搭建Pyton私有源

  • 前置準備：

1.下載pip2pi安裝包，下載地址：

https://codeload.github.com/wolever/pip2pi/zip/master

2.下載Python源碼依賴包（tar.gz/zip/whl等格式安裝包）

3.1安裝pip2pi工具

  1. 將下載的pip2pi源碼包上傳至服務器，並解壓
[root@ip-172-31-6-148 ~]# unzip master

0038-如何在CDH集羣安裝Anaconda&搭建Python私有源

2.使用Python命令安裝pip2pi

[root@ip-172-31-6-148 python]# cd pip2pi-master/
[root@ip-172-31-6-148 pip2pi-master]# ll
total 44
-rw-r--r-- 1 root root 2797 Mar 19 15:51 CHANGELOG.txt
drwxr-xr-x 2 root root 4096 Mar 19 15:51 libpip2pi
-rw-r--r-- 1 root root 1649 Mar 19 15:51 LICENSE.txt
-rw-r--r-- 1 root root   19 Mar 19 15:51 MANIFEST.in
-rw-r--r-- 1 root root 5080 Mar 19 15:51 README.rst
-rwxr-xr-x 1 root root   84 Mar 19 15:51 run-tests
-rw-r--r-- 1 root root   20 Mar 19 15:51 setup.cfg
-rw-r--r-- 1 root root 1422 Mar 19 15:51 setup.py
drwxr-xr-x 5 root root 4096 Mar 19 15:51 tests
-rw-r--r-- 1 root root  194 Mar 19 15:51 tox.ini
[root@ip-172-31-6-148 pip2pi-master]# python setup.py install

0038-如何在CDH集羣安裝Anaconda&搭建Python私有源

3.測試pip2pi和dir2pi命令是否安裝成功

0038-如何在CDH集羣安裝Anaconda&搭建Python私有源

0038-如何在CDH集羣安裝Anaconda&搭建Python私有源

3.2部署依賴包

  1. 在http服務器的/var/×××w/html目錄下新建python-packages目錄
[root@ip-172-31-6-148 html]# mkdir python-packages
[root@ip-172-31-6-148 html]# pwd
/var/×××w/html
[root@ip-172-31-6-148 html]# ll
total 32
drwxr-xr-x 2 root root 4096 Sep 11 15:52 python-packages
[root@ip-172-31-6-148 html]#

0038-如何在CDH集羣安裝Anaconda&搭建Python私有源

2.將本地下載的Python依賴包上傳至服務器的/var/×××w/html/python-packages目錄

[root@ip-172-31-6-148 python-packages]# ll
total 1780
-rw-r--r-- 1 root root   2421 Sep 24  2016 bit_array-0.1.0.tar.gz
-rw-r--r-- 1 root root   1254 Sep 12 07:18 enum-compat-0.0.2.tar.gz
-rw-r--r-- 1 root root 339017 Sep 12 07:27 pymongo-3.3.0-cp27-cp27mu-manylinux1_x86_64.whl
-rw-r--r-- 1 root root 368294 Sep 12 07:25 pymongo-3.5.1-cp27-cp27mu-manylinux1_x86_64.whl
-rw-r--r-- 1 root root 799601 Sep 12 07:04 Routes-1.12.3.tar.gz
-rw-r--r-- 1 root root  30409 Apr 23  2016 sasl-0.2.1.tar.gz
-rw-r--r-- 1 root root  29630 Apr 21  2016 six-1.10.0.tar.gz
-rw-r--r-- 1 root root  87832 Jan 14  2017 thrift-0.10.0.zip
-rw-r--r-- 1 root root   3885 Jun  9  2016 thrift_sasl-0.2.1.tar.gz
-rw-r--r-- 1 root root 140861 Dec  3  2016 ym-impyla-0.14.0.tar.gz

0038-如何在CDH集羣安裝Anaconda&搭建Python私有源

3.使用dir2pi命令建立包索引

[root@ip-172-31-6-148 python-packages]# dir2pi /var/×××w/html/python-packages/
[root@ip-172-31-6-148 python-packages]# ll
total 1784
-rw-r--r--  1 root root   2421 Sep 24  2016 bit_array-0.1.0.tar.gz
-rw-r--r--  1 root root   1254 Sep 12 07:18 enum-compat-0.0.2.tar.gz
-rw-r--r--  1 root root 339017 Sep 12 07:27 pymongo-3.3.0-cp27-cp27mu-manylinux1_x86_64.whl
-rw-r--r--  1 root root 368294 Sep 12 07:25 pymongo-3.5.1-cp27-cp27mu-manylinux1_x86_64.whl
-rw-r--r--  1 root root 799601 Sep 12 07:04 Routes-1.12.3.tar.gz
-rw-r--r--  1 root root  30409 Apr 23  2016 sasl-0.2.1.tar.gz
drwxr-xr-x 11 root root   4096 Sep 12 08:06 simple
-rw-r--r--  1 root root  29630 Apr 21  2016 six-1.10.0.tar.gz
-rw-r--r--  1 root root  87832 Jan 14  2017 thrift-0.10.0.zip
-rw-r--r--  1 root root   3885 Jun  9  2016 thrift_sasl-0.2.1.tar.gz
-rw-r--r--  1 root root 140861 Dec  3  2016 ym-impyla-0.14.0.tar.gz
[root@ip-172-31-6-148 python-packages]#

0038-如何在CDH集羣安裝Anaconda&搭建Python私有源

4.驗證Http是否正常訪問，訪問地址

http://ip-172-31-6-148.fayson.com/python-packages/simple/

0038-如何在CDH集羣安裝Anaconda&搭建Python私有源

至此Python的私有源服務器搭建完成。

3.3配置pip命令使用私有源

1.在當前用戶的home目錄（即“~”）目錄，創建.pip目錄

[root@ip-172-31-6-148 ~]# mkdir -p .pip
[root@ip-172-31-6-148 ~]# pwd
/root
[root@ip-172-31-6-148 ~]#

2.在~/.pip目錄下新建pip.conf文件，文件內容如下

[root@ip-172-31-6-148 ~]# cd .pip/
[root@ip-172-31-6-148 .pip]# pwd
/root/.pip
[root@ip-172-31-6-148 .pip]# vim pip.conf 
[global]
index-url = http://ip-172-31-6-148.fayson.com/python-packages/simple
[install]
trusted-host = ip-172-31-6-148.fayson.com

0038-如何在CDH集羣安裝Anaconda&搭建Python私有源

3.測試pip命令是否從私有源下載依賴包

[root@ip-172-31-6-148 .pip]# pip install bit-array
Collecting bit-array
  Downloading http://ip-172-31-6-148.fayson.com/python-packages/simple/bit-array/bit-array-0.1.0.tar.gz
Building wheels for collected packages: bit-array
  Running setup.py bdist_wheel for bit-array ... done
  Stored in directory: /root/.cache/pip/wheels/7a/7f/04/3bdc776730b06ce5bedd46f9023d263a32f82941e1365a054f
Successfully built bit-array
Installing collected packages: bit-array
Successfully installed bit-array-0.1.0
[root@ip-172-31-6-148 .pip]#

0038-如何在CDH集羣安裝Anaconda&搭建Python私有源

可以看到上圖標註部分顯示從剛搭建好的源下載依賴包。

4.pip使用

1.指定版本安裝package

 [root@ip-172-31-6-148 ~] pip install SomePackage            # 最新版本 
[root@ip-172-31-6-148 ~] pip install SomePackage==1.0.4     # 具體的版本
[root@ip-172-31-6-148 ~] pip install 'SomePackage>=1.0.4'     # 最低版本

2.批量安裝packages

創建文本文件requirements.txt，內容如下

[root@ip-172-31-6-148 ~]# vim requirements.txt
six
bit_array
thrift==0.10.0

使用pip批量安裝

[root@ip-172-31-6-148 ~]# pip install -r requirements.txt 
Collecting six (from -r requirements.txt (line 1))
Collecting bit_array (from -r requirements.txt (line 2))
Collecting thrift==0.10.0 (from -r requirements.txt (line 3))
  Downloading http://ip-172-31-6-148.fayson.com/python-packages/simple/thrift/thrift-0.10.0.zip (87kB)
    100% |████████████████████████████████| 92kB 58.1MB/s 
Building wheels for collected packages: thrift
  Running setup.py bdist_wheel for thrift ... done
  Stored in directory: /root/.cache/pip/wheels/21/53/2d/121a953df877103ba4f2fe9041be0d28d6979438c6dd7b2b15
Successfully built thrift
Installing collected packages: six, bit-array, thrift
Successfully installed bit-array-0.1.0 six-1.10.0 thrift-0.10.0
[root@ip-172-31-6-148 ~]#

0038-如何在CDH集羣安裝Anaconda&搭建Python私有源

3.輸出當前python環境安裝的所有package及版本到指定文件

[root@ip-172-31-6-148 ~]# pip freeze > requirements.txt

0038-如何在CDH集羣安裝Anaconda&搭建Python私有源

4.卸載package

[root@ip-172-31-6-148 ~]# pip uninstall six

0038-如何在CDH集羣安裝Anaconda&搭建Python私有源

5.列出當前Python環境安裝的所有package

[root@ip-172-31-6-148 ~]# pip list --format=columns
Package                            Version                
---------------------------------- -----------------------
alabaster                          0.7.9                  
anaconda-clean                     1.0                    
anaconda-client                    1.5.1                  
anaconda-navigator                 1.3.1                  
argcomplete                        1.0.0                  
astroid                            1.4.7                  
astropy                            1.2.1                  
Babel                              2.3.4                  
backports-abc                      0.4

0038-如何在CDH集羣安裝Anaconda&搭建Python私有源

6.查看安裝的package詳細信息

[root@ip-172-31-6-148 ~]# pip show six
Name: six
Version: 1.10.0
Summary: Python 2 and 3 compatibility utilities
Home-page: http://pypi.python.org/pypi/six/
Author: Benjamin Peterson
Author-email: [email protected]
License: MIT
Location: /opt/cloudera/parcels/Anaconda-4.2.0/lib/python2.7/site-packages
Requires: 
[root@ip-172-31-6-148 ~]#

0038-如何在CDH集羣安裝Anaconda&搭建Python私有源

5.備註

package下載方式

在本地安裝pip2pi工具，可以通過pip2tgz命令批量下載package

  1. 在本地創建requirements.txt文件，內容如下
six
bit_array
thrift==0.10.0

由於pip2tgz是通過將參數傳遞給pip調用來完成包的下載，所以可以指定任何pip可以識別的參數格式。

2.使用pip2tgz命令進行批量下載

[root@ip-172-31-6-148 .pip]# pip2tgz /root/python/ -r /root/requirements.txt

0038-如何在CDH集羣安裝Anaconda&搭建Python私有源

注意：pip命令默認使用的是國外的源下載package，如果國外源不穩定則可以參考3.3章節配置國內源。

6.常見問題

  1. 搭建完Python私有源，pip安裝package時報錯
[root@ip-172-31-6-148 .pip]# pip install six
Collecting six
  The repository located at ip-172-31-6-148.fayson.com is not a trusted or secure host and is being ignored. If this repository is available via HTTPS it is recommended to use HTTPS instead, otherwise you may silence this warning and allow it anyways with '--trusted-host ip-172-31-6-148.fayson.com'.
  Could not find a version that satisfies the requirement six (from versions: )
No matching distribution found for six
[root@ip-172-31-6-148 .pip]#

解決方法：

在pip.conf文件中增加如下配置：

trusted-host = ip-172-31-6-148.fayson.com

0038-如何在CDH集羣安裝Anaconda&搭建Python私有源

醉酒鞭名馬，少年多浮誇！ 嶺南浣溪沙，嘔吐酒肆下！摯友不肯放，數據玩的花！
溫馨提示：要看高清無碼套圖，請使用手機打開並單擊圖片放大查看
0038-如何在CDH集羣安裝Anaconda&搭建Python私有源

發表評論
所有評論
還沒有人評論，想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章

centos 6.8下 CDH5.13.3安裝與配置（詳細部署）

jxzhfei 2019-02-22 19:41:22

Hadoop管理員的十個最佳實踐

zhouyuqin3510 2019-02-22 16:25:38

0026-Hive使用十六進制分隔符異常分析

Hadoop實操 2019-02-22 13:34:44

0031-如何在CDH啓用Kerberos的情況下安裝及使用Sentry(一)

Hadoop實操 2019-02-22 13:34:40

安裝cdh時啓動spark一個坑

知者不言 2018-12-01 13:03:33

0040-如何重置Cloudera Manager的admin密碼

Hadoop實操 2018-11-25 02:02:52

0039-如何使用Python Impyla客戶端連接Hive和Impala

Hadoop實操 2018-11-24 02:48:52

0037-如何在Windows Server2008搭建DNS服務並配置泛域名解析

Hadoop實操 2018-11-24 02:48:52

0034-CM啓動報InnoDB engine not found分析

Hadoop實操 2018-11-24 02:48:52

0033-如何在Hue中使用Sentry

Hadoop實操 2018-11-24 02:48:52

0035-如何使用Sentry管理Hive外部表（補充）

Hadoop實操 2018-11-24 02:48:52

0036-如何通過CM API優雅的獲取元數據庫密碼

Hadoop實操 2018-11-24 02:48:52

0031-如何在CDH啓用Kerberos的情況下安裝及使用Sentry(一)

Hadoop實操 2018-11-23 02:09:18

0032-如何在CDH啓用Kerberos的情況下安裝及使用Sentry(二)

Hadoop實操 2018-11-23 02:09:18

0030-如何在CDH中安裝Kudu&Spark2&Kafka

Hadoop實操 2018-11-21 02:07:52