安装依赖
Euler的编译和启动依赖libhdfs.so
和libjvm.so
存在于$LD_LIBRARY_PATH
中
- 更新软件源缓存
apt-get update
- 安装JAVA以及HDFS客户端环境
apt-get install -y curl default-jre-headless
# 下面的步骤是安装HDFS客户端,对於单机用户而言下面的步骤可以参略
curl -O https://mirrors.aliyun.com/apache/hadoop/common/hadoop-2.9.2/hadoop-2.9.2.tar.gz
tar xf hadoop-2.9.2.tar.gz -C /usr/local
- 配置环境变量,在
bash_profile
文件中加入,然后source
export JAVA_HOME=/usr/lib/jvm/default-java
export LD_LIBRARY_PATH=$JAVA_HOME/lib/server:$LD_LIBRARY_PATH
export HADOOP_HOME=/usr/local/hadoop-2.9.2
export LIBRARY_PATH=$HADOOP_HOME/lib/native:$LIBRARY_PATH
export LD_LIBRARY_PATH=$HADOOP_HOME/lib/native:$LD_LIBRARY_PATH
export CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath --glob):$CLASSPATH
安装Euler
Euler目前仅支持Python2。用户可以选择从PyPI或者源码编译安装Euler:
从PyPI安装
- 安装Euler
apt-get install -y python python-pip
pip install euler-gl
目前PyPI上的wheel基于TensorFlow 1.12编译,仅能与TensorFlow 1.12二进制兼容。如需使用其他版本的TensorFlow需要重新编译。
其中在使用第一条命令的时候,安装的时候通常安装的pip
版本很低,所以建议使用下列方法安装pip
:
sudo apt-get remove python-pip
sudo apt-get autoremove
wget https://bootstrap.pypa.io/get-pip.py --no-check-certificate
sudo python get-pip.py
hash -r
这样安装的版本是最新的
但是我们在执行pip install euler-gl
仍然可能遇上一些问题
setuptools
的版本不够
我们可以使用如下命令进行setuptools
的版本升级:
pip install -U setuptools
six
包的安装问题
可以使用如下的命令:
pip install six --upgrade --ignore-installed six
如果希望尝试从源码安装、以及docker安装模式可以阅读官方的文档
运行实例
在官方文档中给出一个快速开始的案例,但是在导入embedding到Faiss中进行检索(可选) 可能会有一些错误,主要是安装faiss
版本的问题,这里建议使用conda
进行安装
conda install faiss-cpu -c pytorch