pyalink的安裝和demo運行

Alink是基於Flink的通用算法平臺,Alink在github的網址:https://github.com/alibaba/Alink

在這裏插入圖片描述
也可以參照github官方提供的安裝指導方式,學習更多的參考官方地址。
1.window10下pyalink的安裝
pyalink的安裝使用python版本>=3.5,本文的python版本爲3.6.5,python3.6版本對應的 pyalink 包的下載地址:
https://alink-release.oss-cn-beijing.aliyuncs.com/v1.0.1/pyalink-1.0.1_flink_1.9.0_scala_2.11-py3.6.egg

下載完成後,使用easy_install命令安裝,

# 命令後面爲pyalink包的存放目錄位置
easy_install pyalink-1.0.1_flink_1.9.0_scala_2.11-py3.6.egg
# 進入python 之後導入模塊
python

安裝完成以後進入python的交互式環境,import pyalink模塊,測試是否會報錯,不報錯表明pyalink包安裝成功。
2.運行官方測試用例
官方提供了幾個jupyter notebook的demo可以選擇其中一個測試pyalink包的本地運行環境是否搭建完成,github地址:
https://github.com/alibaba/Alink/tree/master/pyalink
在這裏插入圖片描述
本文使用的首頁的測試代碼,導包之後創建運行本地的環境出現異常:

# 創建本地的運行環境
from pyalink.alink import *
resetEnv()
useLocalEnv(2)
# 讀取數據
source = CsvSourceBatchOp()\
    .setSchemaStr("sepal_length double, sepal_width double, petal_length double, petal_width double, category string")\
    .setFilePath("http://alink-dataset.cn-hangzhou.oss.aliyun-inc.com/csv/iris.csv")
res = source.select("sepal_length", "sepal_width")
df = res.collectToDataframe()
print(df)

異常代碼:主要是沒有安裝java的原因

AttributeError                            Traceback (most recent call last)
<ipython-input-7-29167b03c190> in <module>
      3 import sys,os
      4 resetEnv()
----> 5 useLocalEnv(2)

C:\ProgramData\Anaconda3\envs\bigdata\lib\site-packages\pyalink-1.0.1_flink_1.9.0_scala_2.11-py3.6.egg\pyalink\alink\env.pyc in useLocalEnv(parallelism, flinkHome, config)

C:\ProgramData\Anaconda3\envs\bigdata\lib\site-packages\pyalink-1.0.1_flink_1.9.0_scala_2.11-py3.6.egg\pyalink\alink\env.pyc in make_configuration(config)

AttributeError: 'NoneType' object has no attribute 'jvm'

安裝java之後重新運行就可以。
環境運行成功的示意圖:
在這裏插入圖片描述
數據的打印結果:
在這裏插入圖片描述

注意:安裝pylink包之前,要先安裝java和python的環境,Flink或者其他包的運行要依賴它們的環境。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章