問題一般是spark的java版本與作業編譯的java版本不一致,建議將本地java版本改爲與spark一致的版本,目前集羣是1.7.0。
各JDK版本對應的版本數字編號如下所示:
J2SE 8 = 52,
J2SE 7 = 51,
J2SE 6.0 = 50,
J2SE 5.0 = 49,
JDK 1.4 = 48,
JDK 1.3 = 47,
JDK 1.2 = 46,
JDK 1.1 = 45
解決方法:
->安裝jdk1.8
->下載對應位數的jdk,解壓,移動到/usr/local/java下
->修改/etc/profile文件java -version還是1.7
->配置軟連接
sudo update-alternatives --install /usr/bin/java java /usr/local/java/jdk1.8.0_201/bin/java 300
sudo update-alternatives --install /usr/bin/javac javac /usr/local/java/jdk1.8.0_201/bin/javac 300
->切換Java版本
sudo update-alternatives --config java
sudo update-alternatives --config javac
->java -version顯示1.8版本
->進入spark安裝目錄 bin/pyspark正常進入spark shell