linux命令（殺任務，看日誌，查目錄大小，打包壓縮, pyspark json jar）

yarn application -list
yarn application -kill

hadoop job -list
hadoop job -kill

ps -ef | grep /home/xxx/project/run.sh
kill -s 9 18538

#查殺端口
#mac:
lsof -i :8008
#linux:
netstat -tln | grep 8008#端口號
kill 9 Pid

yarn logs -applicationId application_13200000000_341878 | less | grep 'error'

du -sh .[!.]* #目錄文件大小

top
free -h

tar zcvf FileName.tar.gz DirName #打包壓縮DirName
tar zxvf FileName.tar.gz DirName #解壓到路徑。。。下

#某些di表有複雜的解析結構時（可能有json，但不一定你用到），這時候需要此jar包
spark2-submit --jars /opt/cloudera/parcels/CDH/jars/json-serde-1.3.8-jar-with-dependencies.jar spark_demo.py

--jars /usr/hdp/2.6.5.0-292/spark/lib/json-serde-1.3.8-jar-with-dependencies.jar
export SPARK_MAJOR_VERSION=2