linux命令（杀任务，看日志，查目录大小，打包压缩, pyspark json jar）

yarn application -list
yarn application -kill

hadoop job -list
hadoop job -kill

ps -ef | grep /home/xxx/project/run.sh
kill -s 9 18538

#查杀端口
#mac:
lsof -i :8008
#linux:
netstat -tln | grep 8008#端口号
kill 9 Pid

yarn logs -applicationId application_13200000000_341878 | less | grep 'error'

du -sh .[!.]* #目录文件大小

top
free -h

tar zcvf FileName.tar.gz DirName #打包压缩DirName
tar zxvf FileName.tar.gz DirName #解压到路径。。。下

#某些di表有复杂的解析结构时（可能有json，但不一定你用到），这时候需要此jar包
spark2-submit --jars /opt/cloudera/parcels/CDH/jars/json-serde-1.3.8-jar-with-dependencies.jar spark_demo.py

--jars /usr/hdp/2.6.5.0-292/spark/lib/json-serde-1.3.8-jar-with-dependencies.jar
export SPARK_MAJOR_VERSION=2