SparkUI是個好東西,可以很清楚的看到集羣中的幾個worker節點
還能看到每個worker節點的CPU核數和內存 甚至還能看一個job作業運行的時候哪些executor運行,哪些節點運行和本地性級別!
例如:
再點擊每個worker節點
我們通過spark-shell運行作業,要想查看通過sparkshell運行的作業可以點擊spark-shell
如果想看每個作業的詳細信息可以點擊描述:
再點擊描述
SparkUI是個好東西,可以很清楚的看到集羣中的幾個worker節點
還能看到每個worker節點的CPU核數和內存 甚至還能看一個job作業運行的時候哪些executor運行,哪些節點運行和本地性級別!
例如:
再點擊每個worker節點
我們通過spark-shell運行作業,要想查看通過sparkshell運行的作業可以點擊spark-shell
如果想看每個作業的詳細信息可以點擊描述:
再點擊描述