在使用Intellij IDEA,local模式下運行Spark程序時,會在Run窗口打印出很多INFO信息,輔助信息太多可能會將有用的信息掩蓋掉。如下所示
要解決這個問題,主要是要正確設置好log4j文件,本文主要分析如何在local模式下,將Spark的INFO信息隱藏,不影響程序中的結果輸出。
1、將spark根目錄下的log4j.properties文件複製到Intellij IDEA的src路徑下
此時項目結構如下圖所示:
2、修改log4j.properties文件的內容
將第一行的log4j.rootCategory=INFO, console
改成log4j.rootCategory=ERROR, console
,只顯示ERROR級別的日誌。
再次運行該代碼,可以看到INFO信息已經消失