需求:
運行時log打印太多,以至於找不到有用信息,需要減少log量
解決:
import org.apache.log4j._ object SparkStatFormatJob { Logger.getLogger("org").setLevel(Level.ERROR) }
較早版本的spark也可以用
val sc = new SparkContext(conf) sc.setLogLevel("ERROR")
需求:
運行時log打印太多,以至於找不到有用信息,需要減少log量
解決:
import org.apache.log4j._ object SparkStatFormatJob { Logger.getLogger("org").setLevel(Level.ERROR) }
較早版本的spark也可以用
val sc = new SparkContext(conf) sc.setLogLevel("ERROR")