spark scala 對dataframe進行過濾----filter方法使用

val df = sc.parallelize(Seq(("a", 1), ("a", 2), ("b", 2), ("b", 3), ("c", 1))).toDF("id", "num")
對整數類型過濾
邏輯運算符：>, <, ===
df.filter($"num"===2)
df.filter($"num">2)
df.filter($"num"<2)

或者
df.filter("num=2")
df.filter("num>2")
df.filter("num<2")

傳遞參數過濾
val ind:Int=2;
df.filter($"num"===ind)
df.filter($"num">ind)
df.filter($"num"<ind)

對字符串過濾

df.filter($"id".equalTo("a"))

傳遞參數過濾

val str = s"a"

df.filter($"id"equalTo(str))

當dataframe沒有字段名時，可以用默認的字段名[_1, _2, .....]來進行判斷

多條件判斷

邏輯連接符 &&（並）、||（或）

df.filter($"num"===2 && $"id".equalTo("a")

df.filter($"num"===1 || $"num"===3)
---------------------
作者：supersalome
來源：CSDN
原文：https://blog.csdn.net/supersalome/article/details/78849581
版權聲明：本文爲博主原創文章，轉載請附上博文鏈接！