spark version : 2.0.0
已知
val df = spark.read.json("hdfs路徑")
df.createTempView("person")
如果執行
spark.sql("select * from person")
有如下表結構:
age | name |
---|---|
20 | aoge |
19 | mengmeng |
問題
但是在使用df.filter()時出現了一點小困惑
以下任意一條語句都是可以執行的
df.filter($"age">10)
df.filter($"age">=20)
df.filter($"age">=20 && $"age"<=20)
但是以下任意一條語句都是執行不了的
df.filter($"age"=20)
df.filter($"age"!=20)
df.filter($"age"==20)
df.filter($"age"<>20)
結論
可能在2.0版本下, filter()是不支持識別=的吧(?) (並不嚴謹