與RDD類似,DataFrame也是一個分佈式數據容器。然而DataFrame更像傳統數據庫的二維表格,除了數據以外,還記錄數據的結構信息,即schema。
同時,與Hive類似,DataFrame也支持嵌套數據類型(struct、array和map)。
從API易用性的角度上 看,DataFrame API提供的是一套高層的關係操作,比函數式的RDD API要更加友好,門檻更低。由於與R和Pandas的DataFrame類似,Spark DataFrame很好地繼承了傳統單機數據分析的開發體驗。