本文转载自公众号：大数据学习与分享
Spark SQL为了更好的性能，在读写Hive metastore parquet格式的表时，会默认使用自己的Parquet SerDe，而不是采用Hive的SerDe进行序列化和反序列化。该行为可以通过配置参数spark.sql.hive.convertMetastoreParquet进行控制，默认true。
这里从表schema的处理角度而言，就必须注意Hive和Parquet兼容性，主要有两个区别：
1.Hive是大小写敏感的，但Parquet相反
2.Hive会将所有列视为nullable，但是nullability在parquet里有独特的意义
由于上面的原因，在将Hive metastore parquet转化为Spark SQL parquet时，需要兼容处理一下Hive和Parquet的