業務場景:
1.使用spark建立數據pipeline,保存數據有float,業務需要4爲小數,類型爲float
問題描述:
hive表中數據類型爲float
1.hive表中float類型數據在spark中計算中精度缺失;
2.通過sqoop導出數據到sqlserver,hive中顯示4爲小數或科學記數法,sqlserver中顯示科學記數法或者15爲小數(使用hive on Spark 顯示時有相同問題)
此處省略一萬字。。。。。。
解決方案
1. 使用spark或hive處理完hive中處理完數據後,將保留小數後的數值轉換爲string類型(推薦),sqlserver中正常使用float類型
2. 使用hive處理完數據保存爲decimal(m,n)類型
注意: 使用