最近處理個需求需要在hive導出文件後用pandas進行處理生成個新的csv。
然後在read_csv時，遇到了這個跳過這以行的提醒，文件100行可能讀進dataframe中可能只剩下了8行，這是因爲在csv中的分隔符是',',在hive字段中如果有英文逗號就會在pandas轉成多列就不會讀進dataframe
解決方法：在hive -e進行重定向之前，將hive的對應字段進行一步清洗工作，比如translate(name,",","") as name,這樣在hive -e導出的csv讀取時就可以全部寫入dataframe不會少行了