【Python】对DataFrame空值进行统计

【Python】Dataframe删除空值

现实中的数据,总是不理想的,比如说数据中有的列会存在缺失值。

缺失值太多的样本本身没有太多的信息,对训练模型就没有作用。同时,缺失值会影响模型,特别是使用度量相关的模型。如KNN和SVM。

### 统计数据每列的缺失数量
ListData.isnull().sum()
Out[11]: 
id                                    0
name                                  1
host_id                               0
host_name                             0
neighbourhood_group               28452
neighbourhood                         0
latitude                              0
longitude                             0
room_type                             0
price                                 0
minimum_nights                        0
number_of_reviews                     0
last_review                       11158
reviews_per_month                 11158
calculated_host_listings_count        0
availability_365                      0
dtype: int64

我们看的是缺失的占比,所以在这个的基础之上,我们可以在除一个样本数

ListData.isnull().sum()/ListData.shape[0]
Out[19]: 
id                                0.000000
name                              0.000035
host_id                           0.000000
host_name                         0.000000
neighbourhood_group               1.000000
neighbourhood                     0.000000
latitude                          0.000000
longitude                         0.000000
room_type                         0.000000
price                             0.000000
minimum_nights                    0.000000
number_of_reviews                 0.000000
last_review                       0.392169
reviews_per_month                 0.392169
calculated_host_listings_count    0.000000
availability_365                  0.000000
dtype: float64

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章