python数据分析pandas中的DataFrame数据清洗

morexyoung 2019-11-01

pandas中的DataFrame中的空数据处理方法:

方法一:直接删除

1.查看行或列是否有空格(以下的df为DataFrame类型,axis=0,代表列,axis=1代表行,以下的返回值都是行或列索引加上布尔值)•   isnull方法    •           查看行:df.isnull().any(axis=1)  •           查看列:df.isnull().any(axis=0)•   notnull方法:•           查看行:df.notnull().all(axis=1)•           查看列:df.notnull().all(axis=0)例子:•   df.isnull().any(axis=1) # 检测行内是否有空值•           0     False•           1     True•           2    False•           3     True•           4    False•           5     True•           6    False•           7     True•           8    False•           9    False•           dtype: bool注意点:以上方法都可以用~取反的办法获取相反的结果2.在1的前提下使用df.loc[],可取出1中筛选出数据的具体数据如:•   df.loc[df.isnull().any(axis=1)]•   取出这几行的索引可用属性index如:df.loc[df.isnull().any(axis=1)].index•   得到这些索引后可以使用drop方法进行删除如:•       注意:drop方法中的axis值与其他方法相反,axis=0表示行,=1表示列。•       df.drop(labels=drop_index, axis=0) ?总结下来为4步:    一.使用isnull或notnull筛选:df.isnull().any(axis=0)    二.使用loc取出具体数据:df.loc[df.isnull().any(axis=1)]    三:取出这些数据的索引:df.loc[df.isnull().any(axis=1)].index    四.使用drop删除:df.drop(labels=drop_index, axis=0)
 

方法二:填充空值

步骤和方法一前几步相同    isnull()    notnull()    dropna(): 过滤丢失数据(df.dropna() 可以选择过滤的是行还是列(默认为行):axis中0表示行,1表示的列)    fillna(): 填充丢失数据(可以选择自主添加数据,或者用表中原有的数据进行补充)    1.使用dropna(不常用):df.dropna(axis=0)2.使用fillna(常用):    一.df.fillna(value=666)给所有的控制赋值为666    二.df.fillna(method=‘ffill‘, axis=0)  # axis=0表示在垂直方向填充(axis值:0为垂直,1为水平),使用上方的值对空值进行填充,组合起来就是,使用垂直方向上方的值对当前位置的值进行填充    三.df.fillna(method=‘bfill‘, axis=1)  # axis=1表示在水平方向填充(axis值为0垂直1为水平),bfill表示使用后面的值对空值进行填充,组合起来就是,使用水平方向右边的值对当前位置的值进行填充    总结:ffill(前)和bfill(后)决定前或后,axis决定垂直或水平

相关推荐