如何编写Python代码进行数据清洗实例分析？

本文共计2579个文字，预计阅读时间需要11分钟。

目录+数据读取与写入+CSV+TXT+数据清洗+时间处理+数据聚合+批量操作+数据合并+缺失值+横纵向数据转换+其他+数据读取与写入+CSV+针对CSV格式的数据，最简单的一种方法是使用pandas。

• 数据读入与写出
• csv
• txt
• 数据清洗
• 时间处理
• 数据聚合
• 批量操作
• 数据合并
• 缺失值
• 横向数据与纵向数据转换
• 其他

针对csv格式的数据，最简单的一种方法是用pandas中的read_csv方法，具体代码如下。其中第一个参数为待读入数据的路径，一个实用小技巧为./表示当前文件夹，../表示上层文件夹。这样如果待读入文件与代码文件在同一个文件夹下，可以节省掉很多层文件路径的输入。另外两个我较常用的参数为encoding和sep，其中encoding可指定数据UTF编码，sep为指定数据分隔符，默认为,，但我经常遇到以\t为分隔符的数据。如果你遇到了类似这样的报错ParserError: Error tokenizing data. C error: Expected 1 fields in line 57, saw 3，可以考虑下是不是分隔符不对。

import pandas as pd pd.read_csv('*.csv',encoding='gbk',sep='\t')

此外，有时候一个文件太大。其分别存储在不同文件中，甚至分开存储在不同文件夹下，这时就需考虑批量读取了。 在展示代码前，先介绍一下数据背景。