[Kaggle实战] Titanic 逃生预测 (2) - 数据预处理

Ctommy 2014-06-01

上一篇文章简要介绍了比赛的主题与将会使用到的数据集。

这一篇文章的主要任务是完成数据挖掘的第一步: 数据清理

完成数据清理的第一步,就是先把数据读到内存之中。在这里,我使用的是OpenCsv. 可以到这里下载。

OpenCSV的使用可以参考: http://opencsv.sourceforge.net/#how-to-read

其中我对比了SuperCSV 以及其他的,发现他们主要花精力在跟Bean mapping 上。暂时感觉不实用~

可能后面会换一个也说不定。

下面是我读取数据集的方法:

/** 
 * 从CSV文件之中读取数据
 * @param csv 存放数据的csv文件
 * @param skipHeader 是否略过表头
 * @return 数据集
 */
public static List<String[]> readDataFromCSV(File csv, Boolean skipHeader) {
    
    List<String[]> myEntries = new ArrayList<String[]>();;
    try {
        CSVReader reader = new CSVReader(new FileReader(csv));
        myEntries = reader.readAll();
        if(skipHeader) {
            myEntries.remove(0);
        }
    } catch (FileNotFoundException e) {
        e.printStackTrace();
    } catch (IOException e) {
        e.printStackTrace();
    }
    return myEntries;
}

 参考百度百科, 预处理包括如下几个步骤:

(1) 数据清理:填写缺失值,光滑噪声数据等等。 我们待会会首先清理数据

(2) 数据集成:将多个数据源合成同一个数据来源。在这里我们的来源只有1个csv文件,因此这一步免了~

(3) 数据变换:平滑聚集,数据概化等等。 我们将会对Age进行处理,将连续数据离散化。

(4) 数据规约: 目的是减小数据量,同时又不影响结果。在此我们的数据也就不到1000行~ 也不需要了~

好,先说说数据清理。

在我们的数据集之中,可以通过Excel来发现有哪些数据是缺失的。

首先给各个列加一个Filter


[Kaggle实战] Titanic 逃生预测 (2) - 数据预处理
 

之后在各个列的Filter下拉列表之后,如果有Blank选项,则这一列就有空值。如下图所示的Age列


[Kaggle实战] Titanic 逃生预测 (2) - 数据预处理

最终结果:Age, Cabin, Embarked字段有空值需要填充。

对于Age,我们使用中位数(Median)进行填充,

对于Cabin,由于这一列的值跟ID一样,几乎完全不同,而且缺失的值又非常多,因此这一列就略过不用。

对于Embarked,缺失的值也是用“Unknown”进行填充。为了简单起见,偶直接在Excel里面将缺失值写上“U”了。哈哈~


[Kaggle实战] Titanic 逃生预测 (2) - 数据预处理
 

为了将Age进行平均值填充,同时也需要将原来的String类型的值映射成数值型,在此使用Apache common Math 进行矩阵计算。

在进行矩阵计算之前,我们先人工分析一下Fare跟PClass的关系。理论上,船位等级越高,票价也越高。我们需要画一个图进行验证。

如果他们具有很强的线性关系,我们就应该将其中一个去除,以免浪费算力,甚至产生overfitting的情况

Java之中没有太好的画图工具,就使用JFreeChart吧~

[话说,简单的数值分析,Python R 确实要比Java方便多了]

先看看结果:


[Kaggle实战] Titanic 逃生预测 (2) - 数据预处理
 

在上面的图之中,横轴为旅客ID, 纵轴为Ration=Fare/Pclass

可以看出,对于Pclass=1的旅客,票价方差比较大,对于Pclass=2 or 3的旅客来说,分布/方差就小得多了。

那就让我们再看一张将P=1去除的散点图:

 
[Kaggle实战] Titanic 逃生预测 (2) - 数据预处理
 发现 P3 跟P2的分布其实蛮有规律的。比如P2的集中在12.5跟5.0两条线,而P3的基本上就在2.5这条线了~

因此,目测,Fare的影响不是非常明显。 

为了简单起见,暂时就将Fare这一列排除出去吧。

下面我们来看看SibSp这一列。

先看看原始数据吧:

0-609.0
1-210.0
2-29.0
3-17.0
4-19.0
5-6.0
6-1.0
7-1.0
8-8.0
9-1.0

 其中6 7 9 的原始数据都是0,为了处理方便,给全部数据初始化的时候都设置成1

明显,这是一个指数分布。0对应的数量超过了其他所有加起来的总和。这在最后处理的时候,会对结果造成非常明显的影响。因此,为了使得最后的处理比较准确,需要将≥2的数据进行聚集。并且对最后的数据进行log计算。计算结果如下:


[Kaggle实战] Titanic 逃生预测 (2) - 数据预处理
 结果还不错,呈线性啦!

对于Parch一列,总共也有6个值,但是整体上,跟SibSp的值呈线性关系,因此也暂时将这一列忽略!

现在我们回到前面跳过去的,给Age的缺失值用中位数填充

这部分具体看code吧:

public static double[][] dataClean(List<String[]> list) {
    double[][] dataMatrix = new double[list.size()][6];
    List<Double> ageList = new ArrayList<Double>();
    
    for(int i = 0; i < list.size(); i++){
        int colIndex = 0;
        String[] arr = list.get(i);
        // Survived
        dataMatrix[i][colIndex++] = Integer.parseInt(arr[1]);
        
        // Pclass
        dataMatrix[i][colIndex++] = Integer.parseInt(arr[2]);
        
        // Sex
        if(arr[4].equals("male")) {
            dataMatrix[i][colIndex++] = 1; 
        } else {
            dataMatrix[i][colIndex++] = 2;
        }
        
        // Age
        if(arr[5].length() == 0) {
            dataMatrix[i][colIndex++] = -1;		// 首先将缺失值设置为-1
        } else {
            dataMatrix[i][colIndex++] = Double.parseDouble(arr[5]);
            ageList.add(Double.parseDouble(arr[5]));
        }
        
        // SibSp  将值大于2的归集为同一类
        if(Integer.parseInt(arr[6]) >= 2 ) {
            dataMatrix[i][colIndex++] = 2;
        } else {
            dataMatrix[i][colIndex++] = Integer.parseInt(arr[6]);
        }
        
        // Embarked C:1 Q:2 S:3 U:4	 
        // 原始数据之中已经手动的将缺失值补充为U,不是CQS的值,也用4来代替
        String embarked = arr[11];
        if(embarked.equals("C")) {
            dataMatrix[i][colIndex++] = 1;
        } else if(embarked.equals("Q")) {
            dataMatrix[i][colIndex++] = 2;
        } else if(embarked.equals("S")) {
            dataMatrix[i][colIndex++] = 3;
        } else if(embarked.equals("U")) {
            dataMatrix[i][colIndex++] = 4;
        } else  {
            dataMatrix[i][colIndex++] = 4;
        } 
        
    }
    
    // 将Age=-1的值变成中位数
    double[] ageArr = new double[ageList.size()];
    for(int i = 0; i < ageArr.length; i++) {
        ageArr[i] = ageList.get(i);
    }
    double median = StatUtils.percentile(ageArr, 50.0);	//中位数
    for(int i = 0; i < dataMatrix.length; i++) {
        if(dataMatrix[i][3] == -1) {
            dataMatrix[i][3] = median;
        }
        System.out.println(dataMatrix[i][3]);
    }
    return dataMatrix;
}
 

处理的最终数据矩阵如下:(前10行)

[0.0,3.0,1.0,22.0,1.0,3.0]
[1.0,1.0,2.0,38.0,1.0,1.0]
[1.0,3.0,2.0,26.0,0.0,3.0]
[1.0,1.0,2.0,35.0,1.0,3.0]
[0.0,3.0,1.0,35.0,0.0,3.0]
[0.0,3.0,1.0,28.0,0.0,2.0]
[0.0,1.0,1.0,54.0,0.0,3.0]
[0.0,3.0,1.0,2.0,2.0,3.0]
[1.0,3.0,2.0,27.0,0.0,3.0]
[1.0,2.0,2.0,14.0,1.0,1.0]

关于Age的处理,还需要涉及到一个 连续属性离散化的问题。

这个具体会在下一篇进行实现。

相关推荐