IntWritable 实现了 WritableComparable 接口 ,后者是 Writable 与java.lang.Comprable 接口的子接口
package org.apache.hadoop.io;
public interface WritableComparable<T> extends Writable,Comparable<T> {}
Hadoop 优化比对,不需要反序列化即可比较。
package org.apache.hadoop.io;
import java.util.Comparator;
public interface RawComparator<T> extends Comparator<T> {
public int compare( byte [] b1, int s1, int l1, byte [] b2, int s2, int l2);
}
WritableComparator 是一个 RawComparator 通用的实现 ,为WritableComparable classes.
它做了两件事
1.实现了 compare() 方法(返序列化)
2.它充当的是 RawComparator 的工厂类
Hadoop 自带的序列化接口
实现了 WritableComparable 接口的类:
基础: BooleanWritable | ByteWritable
数字: IntWritable | VIntWritable | FloatWritable | LongWritable |VLongWritable | DoubleWritable
高级: NullWritable | Text | BytesWritable | MDSHash | ObjectWritable |GenericWritable
仅实现了 Writable 接口的类:
数组: ArrayWritable | TwoDArrayWritable
映射: AbstractMapWritable | MapWritable | SortedMapWritable
•Text
Text是UTF-8的Writable。可以将它理解为一种与java.lang.String 相类似的Writable。Text类代替了UTF-8类。
Text是可变的,其值可以通过调用set()方法来改变。最大存储是2GB。
•NullWritable
NullWritable是一种特殊的Writable类型,因为它的序列化的长度是零。可以做占位符。
•BytesWritable BytesWritable 是一个二进制的数据数组封装。它的序列化格式是一个int字段.
BytesWritable是可变的,其值可以通过调用set()方法来改变。
•ObjectWriable
ObjectWriable 适用于字段可以使用多种类型时。
•Writable集合
一共 四种:
ArrayWritable和TwoDArrayWritable是针对数组与二维数组
MapWritable和SortededMapWritable 针对是Map与SortMap
•实现WritableComparable
•实现
/** * 将对象转换为字节流并写入到输出流out中 */
write()
/** * 从输入流in 中读取字节流并反序列化为对象 */
readFields(),
/** * 将this对像与对象O比较*/
compareTo()方法。
第四部分:基于文件的数据结构
SequeceFile是Hadoop API提供的一种二进制文件支持。这种二进制文件直接将<key, value>对序列化到文件中。一般对小文件可以使用这种文件合并,即将文件名作为key,文件内容作为value序列化到大文件中 Key是任意的Writable,Value是任意的Writable我们可以实现将许多小文件转化为SequenceFile,以方便Map/Reduce处理实际上,现在Hadoop处理时,都会将数据转为SequenceFile格式,无论是性能还是压缩上的考量。
这种文件格式 有以下好处:
A.支持压缩,且可定制为基于Record或Block压缩(Block级压缩性能较优)
B.本地化任务支持:因为文件可以被切分,因此MapReduce任务时数据的本地化情况应该是非常好的。
C.难度低:因为是Hadoop框架提供的API,业务逻辑侧的修改比较简单。
步骤:
1. 设置 Configuration
2. 获取 File System
3. 设置文件输出路径
4. SequenceFile.createWriter 创建 SequenceFile.Writer 然后写入
5. 调用 SequenceFile.Writer .append 追加写入
6. 关闭流
读 SequenceFile
步骤:
1. 设置 Configuration
2. 获取 File System
3. 设置文件输出路径
4. SequenceFile.Reader 创建读取类 SequenceFile.Reader
5. 拿到 Key 与 Value 的 class
6. 读取
通过命令行读写 SequenceFile
步骤:
1. 设置 Configuration
2. 获取 File System
3. 设置文件输出路径
4. SequenceFile.Reader 创建读取类 SequenceFile.Reader
5. 拿到 Key 与 Value 的 class
6. 读取
MapFile
MapFile 是经过排序的带索引的 SequenceFile ,可以根据键值进行查找 .
由两部分组成,分别是 data 和 index 。 index 作为文件的数据索引,主要记录了每个 Record 的 key 值,以及该 Record 在文件中的偏移位置。在 MapFile 被访问的时候 , 索引 文件会被加载到内存,通过索引映射关系可迅速定位到指定Record 所在文件位置, 因此,相对 SequenceFile 而言, MapFile 的检索效率是高效的,缺点是会消耗一部分 内存来存储 index 数据 .
需注意的是, MapFile 并不会把所有 Record 都记录到 index 中去,默认情况下每 隔 128 条记录存储一个索引映射。当然,记录间隔可人为修改,通过MapFIle.Writer 的 setIndexInterval() 方法,或修改 io.map.index.interval 属性;
另外,与 SequenceFile 不同的是, MapFile 的 KeyClass 一定要实现WritableComparable 接口 , 即 Key 值是可比较的。