高可用性的HDFS—Hadoop分布式文件系统深度实践

《高可用性的HDFS—Hadoop分布式文件系统深度实践》

基本信息

作者：文艾王磊

出版社：清华大学出版社

ISBN：9787302282587

上架时间：2012-5-14

出版日期：2012年5月

开本：16开

页码：371

版次：1-1

更多详情》》》高可用性的HDFS—Hadoop分布式文件系统深度实践

内容简介

计算机书籍

《高可用性的hdfs—hadoop分布式文件系统深度实践》专注于hadoop分布式文件系统（hdfs）的主流ha解决方案，内容包括：hdfs元数据解析、hadoop元数据备份方案、hadoopbackupnode方案、avatarnode解决方案以及最新的ha解决方案cloudreahanamenode等。其中有关backupnode方案及avatarnode方案的内容是本书重点，尤其是对avatarnode方案从运行机制到异常处理方案的步骤进行了详尽介绍，同时还总结了各种异常情况下avatarnode的各种处理方案。

《高可用性的hdfs—hadoop分布式文件系统深度实践》从代码入手并结合情景分析、案例解说对hdfs的元数据以及主流的hdfsha解决方案的运行机制进行了深入剖析，力求使读者在解决问题时做到心中有数，不仅知其然还知其所以然。

本书光盘包含本书部分操作的视频教程以及所有源代码、脚本等开发文件。

《高可用性的hdfs—hadoop分布式文件系统深度实践》读者主要为云计算相关领域的研发人员、云计算系统管理维护人员，也适合作为高校研究生和高年级本科生的专业课辅助教材。

目录

《高可用性的hdfs—hadoop分布式文件系统深度实践》

第1章hdfsha及解决方案1

1.1hdfs系统架构2

1.2ha定义3

1.3hdfsha原因分析及应对措施4

1.3.1可靠性4

1.3.2可维护性5

1.4现有hdfsha解决方案5

1.4.1hadoop的元数据备份方案6

1.4.2hadoop的secondarynamenode方案7

1.4.3hadoop的checkpointode方案7

1.4.4hadoop的backupnode方案8

1.4.5drdb方案9

1.4.6facebook的avatarnode方案10

1.5方案优缺点比较10

第2章hdfs元数据解析13

2.1概述14

2.2内存元数据结构14

2.2.1inode15

2.2.2block16

.2.2.3blockinfo和datanodedescriptor17

2.2.4小结17

2.2.5代码分析——元数据结构18

2.3磁盘元数据文件24

2.4format情景分析27

2.5元数据应用场景分析45

第3章hadoop的元数据备份方案47

3.1运行机制分析48

3.1.1namenode启动加载元数据情景分析50

3.1.2元数据更新及日志写入情景分析64

3.1.3checkpoint过程情景分析73

3.1.4元数据可靠性机制109

3.1.5元数据一致性机制110

3.2使用说明110

第4章hadoop的backupnode方案113

4.1backupnode概述114

4.1.1系统架构115

4.1.2使用原则115

4.1.3优缺点116

4.2运行机制分析116

4.2.1启动流程117

4.2.2元数据操作情景分析141

4.2.3日志池（journalspool）机制151

4.2.4故障切换机制156

4.3实验方案说明158

4.4构建实验环境158

4.4.1网络拓扑159

4.4.2系统安装及配置160

4.4.3安装jdk170

4.4.4虚拟机集群架设171

4.4.5namenode安装及配置173

4.4.6backupnode安装及配置173

4.4.7datanode安装及配置174

4.4.8clients安装及配置175

4.5异常解决方案175

4.5.1异常情况分析175

4.5.2namenode配置175

4.5.3backupnode配置182

4.5.4datanode配置185

4.5.5namenode宕机切换实验189

4.5.6namenode宕机读写测试196

第5章avatarnode运行机制205

5.1方案说明206

5.1.1系统架构206

5.1.2思路分析208

5.1.3性能数据209

5.2元数据分析209

5.2.1类fsnamesystem210

5.2.2类fsdirectory210

5.2.3avatarnode的磁盘元数据文件211

5.3avatarnodeprimary启动过程211

5.4avatarnodestandby启动过程217

5.4.1avatarnode的构造方法217

5.4.2standby线程的run()方法218

5.4.3ingest线程的run()方法220

5.4.4ingest线程的ingestfsedits()方法220

5.4.5standby线程的docheckpoint()方法221

5.5用户操作情景分析223

5.5.1创建目录情景分析223

5.5.2创建文件情景分析231

5.6avatarnodestandby故障切换过程240

5.7元数据一致性保证机制242

5.7.1元数据目录树信息242

5.7.2datanode与block数据块映射信息243

5.8block更新同步问题246

5.8.1问题描述246

5.8.2结论246

5.8.3源码分析246

第6章avatarnode使用253

6.1方案说明254

6.1.1网络拓扑254

6.1.2操作系统安装及配置255

6.2使用avatar打补丁版本255

6.2.1hadoop源码联机build256

6.2.2hadoop源码本地build262

6.2.3nfs服务器构建264

6.2.4avatar分发与部署267

6.2.5primary（namenode0）节点配置269

6.2.7datanode节点配置276

6.2.8client节点配置278

6.2.9创建目录279

6.2.10挂载nfs280

6.2.11启动ucarp280

6.2.12格式化281

6.2.13系统启动281

6.2.14检查282

6.2.15namenode失效切换写文件实验283

6.2.16namenode失效切换读文件实验291

6.3avatarfacebook版本的使用294

6.3.1hadoopfacebook版本安装294

6.3.2节点配置295

6.3.3启动hdfs300

6.3.4namenode失效切换302

第7章avatarnode异常解决方案305

7.1测试环境306

7.2primary失效306

7.2.1解决方案306

7.2.2写操作实验步骤307

7.2.3改进写操作机制313

7.2.4读操作实验步骤313

7.2.5小结317

7.3standby失效317

7.4nfs失效（数据未损坏）317

7.4.1解决方案317

7.4.2写操作实验步骤318

7.4.3读操作实验步骤320

7.4.4小结322

7.5nfs失效（数据已损坏）323

7.5.1解决方案323

7.5.2写操作实验步骤324

7.5.3读操作实验步骤327

7.5.4小结330

7.6primary先失效，nfs后失效（数据未损坏）331

7.6.1解决方案331

7.6.2写操作实验步骤331

7.6.3读操作实验步骤333

7.6.4小结334

7.7primary先失效（数据未损坏），nfs后失效（数据损坏）335

7.7.1解决方案335

7.7.2写操作实验步骤335

7.7.3读操作实验步骤338

7.7.4小结339

7.8nfs先失效（数据未损坏），primary后失效340

7.8.1解决方案340

7.8.2写操作实验步骤340

7.8.3读操作实验步骤342

7.8.4小结343

7.9nfs先失效（数据损坏），primary后失效（数据损坏）344

7.9.1解决方案344

7.9.2写操作实验步骤344

7.9.3读操作实验步骤346

7.9.4小结348

7.10实验结论348

第8章clouderahanamenode使用349

8.1hanamenode说明350

8.2cdh4b1版本hdfs集群配置351

8.2.1虚拟机安装351

8.2.2nn1配置351

8.2.3dn1~dn3配置355

8.2.4hdfs集群构建358

8.3hanamenode配置361

8.3.1nn1配置361

8.3.2其他节点配置365

8.4hanamenode使用367

8.4.1启动hahdfs集群367

8.4.2第1次failover368

8.4.3模拟写操作368

8.4.4模拟activenamenode失效，第2次failover369

8.3.5模拟新的standbynamenode加入370

8.5小结371

本图书来源：中国互动出版网