Hadoop面试题2020

APCDE 2020-06-15

  1. 元数据更新过程?
  2. MapReduce的Shuffle过程?
  3. HDFS的读的流程?
  4. HDFS写的流程?
  5. 如何将hadoop配置文件从一台机器同步到另一台机器上?
    1. scp -r  hadoop-2.7.3 :/opt/modules/
  6. 如何终止yarn上正在运行的程序?
    1. yarn application -kill id
  7. yarn的运行流程?
    1. 客户端提交运行程序请求给ResourceManager(8032)
    2. resourcemanager中的APP manager随机选择一台nodemanager启动APP master
    3. APP master 向APP manager申请资源
    4. APP manager通过resource schedule向APP master分配资源和指令(container:资源(每台机器能够使用的资源)和指令集)
    5. APP master在每台nodemanager上启动map task以及reduce task
    6. 将所有的资源及指令分配给每个nodemanager,每个nodemanager对自己负责的数据进行处理
    7. 每个map task及reduce task将处理后的结果返回给app master
    8. app master将总的结果反馈给APP manager及客户端

相关推荐