指定Oozie Java节点的Hadoop属性

pugongying 2014-06-24

因为之前要写一个程序就是一个java节点可以搞定的事情,但是无奈需要配置一下Hadoop的属性值,mapreduce.task.classpath.user.precedence,结果没查了半天没想到怎么配置,没办法,当时只能写了一个mapreduce跑一个java程序。后来想了一下还是喽一眼源码吧,结果还真查到了,在启动javaAction的时候可以配置hadoop的属性

一路追踪,

从开始servlet到一直调用后端的

org.apache.oozie.action.hadoop.JavaActionExecutor.submitLauncher(Context context, WorkflowAction action);

在这个函数中的关键代码

--------------------------------------分割线 --------------------------------------

推荐阅读

--------------------------------------分割线 --------------------------------------

最后调用

runningJob =jobClient.submitJob(launcherJobConf);

在这个提交job的时候参数JobConf就是launcherJobConf

而launcherJobConf的生成是

JobConf launcherJobConf =createLauncherConf(context, action, actionXml, actionConf);

当这个在创建的时候会使用到workflow.xml的节点信息actionXMl

在createLauncherConf函数中会有个

setupLauncherConf(launcherConf, actionXml, appPathRoot, context);

上边这个函数中写着如何加入启动hadoop的一些参数

Configuration setupLauncherConf(Configuration conf, Element actionXml,Path appPath, Context context) throws ActionExecutorException {
      try {
          Namespace ns = actionXml.getNamespace();
          Element e = actionXml.getChild("configuration", ns);
          if (e != null) {
                String strConf =XmlUtils.prettyPrint(e).toString();
                XConfiguration inlineConf = newXConfiguration(new StringReader(strConf));
 
                XConfiguration launcherConf =new XConfiguration();
                for (Map.Entry<String,String> entry : inlineConf) {
                    if(entry.getKey().startsWith("oozie.launcher.")) {
                        String name =entry.getKey().substring("oozie.launcher.".length());
                        String value =entry.getValue();
                        // setting original KEY
                      launcherConf.set(entry.getKey(), value);
                        // setting un-prefixedkey (to allow Hadoop job config
                        // for the launcher job
                        launcherConf.set(name,value);
                    }
                }
                checkForDisallowedProps(launcherConf,"inline launcher configuration");
              XConfiguration.copy(launcherConf, conf);
          }
          return conf;
      }
      catch (IOException ex) {
          throw convertException(ex);
      }
    }

上边函数已经写着很明白了,当以oozie.launcher.开头的

Configuration节点中的属性,都会被加入到    Configuration中

这个时候只要在自己写的oozie节点中加入如下参数就ok了

<actionname="java_checkApp">
                <java>
                      <job-tracker>${jobTracker}</job-tracker>
                      <name-node>${nameNode}</name-node>
                        <configuration>
                                <property>
                                      <name>mapred.job.queue.name</name>
                                      <value>${queueName}</value>
                              </property>
                                <property>
                                        <name>oozie.launcher.mapreduce.task.classpath.user.precedence</name>
                                      <value>true</value>
                              </property>
                        </configuration>
                      <main-class>com.jd.ebsdi.hadoop.mapreduce.ooziemain.main.DoCheck
                        </main-class>
                      <arg>{"dbSetPointerType":"pointerTime","wfName":"${wf:name()}","coorTime":"${wf:conf("nominalTime")}","wfPath":"${wf_app_path}","failClockThresholdValue":"${failThreshold}","checkLockFrequence":"${checkLockSequence}","waitingThresholdValue":"${waitingThreshold}"}
                        </arg>
                        <capture-output/>
                </java>
                <okto="java_InitialData" />
                <error to="kill"/>
      </action>

在hadoop的job配置文件中

hdfs://hadoop-master.xxx.com:8020/home/data/hadoop/cache/mapred/staging/houchangren/.staging/job_201401261826_18982/job.xml

可以看到

如下的属性

这个是oozie的属性

指定Oozie Java节点的Hadoop属性

下边中是解析后的hadoop属性

指定Oozie Java节点的Hadoop属性

恩恩,事情搞定了

相关推荐