Hadoop Authentication

我被被派去做别的事情了，所以与Hadoop相关的工作就只能搁下。写篇总结，把最近遇到的和kerberos相关的东西列一下。
 
JAAS是Java 认证和授权服务（Java Authentication and Authorization Service）的缩写，是PAM框架的Java实现。
 
javax.sercurity.auth.Subject是一个不可继承的实体类，它表示单个实体的一组相关信息，与请求的来源相关。
 
javax.security.auth.Principal是一个接口，表示带有不同类型凭证的标识，基本上来说，Principal可以是任意对象。
 
JAAS的授权机制主要就是围绕着Subject和Principal。关于JAAS比较详细的参考是这里：http://docs.oracle.com/javase/6/docs/technotes/guides/security/jaas/JAASRefGuide.html
 
几个比较重要的java属性：
 
java.security.krb5.realm
 
java.security.krb5.kdc
 
java.security.krb5.conf
 
hadoop的身份认证和授权都是建立在JAAS之上。
 
hadoop.security.authentication属性有2种值：
 
simple: Security is disabled。
 
kerberos: Security is enabled。
 
org.apache.hadoop.security.UserGroupInformation有一个静态方法：getCurrentUser()。它会返回一个UserGroupInformation类的实例（以下简称ＵＧＩ）。如果subject为空，或者这个subject中与org.apache.hadoop.security.User对应的Principal为空，那么说明尚未登录过，调用getLoginUser()创建UserGroupInformation的实例。
 
getLoginUser()的流程：
 
1.创建LoginContext:
 
name:如果hadoop.security.authentication等于”kerberos”,那么是“hadoop-user-kerberos”或者“hadoop-keytab-kerberos”，否则是“hadoop-simple”。它的主要作用是作为appName传递给UserGroupInformation.HadoopConfiguration.getAppConfigurationEntry(String appName)方法。
 
subject:
 
callbackHandler: 空
 
Configuration: UserGroupInformation.HadoopConfiguration的实例。
 
2.login.login();
 
这个会调用HadoopLoginModule的login()和commit()方法。
 
HadoopLoginModule的login()方法是一个空函数，只打印了一行调试日志 LOG.debug("hadoop login");
 
commit()方法负责把Principal添加到Subject中。
 
此时一个首要问题是username是什么？
 
在使用了kerberos的情况下，从javax.security.auth.kerberos.KerberosPrincipal的实例获取username。
 
在未使用kerberos的情况下，优先读取HADOOP_USER_NAME这个系统环境变量，如果不为空，那么拿它作username。否则，读取HADOOP_USER_NAME这个java环境变量。否则，从com.sun.security.auth.NTUserPrincipal或者com.sun.security.auth.UnixPrincipal的实例获取username。
 
如果以上尝试都失败，那么抛出异常LoginException("Can’t find user name")。
 
最终拿username构造org.apache.hadoop.security.User的实例添加到Subject中。
 
 
 
测试登录：
 
HADOOP_JAAS_DEBUG=true HADOOP_ROOT_LOGGER=DEBUG,console  bin/hadoop  org.apache.hadoop.security.UserGroupInformation
 
其中，UGI应该是这样的形式：
 
UGI: host/[email protected] (auth:KERBEROS)
 
如果是下面这样，就说明错了
 
12/03/28 18:44:52 DEBUG security.Groups: Returning fetched groups for ‘app_admin’
 Groups: app_admin
UGI: app_admin (auth:KERBEROS)
Auth method KERBEROS
Keytab false
 
据我观察，目前好像只有hadoop内部的通信可以用keytab。如果想在shell下执行bin/hdfs什么的，还是得手动调用kinit。而且，我不知道hadoop用keytab登录后，把Ticket cache放哪了。好像跟系统默认的不一样。
 
 
在执行kinit的时候，如果没有root权限，可以用KRB5_CONFIG这个环境变量来指定krb5.conf的位置。这个在kinit的文档中并没有提到，它只提到了KRB5CCNAME和KRBTKFILE。

--------------------------------------分割线 --------------------------------------

--------------------------------------分割线 --------------------------------------