Hadoop配置LDAP集成Kerberos

forjustice 2019-06-20

本文主要记录 cdh hadoop 集群集成 ldap 的过程，这里 ldap 安装的是 OpenLDAP 。LDAP 用来做账号管理，Kerberos作为认证。授权一般来说是由应用来决定的，通过在 LDAP 数据库中配置一些属性可以让应用程序来进行授权判断。

关于 Kerberos 的安装和 HDFS 配置 kerberos 认证，请参考 HDFS配置kerberos认证。

参考 使用yum安装CDH Hadoop集群 安装 hadoop 集群，集群包括三个节点，每个节点的ip、主机名和部署的组件分配如下：

192.168.56.121        cdh1     Kerberos KDC 、OpenLDAP
192.168.56.122        cdh2     kerberos client、ldap client
192.168.56.123        cdh3     kerberos client、ldap client

注意：hostname 请使用小写，要不然在集成 kerberos 时会出现一些错误。

环境说明：

  • 操作系统：Centos6.6
  • OpenLDAP 版本：2.4.39
  • Kerberos 版本：1.10.3
  • CDH 版本：cdh-5.2.0

1. 安装服务端

1.1 安装

同安装 kerberos 一样，这里使用 cdh1 作为服务端安装 openldap。

bash$ yum install db4 db4-utils db4-devel cyrus-sasl* krb5-server-ldap -y
$ yum install openldap openldap-servers openldap-clients openldap-devel compat-openldap -y

查看安装的版本：

bash$ rpm -qa openldap
openldap-2.4.39-8.el6.x86_64

$ rpm -qa krb5-server-ldap
krb5-server-ldap-1.10.3-33.el6.x86_64

1.2 OpenSSL

如果，你不配置ssl，这部分内容可以略过，实际安装过程中，我也没有详细去操作这部分内容。

OpenLDAP 默认使用 Mozilla NSS，安装后已经生成了一份证书，可使用 certutil -d /etc/openldap/certs/ -L -n 'OpenLDAP Server' 命令查看。使用如下命令生成RFC格式CA证书并分发到客户机待用。

bash$ certutil -d /etc/openldap/certs/ -L -a -n 'OpenLDAP Server' -f /etc/openldap/certs/password > /etc/openldap/ldapCA.rfc

# 拷贝到其他节点
$ scp /etc/openldap/ldapCA.rfc cdh2:/tmp
$ scp /etc/openldap/ldapCA.rfc cdh3:/tmp

附，生成自签名证书的命令供参考：

bash$ certutil -d /etc/openldap/certs -S -n 'test cert' -x -t 'u,u,u' -s 'C=XX, ST=Default Province, L=Default City, O=Default Company Ltd, OU=Default Unit, CN=cdh1' -k rsa -v 120 -f /etc/openldap/certs/password

修改 /etc/sysconfig/ldap，开启 ldaps：

bash# Run slapd with -h "... ldaps:/// ..."
#   yes/no, default: no
SLAPD_LDAPS=yes

1.3 LDAP 服务端配置

更新配置库：

bashrm -rf /var/lib/ldap/*
cp /usr/share/openldap-servers/DB_CONFIG.example /var/lib/ldap/DB_CONFIG
chown -R ldap.ldap /var/lib/ldap

在2.4以前的版本中，OpenLDAP 使用 slapd.conf 配置文件来进行服务器的配置，而2.4开始则使用 slapd.d 目录保存细分后的各种配置，这一点需要注意，其数据存储位置即目录 /etc/openldap/slapd.d 。尽管该系统的数据文件是透明格式的，还是建议使用 ldapadd, ldapdelete, ldapmodify 等命令来修改而不是直接编辑。

默认配置文件保存在 /etc/openldap/slapd.d，将其备份：

bashcp -rf /etc/openldap/slapd.d /etc/openldap/slapd.d.bak

添加一些基本配置，并引入 kerberos 和 openldap 的 schema：

bash$ cp /usr/share/doc/krb5-server-ldap-1.10.3/kerberos.schema /etc/openldap/schema/

$ touch /etc/openldap/slapd.conf

$ echo "include /etc/openldap/schema/corba.schema
include /etc/openldap/schema/core.schema
include /etc/openldap/schema/cosine.schema
include /etc/openldap/schema/duaconf.schema
include /etc/openldap/schema/dyngroup.schema
include /etc/openldap/schema/inetorgperson.schema
include /etc/openldap/schema/java.schema
include /etc/openldap/schema/misc.schema
include /etc/openldap/schema/nis.schema
include /etc/openldap/schema/openldap.schema
include /etc/openldap/schema/ppolicy.schema
include /etc/openldap/schema/collective.schema
include /etc/openldap/schema/kerberos.schema" > /etc/openldap/slapd.conf
$ echo -e "pidfile /var/run/openldap/slapd.pid\nargsfile /var/run/openldap/slapd.args" >> /etc/openldap/slapd.conf

#更新slapd.d
$ slaptest -f /etc/openldap/slapd.conf -F /etc/openldap/slapd.d

$ chown -R ldap:ldap /etc/openldap/slapd.d && chmod -R 700 /etc/openldap/slapd.d

1.4 启动服务

启动 LDAP 服务：

bashchkconfig --add slapd
chkconfig --level 345 slapd on

/etc/init.d/slapd start

查看状态，验证服务端口：

bash$ ps aux | grep slapd | grep -v grep
  ldap      9225  0.0  0.2 581188 44576 ?        Ssl  15:13   0:00 /usr/sbin/slapd -h ldap:/// -u ldap

$ netstat -tunlp  | grep :389
  tcp        0      0 0.0.0.0:389                 0.0.0.0:*                   LISTEN      8510/slapd
  tcp        0      0 :::389                      :::*                        LISTEN      8510/slapd

如果启动失败，则运行下面命令来启动 slapd 服务并查看日志：

bash$ slapd -h ldap://127.0.0.1 -d 481

待查明原因之后，停止该进程使用正常方式启动 slapd 服务。

1.5 LDAP 和 Kerberos

在Kerberos安全机制里，一个principal就是realm里的一个对象，一个principal总是和一个密钥（secret key）成对出现的。

这个principal的对应物可以是service，可以是host，也可以是user，对于Kerberos来说，都没有区别。

Kdc(Key distribute center)知道所有principal的secret key，但每个principal对应的对象只知道自己的那个secret key。这也是 "共享密钥" 的由来。

为了使 Kerberos 能够绑定到 OpenLDAP 服务器，请创建一个管理员用户和一个 principal，并生成 keytab 文件，设置该文件的权限为 LDAP 服务运行用户可读（ LDAP 服务运行用户一般为 ldap）：

bash$ kadmin.local -q "addprinc [email protected]"
$ kadmin.local -q "addprinc -randkey ldap/[email protected]"
$ kadmin.local -q "ktadd -k /etc/openldap/ldap.keytab ldap/[email protected]"

$ chown ldap:ldap /etc/openldap/ldap.keytab && chmod 640 /etc/openldap/ldap.keytab

ktadd 后面的-k 指定把 key 存放在一个本地文件中。

使用 ldapadmin 用户测试：

bashkinit ldapadmin

系统会提示输入密码，如果一切正常，那么会安静的返回。实际上，你已经通过了kerberos的身份验证，且获得了一个Service TGT(Ticket-Granting Ticket). Service TGT的意义是， 在一段时间内，你都可以用此TGT去请求某些service，比如ldap service，而不需要再次通过kerberos的认证。

确保 LDAP 启动时使用上一步中创建的keytab文件，在 /etc/sysconfig/ldap 增加 KRB5_KTNAME 配置：

bashexport KRB5_KTNAME=/etc/openldap/ldap.keytab

然后，重启 slapd 服务。

1.6 创建数据库

进入到 /etc/openldap/slapd.d 目录，查看 etc/openldap/slapd.d/cn\=config/olcDatabase={2}bdb.ldif 可以看到一些默认的配置，例如：

olcRootDN: cn=Manager,dc=my-domain,dc=com  
olcRootPW: secret  
olcSuffix: dc=my-domain,dc=com

接下来更新这三个配置，建立 modify.ldif 文件，内容如下：

bashdn: olcDatabase={2}bdb,cn=config
changetype: modify
replace: olcSuffix
olcSuffix: dc=javachen,dc=com

dn: olcDatabase={2}bdb,cn=config
changetype: modify
replace: olcRootDN
# Temporary lines to allow initial setup
olcRootDN: uid=ldapadmin,ou=people,dc=javachen,dc=com

dn: olcDatabase={2}bdb,cn=config
changetype: modify
add: olcRootPW
olcRootPW: secret

dn: cn=config
changetype: modify
add: olcAuthzRegexp
olcAuthzRegexp: uid=([^,]*),cn=GSSAPI,cn=auth uid=$1,ou=people,dc=javachen,dc=com

dn: olcDatabase={2}bdb,cn=config
changetype: modify
add: olcAccess
# Everyone can read everything
olcAccess: {0}to dn.base="" by * read
# The ldapadm dn has full write access
olcAccess: {1}to * by dn="uid=ldapadmin,ou=people,dc=javachen,dc=com" write by * read

说明：

  • 上面的密码使用的是明文密码 secret ，你也可以使用 slappasswd -s secret 生成的字符串作为密码。
  • 上面的权限中指明了只有用户 uid=ldapadmin,ou=people,dc=javachen,dc=com 有写权限。

使用下面命令导入更新配置：

bash$ ldapmodify -Y EXTERNAL -H ldapi:/// -f modify.ldif

这时候数据库没有数据，需要添加数据，你可以手动编写 ldif 文件来导入一些用户和组，或者使用 migrationtools 工具来生成 ldif 模板。创建 setup.ldif 文件如下：

dn: dc=javachen,dc=com
objectClass: top
objectClass: dcObject
objectclass: organization
o: javachen com
dc: javachen

dn: ou=people,dc=javachen,dc=com
objectclass: organizationalUnit
ou: people
description: Users

dn: ou=group,dc=javachen,dc=com
objectClass: organizationalUnit
ou: group

dn: uid=ldapadmin,ou=people,dc=javachen,dc=com
objectClass: inetOrgPerson
objectClass: posixAccount
objectClass: shadowAccount
cn: LDAP admin account
uid: ldapadmin
sn: ldapadmin
uidNumber: 1001
gidNumber: 100
homeDirectory: /home/ldap
loginShell: /bin/bash

使用下面命令导入数据，密码是前面设置的 secret 。

bash$ ldapadd -x -D "uid=ldapadmin,ou=people,dc=javachen,dc=com" -w secret -f setup.ldif

参数说明：

  • -w 指定密码
  • -x 是使用一个匿名的绑定

1.7 LDAP 的使用

添加

如上面示例

导入系统用户

接下来你可以从 /etc/passwd, /etc/shadow, /etc/groups 中生成 ldif 更新 ldap 数据库，这需要用到 migrationtools 工具。

安装：

bash$ yum install migrationtools -y

利用迁移工具生成模板，先修改默认的配置：

bash$ vim /usr/share/migrationtools/migrate_common.ph

#line 71 defalut DNS domain
$DEFAULT_MAIL_DOMAIN = "javachen.com";
#line 74 defalut base
$DEFAULT_BASE = "dc=javachen,dc=com";

生成模板文件：

bash/usr/share/migrationtools/migrate_base.pl > /opt/base.ldif

然后，可以修改该文件，然后执行导入命令：

bash$ ldapadd -x -D "uid=ldapadmin,ou=people,dc=javachen,dc=com" -w secret -f /opt/base.ldif

将当前节点上的用户导入到 ldap 中，可以有选择的导入指定的用户：

bash# 先添加用户
$ useradd test hive
# 查找系统上的 test、hive 等用户
$ grep -E "test|hive" /etc/passwd  >/opt/passwd.txt
$ /usr/share/migrationtools/migrate_passwd.pl /opt/passwd.txt /opt/passwd.ldif
$ ldapadd -x -D "uid=ldapadmin,ou=people,dc=javachen,dc=com" -w secret -f /opt/passwd.ldif

将用户组导入到 ldap 中：

bash# 生成用户组的 ldif 文件，然后导入到 ldap
$ grep -E "test|hive" /etc/group  >/opt/group.txt
$ /usr/share/migrationtools/migrate_group.pl /opt/group.txt /opt/group.ldif
$ ldapadd -x -D "uid=ldapadmin,ou=people,dc=javachen,dc=com" -w secret -f /opt/group.ldif

查询

查询新添加的 test 用户：

bash$ ldapsearch -LLL -x -D 'uid=ldapadmin,ou=people,dc=javachen,dc=com' -w secret -b 'dc=javachen,dc=com' 'uid=test'
  dn: uid=test,ou=people,dc=javachen,dc=com
  objectClass: inetOrgPerson
  objectClass: posixAccount
  objectClass: shadowAccount
  cn: test account
  sn: test
  uid: test
  uidNumber: 1001
  gidNumber: 100
  homeDirectory: /home/test
  loginShell: /bin/bash

可以看到，通过指定 'uid=test'，我们只查询这个用户的数据，这个查询条件叫做filter。有关 filter 的使用可以查看 ldapsearch 的 manpage。

修改

用户添加好以后，需要给其设定初始密码，运行命令如下：

bash$ ldappasswd -x -D 'uid=ldapadmin,ou=people,dc=javachen,dc=com' -w secret "uid=test,ou=people,dc=javachen,dc=com" -S

删除

删除用户或组条目：

bash$ ldapdelete -x -w secret -D 'uid=ldapadmin,ou=people,dc=javachen,dc=com' "uid=test,ou=people,dc=javachen,dc=com"
$ ldapdelete -x -w secret -D 'uid=ldapadmin,ou=people,dc=javachen,dc=com' "cn=test,ou=group,dc=javachen,dc=com"

2. 客户端配置

在 cdh2 和 cdh3上，使用下面命令安装openldap客户端

bash$ yum install openldap-clients -y

修改 /etc/openldap/ldap.conf 以下两个配置

BASE    dc=javachen,dc=com
URI     ldap://cdh1

然后，运行下面命令测试：

bash#先删除 ticket
$ kdestroy

$ ldapsearch -b 'dc=javachen,dc=com'
  SASL/GSSAPI authentication started
  ldap_sasl_interactive_bind_s: Local error (-2)
    additional info: SASL(-1): generic failure: GSSAPI Error: Unspecified GSS failure.  Minor code may provide more information (No credentials cache found)

重新获取 ticket：

bash$ kinit root/admin
$ ldapsearch -b 'dc=javachen,dc=com'
 # 没有报错了
$ ldapwhoami
  SASL/GSSAPI authentication started
  SASL username: root/[email protected]
  SASL SSF: 56
  SASL installing layers
  dn:uid=root/admin,ou=people,dc=javachen,dc=com
  Result: Success (0)

# 直接输入 ldapsearch 不会报错
$ ldapsearch

3. 配置 Hive 集成 LDAP

说明： CDH5.2 之前 hive-server2 支不支持集成 ldap，故需要升级 cdh 版本到高版本，如 cdh5.3，该版本支持 ldap。

修改配置文件

这部分内容参考自Using LDAP Username/Password Authentication with HiveServer2。

我这使用的是 OpenLDAP ，故修改 hive-site.xml 配置文件如下：

xml<property>
  <name>hive.server2.authentication</name>
  <value>LDAP</value>
</property>
<property>
  <name>hive.server2.authentication.ldap.url</name>
  <value>ldap://cdh1</value>
</property>
<property>
  <name>hive.server2.authentication.ldap.baseDN</name>
  <value>ou=people,dc=javachen,dc=com</value>
</property>

为什么这样配置，可以参考 LdapAuthenticationProviderImpl.java 源码。

测试

重启服务：

bash/etc/init.d/hive-server2 restart

然后使用 beeline 测试：

bashbeeline --verbose=true
beeline> !connect jdbc:hive2://cdh1:10000/default
Connecting to jdbc:hive2://cdh1:10000/default;
Enter username for jdbc:hive2://cdh1:10000/default;: hive
Enter password for jdbc:hive2://cdh1:10000/default;: ****

4. 配置 Impala 集成 LDAP

修改配置文件

修改 /etc/default/impala 中的 IMPALA_SERVER_ARGS 参数，添加

bash-enable_ldap_auth=true \
-ldap_uri=ldaps://cdh1 \
-ldap_baseDN=ou=people,dc=javachen,dc=com

注意：

  • 如果没有开启 ssl，则添加 -ldap_passwords_in_clear_ok=true，同样如果开启了 ssl，则 ldap_uri 值为 ldaps://XXXX
  • ldap_baseDN 的值是 ou=people,dc=javachen,dc=com，因为 impala 会将其追加到 uid={用户名}, 后面

测试

重启服务：

bash$ /etc/init.d/impala-server restart

然后使用 impala-shell 测试：

bash$ impala-shell -l -u test
  Starting Impala Shell using LDAP-based authentication
  LDAP password for test:
  Connected to cdh1:21000
  Server version: impalad version 2.0.0-cdh5 RELEASE (build ecf30af0b4d6e56ea80297df2189367ada6b7da7)
  Welcome to the Impala shell. Press TAB twice to see a list of available commands.

  Copyright (c) 2012 Cloudera, Inc. All rights reserved.

  (Shell build version: Impala Shell v2.0.0-cdh5 (ecf30af) built on Sat Oct 11 13:56:06 PDT 2014)
  [cdh1:21000] >

使用 beeline 通过 ldap 方式来连接 jdbc 进行测试：

bash$ beeline -u "jdbc:hive2://cdh1:21050/default;" -n test -p test
  scan complete in 2ms
  Connecting to jdbc:hive2://cdh1:21050/default;
  Connected to: Impala (version 2.0.0-cdh5)
  Driver: Hive JDBC (version 0.13.1-cdh5.2.0)
  Transaction isolation: TRANSACTION_REPEATABLE_READ
  Beeline version 0.13.1-cdh5.2.0 by Apache Hive

  0: jdbc:hive2://cdh1:21050/default>show tables;
  +-----------------------------+--+
  |            name             |
  +-----------------------------+--+
  | t1                          |
  | tab1                        |
  | tab2                        |
  | tab3                        |
  +-----------------------------+--+
  4 rows selected (0.325 seconds)

5. 参考文章

forjustice

forjustice

相关推荐

RHCE 第18节课 Openldap目录服务和Squid代理服务

今天老师讲了两个部分的内容，分别的目录服务Openldap 和Squid 代理服务，openldap比较难理解，squid代理服务分为正向代理模式和反向代理模式，各有各的用处。

hygbuaa / 0评论 2019-12-16

CentOS 7下安装部署OpenLDAP+phpLDAPadmin

openldap-server的数据必须用原配的Berkeley DB，不能使用mysql作为后端数据库，openldap的操作语法比较复杂，推荐使用phpldapadmin管理配置，同时也可以用windows下ldapadmin程序进行配置。环境初始化完

wenshifang / 0评论 2019-05-18

OpenLDAP Installation and Configuration in Ubuntu 12.10 Server / Debian 6

OpenLDAP Installation and Configuration in Ubuntu 12.10 Server / Debian 6. OpenLDAP is a free open source Light Weight Directory

89291843 / 0评论 2015-05-23

CentOS 5 成功安装 openldap-2.4.23

配置WAS的standalone LDAP加密时，选择安装了openldap。configure: error: BerkeleyDB version incompatible with BDB/HDB backends. unzip db-5.2.28.

88971730 / 0评论 2011-09-04

如何从公网访问内网OpenLDAP数据库

公网访问内网OpenLDAP数据库本地安装了OpenLDAP数据库，只能在局域网内访问，怎样从公网也能访问本地OpenLDAP数据库？本文将介绍具体的实现步骤。Holer支持各种OS系统平台，请选择跟本地OS类型匹配的holer软件包。更多的holer使用

数据库之扑朔迷离 / 0评论 2019-06-29

CentOS 7 简单搭建OpenLDAP服务

[root@ldap ~]# ldapadd -Y EXTERNAL -H ldapi:/// -f chrootpw.ldif. # specify the password generated above for "olcRootPW&quo

89284553 / 0评论 2018-08-13

如何在Ubuntu 18.04上安装OpenLDAP

LDAP是轻量级目录访问协议，允许查询和修改基于X.500的目录服务。LDAP通过IP网络用于管理和访问分布式目录服务。LDAP的主要目的是在分层结构中提供一组记录。如果您对LDAP如何适应Active Directory感到好奇，请按照这种方式考虑：Ac

bglmmz / 0评论 2019-01-07

GitLab 接入 OpenLDAP和AD域

今天调试GitLab接入AD域控，找了很多资料才解决了问题，在此处做记录。GitLab有自己的用户机制，但其也兼容ldap的用户验证机制，由于公司内部的统一账户机制正在调整，故需要将GitLab进行配置，试验下来社区版的GitLab经过修改配置文件后可以使

南淮 / 0评论 2018-01-23

CentOS 7下OpenLDAP编译安装及配置

三．准备1.关闭selinux；# tcp 389 是openldap 明文传输端口，tcp 636是ssl加密传输的端口。# centos7默认自带firewalld服务，可以停用之后安装iptables。四．安装OpenLDAP1.依赖包# 涉及lib

87447100 / 0评论 2017-10-13

Ubuntu 14.04 - Kerberos LDAP配置

大多数情况下，我们不会光使用Kerberos；一旦用户被Kerberos认证，我们需要指出用户可以做什么。这将会是一些程序的工作比如：LDAP。幸运的是，MIT Kerberos可以被配置成使用一个LDAP目录作为主数据库。本节包括配置主从Kerberos

bglmmz / 0评论 2016-09-06

OpenLDAP 概念与工作原理介绍

目录是一个为查询、浏览和搜索而优化的专业分布式数据库，它呈树状结构组织数据，就好象Linux/Unix系统中的文件目录一样。目录数据库和关系数据库不同，它有优异的读性能，但写性能差，并且没有事务处理、回滚等复杂功能，不适于存储修改频繁的数据。所以目录天生是

海笑天涯 / 0评论 2016-08-12

在CentOS 6.5上安装OpenLDAP并配置LDAP方式用户登录

--------------------------------------------------------------------------------database monitoraccess to * by dn.exact="

zhengyshan / 0评论 2015-04-21

使用 PAM 集成 OpenLDAP 实现 Linux 统一管理系统用户

Linux-PAM 是一种可插拔式认证模块，是 Linux 操作系统首选的用户身份认证方式。OpenLDAP 是轻量级目录访问协议的实现，是企业广泛使用的用户管理工具。本文详细讲述了 Linux-PAM 集成 LDAP 实现企业用户的统一管理的方法，以及该

whx00 / 0评论 2014-08-15

CentOS Linux安装OpenLDAP服务器

LDAP服务器用于统一认证账户信息，有点类似通讯录，实现集中管理用户账户的功能。安装openldap和Berkeley DB, openldap使用Berkeley DB存储数据。1）服务端yum install openldap openldap-ser

miaoheping / 0评论 2014-03-12

CentOS安装OpenLDAP

vi slapd.conf 找到语句：suffix“dc=my-domain,dc=com”将其改为：suffix“dc=example,dc=com”__找到语句：rootdn“cn=Manager,dc=my-domain,dc=com”将其改为：ro

82487106 / 0评论 2014-03-05

OpenLDAP弱密码加密安全漏洞

受影响系统：OpenLDAP OpenLDAP描述：--------------------------------------------------------------------------------BUGTRAQ ID: 53823CVE I

SnakeHu / 0评论 2012-06-08

Fedora openldap环境说明配置目的实现原理

在向大家详细介绍Fedora openldap之前，首先让大家了解下Fedora openldap，然后全面介绍Fedora openldap，希望对大家有用。使用Fedora openldap本身的配置来完成Fedora openldap之间的同步，包括

89612310 / 0评论 2010-02-26

Liferay Portal 配置使用Oracle和OpenLDAP

4、解压初始化脚本，将create\create-oracle.sql导入到数据库中liferay用户对象下。

arnodzl / 0评论 2012-07-30

CentOS下搭建LDAP服务器

#show process[root@openldap openldap]# ps aux | grep slapd | grep -v grepldap 9246 0.0 5.2 62960 27288 ?Ssl May03 0:00 /usr/sbin

聚指尖 / 0评论 2012-05-19