Apache Sentry部署

BitTigerio 2018-01-25

三台hadoop集群，分别是master、slave1和slave2。下面是这三台机器的软件分布：

  • master：NameNode、ZK、HiveMetaSotre、HiveServer2、SentryServer
  • slave1：DataNode、ZK
  • slave2：DataNode、ZK

2软件需求

  1. MySql
  2. mysql-jdbc.jar：mysql-connector-java-5.1.38-bin.jar
  3. Hadoop
  4. Hive1.1.0：apache-hive-1.1.0-bin.tar.gz
  5. Sentry1.6.0：apache-sentry-1.6.0-incubating-bin.tar.gz
    注意：这里的Sentry1.6.0版本对应的是Hive1.1.0版本，目前还不支持Hive1.2及以上版本。

3软件安装

3.1 MySql安装

  • 在线安装：sudo apt-get install mysql-server。
  • 修改文件：vim /etc/mysql/my.cnf，内容如下：

#bind-address = 127.0.0.1

bind-address = 0.0.0.0

  • 重启mysql：service mysql restart

3.2 Hadoop安装

此处省略

3.2 Hive安装

此处省略

创建hive的元数据mysql数据库

create database hive;

CREATE USER hive IDENTIFIED BY 'hive';

GRANT all ON hive.* TO hive@'%' IDENTIFIED BY'hive';

flush privileges;

3.3 Sentry安装

1.解压安装

tar -zxvf apache-sentry-1.6.0-incubating-bin.tar.gz -C /opt

2.修改sentry的配置文件(sentry-site.xml)

mv apache-sentry-1.6.0-incubating-bin apache-sentry-1.6.0

cp mysql-connector-java-5.1.38-bin.jar /opt/apache-sentry-1.6.0/lib

cd /opt/apache-sentry-1.6.0/conf

vim sentry-site.xml

3.修改sentry-sitem.xml文件

<?xml version="1.0" encoding="utf-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>sentry.service.admin.group</name>  
<value>admin</value>
</property>  
<property>
<name>sentry.service.allow.connect</name>  
<value>hive,admin</value>
</property>  
<property>
<name>sentry.service.reporting</name>  
<value>JMX</value>
</property>  
<property>
<name>sentry.service.server.rpc-address</name>  
<value>192.168.70.110</value>
</property>  
<property>
<name>sentry.service.server.rpc-port</name>  
<value>8038</value>
</property>  
<property>
<name>sentry.store.group.mapping</name>  
<value>org.apache.sentry.provider.common.HadoopGroupMappingService</value>
</property>  
<property>
<name>sentry.hive.server</name>  
<value>server1</value>
</property>  
<!-- 配置Webserver -->  
<property>
<name>sentry.service.web.enable</name>  
<value>true</value>
</property>  
<property>
<name>sentry.service.web.port</name>  
<value>51000</value>
</property>  
<property>
<name>sentry.service.web.authentication.type</name>  
<value>NONE</value>
</property>  
<property>
<name>sentry.service.web.authentication.kerberos.principal</name>  
<value> </value>
</property>  
<property>
<name>sentry.service.web.authentication.kerberos.keytab</name>  
<value> </value>
</property>  
<!--配置认证-->  
<property>
<name>sentry.service.security.mode</name>  
<value>none</value>
</property>  
<property>
<name>sentry.service.server.principal</name>  
<value> </value>
</property>  
<property>
<name>sentry.service.server.keytab</name>  
<value> </value>
</property>  
<!-- 配置Jdbc -->  
<property>
<name>sentry.store.jdbc.url</name>  
<value>jdbc:mysql://192.168.70.110:3306/sentry</value>
</property>  
<property>
<name>sentry.store.jdbc.driver</name>  
<value>com.mysql.jdbc.Driver</value>
</property>  
<property>
<name>sentry.store.jdbc.user</name>  
<value>sentry</value>
</property>  
<property>
<name>sentry.store.jdbc.password</name>  
<value>sentry</value>
</property>
</configuration>

4.配置环境变量
编辑vim /etc/profile

export SENTRY_HOME=/opt/apache-sentry-1.6.0

export PATH=${SENTRY_HOME}/bin:$PATH

使生效source /etc/profile
5.在mysql中创建sentry数据库

create database sentry;

CREATE USER sentry IDENTIFIED BY 'sentry';

GRANT all ON sentry.* TO sentry@'%' IDENTIFIED BY 'sentry';

flush privileges;

6.将mysql-jdbc的jar包拷贝到sentry/lib目录下

cp mysql-connector-java-5.1.38-bin.jar ${SENTRY_HOME}/lib

7.替换hadoop中jline的jar包

rm ${HADOOP_HOME}/share/hadoop/yarn/lib/jline-0.9.94.jar

cp ${SENTRY_HOME}/lib/jline-2.12.jar ${HADOOP_HOME}/share/hadoop/yarn/lib

8.初始化sentry数据库

sentry --command schema-tool --conffile ${SENTRY_HOME}/conf/sentry-site.xml --dbType mysql --initSchema

9.启动sentry服务

sentry --command service --conffile ${SENTRY_HOME}/conf/sentry-site.xml

4 Hive集成Sentry

1.修改hive-site.xml配置文件

<?xml version="1.0" encoding="utf-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>hive.sentry.conf.url</name>  
<value>file:///opt/apache-hive-1.1.0/conf/sentry-site.xml</value>
</property>
<!-- 配置开关控制列访问权限 -->  
<property>
<name>hive.stats.collect.scancols</name>  
<value>true</value>
</property>   
<!-- Hive Metastore集成Sentry -->  
<property>
<name>hive.metastore.pre.event.listeners</name>  
<value>org.apache.sentry.binding.metastore.MetastoreAuthzBinding</value>
</property>  
<property>
<name>hive.metastore.event.listeners</name>  
<value>org.apache.sentry.binding.metastore.SentryMetastorePostEventListener</value>
</property>  
<!-- Hive Server2集成Sentry -->  
<property>
<name>hive.server2.session.hook</name>  
<value>org.apache.sentry.binding.hive.HiveAuthzBindingSessionHook</value>
</property>  
<property>
<name>hive.security.authorization.task.factory</name>  
<value>org.apache.sentry.binding.hive.SentryHiveAuthorizationTaskFactoryImpl</value>
</property>  
<!-- 设置mysql-jdbc -->  
<property>
<name>javax.jdo.option.ConnectionURL</name>  
<value>jdbc:mysql://192.168.70.110:3306/hive?createDatabaseIfNotExist=true</value>
</property>  
<property>
<name>javax.jdo.option.ConnectionDriverName</name>  
<value>com.mysql.jdbc.Driver</value>
</property>  
<property>
<name>javax.jdo.option.ConnectionUserName</name>  
<value>hive</value>
</property>  
<property>
<name>javax.jdo.option.ConnectionPassword</name>  
<value>hive</value>
</property>
</configuration>

2.修改sentry-site.xml配置文件
注意：该文件是在hive/conf目录下的，不要和sentry/conf目录下的sentry-site.xml文件混淆！

<?xml version="1.0" encoding="utf-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>sentry.service.client.server.rpc-address</name>  
<value>192.168.70.110</value>
</property>  
<property>
<name>sentry.service.client.server.rpc-port</name>  
<value>8038</value>
</property>  
<property>
<name>sentry.service.client.server.rpc-connection-timeout</name>  
<value>200000</value>
</property>  
<!--配置认证-->  
<property>
<name>sentry.service.security.mode</name>  
<value>none</value>
</property>  
<property>
<name>sentry.service.server.principal</name>  
<value> </value>
</property>  
<property>
<name>sentry.service.server.keytab</name>  
<value> </value>
</property>  
<property>
<name>sentry.provider</name>  
<value>org.apache.sentry.provider.file.HadoopGroupResourceAuthorizationProvider</value>
</property>  
<property>
<name>sentry.hive.provider.backend</name>  
<value>org.apache.sentry.provider.db.SimpleDBProviderBackend</value>
</property>  
<property>
<name>sentry.metastore.service.users</name>  
<value>hive</value>  
<!--queries made by hive user (beeline) skip meta store check-->
</property>  
<property>
<name>sentry.hive.server</name>  
<value>server1</value>
</property>  
<property>
<name>sentry.hive.testing.mode</name>  
<value>true</value>
</property>
</configuration>

3.拷贝sentry/lib下的jar包到hive/lib目录下

cp ${SENTRY_HOME}/lib/sentry*.jar ${HIVE_HOME}/lib

cp ${SENTRY_HOME}/lib/shiro-*.jar ${HIVE_HOME}/lib

注意：shiro-*.jar一定也要拷贝过去，否则会报错。
4.修改Hive在HDFS上的文件权限

hadoop fs -chown -R hive:hive /user/hive/warehouse

hadoop fs -chmod -R 770 /user/hive/warehouse

由于HDFS上文件是hive：hive权限，所以linux用户上能
5.启动Hive Metastore服务

hive --service metastore -hiveconf hive.root.logger=DEBUG,console

6.启动Hive Server2服务

hive --service hiveserver2 -hiveconf hive.root.logger=DEBUG,console

5 Hive权限验证

5.1准备测试数据

  • 创建测试数据文件：vim /tmp/events.csv，内容如下：

10.1.2.3,US,android,createNote

10.200.88.99,FR,windows,updateNote

10.1.2.3,US,android,updateNote

10.200.88.77,FR,ios,createNote

10.1.4.5,US,windows,updateTag

  • 然后，在hive中运行下面sql语句（注意：以hive用户启动hive命令）：
  1. create database sensitive;
  2. create table sensitive.events (ip STRING, country STRING, client STRING, action STRING) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',';
  3. load data local inpath '/tmp/events.csv' overwrite into table sensitive.events;
  4. create database filtered;
  5. create view filtered.events as select country, client, action from sensitive.events;
  6. create view filtered.events_usonly as select * from filtered.events where country = 'US';
  • 在master上通过beeline连接hiveserver2，运行下面命令创建角色和组：

beeline -u "jdbc:hive2://master:10000/" -n admin -p admin -d org.apache.hive.jdbc.HiveDriver

  • 在beelin中执行下面的sql语句创建role、group等：
  1. create role admin_role;
  2. GRANT ALL ON SERVER server1 TO ROLE admin_role;
  3. GRANT ROLE admin_role TO GROUP admin;
  4. create role test_role;
  5. GRANT ALL ON DATABASE filtered TO ROLE test_role;
  6. use sensitive;
  7. GRANT SELECT(ip) on TABLE sensitive.events TO ROLE test_role;
  8. GRANT ROLE test_role TO GROUP test;

上面创建了两个角色：

  • admin_role，具有管理员权限，可以读写所有数据库，并授权给admin和hive组（对应操作系统上的组）
  • test_role，只能读写filtered数据库，和只能读取sensitive库中events表中的ip字段，并授权给test组。

因为系统上没有test用户和组，所以需要手动创建：useradd test

5.2测试

5.2.1测试admin_role角色

使用admin用户访问beelin：

beeline -u "jdbc:hive2://master:10000/" -n admin -p admin -d org.apache.hive.jdbc.HiveDriver

admin用户属于admin_role组，具有管理员权限，可以查看所有角色：

0: jdbc:hive2://master:10000/> show roles;

+-------------+--+

| role |

+-------------+--+

| admin_role |

| test_role |

+-------------+--+

2 rows selected (0.251 seconds)

查看所有权限：

0: jdbc:hive2://master:10000/> show grant role admin_role;

+-----------+--------+------------+---------+-----------------+-----------------+------------+---------------+-------------------+----------+--+

| database | table | partition | column | principal_name | principal_type | privilege | grant_option | grant_time | grantor |

+-----------+--------+------------+---------+-----------------+-----------------+------------+---------------+-------------------+----------+--+

| * | | | | admin_role | ROLE | * | false | 1461507543582000 | -- |

+-----------+--------+------------+---------+-----------------+-----------------+------------+---------------+-------------------+----------+--+

1 row selected (0.111 seconds)

0: jdbc:hive2://master:10000/> show grant role test_role;

+------------+---------+------------+---------+-----------------+-----------------+------------+---------------+-------------------+----------+--+

| database | table | partition | column | principal_name | principal_type | privilege | grant_option | grant_time | grantor |

+------------+---------+------------+---------+-----------------+-----------------+------------+---------------+-------------------+----------+--+

| sensitive | events | | ip | test_role | ROLE | select | false | 1461558337008000 | -- |

| filtered | | | | test_role | ROLE | * | false | 1461557354579000 | -- |

+------------+---------+------------+---------+-----------------+-----------------+------------+---------------+-------------------+----------+--+

2 rows selected (0.111 seconds)

hive用户可以查看所有数据库、访问所有表：

0: jdbc:hive2://master:10000/> show databases;

+----------------+--+

| database_name |

+----------------+--+

| default |

| filtered |

| sensitive |

+----------------+--+

3 rows selected (0.142 seconds)

0: jdbc:hive2://master:10000/> use filtered;

No rows affected (0.144 seconds)

0: jdbc:hive2://master:10000/> select * from filtered.events;

+-----------------+----------------+----------------+--+

| events.country | events.client | events.action |

+-----------------+----------------+----------------+--+

| US | android | createNote |

| FR | windows | updateNote |

| US | android | updateNote |

| FR | ios | createNote |

| US | windows | updateTag |

+-----------------+----------------+----------------+--+

5 rows selected (0.458 seconds)

0: jdbc:hive2://master:10000/> select * from sensitive.events;

+---------------+-----------------+----------------+----------------+--+

| events.ip | events.country | events.client | events.action |

+---------------+-----------------+----------------+----------------+--+

| 10.1.2.3 | US | android | createNote |

| 10.200.88.99 | FR | windows | updateNote |

| 10.1.2.3 | US | android | updateNote |

| 10.200.88.77 | FR | ios | createNote |

| 10.1.4.5 | US | windows | updateTag |

+---------------+-----------------+----------------+----------------+--+

5 rows selected (0.731 seconds)

5.2.2测试test_role角色

使用test用户访问beeline：

beeline -u "jdbc:hive2://master:10000/" -n test -p test -d org.apache.hive.jdbc.HiveDriver

test用户不是管理员，是不能查看所有角色的：

0: jdbc:hive2://master:10000/> show roles;

ERROR : Error processing Sentry command: Access denied to test.Please grant admin privilege to test.

Error: Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.SentryGrantRevokeTask. SentryAccessDeniedException: Access denied to test (state=08S01,code=1)

test用户可以列出所有数据库：

0: jdbc:hive2://master:10000/> show databases;

+----------------+--+

| database_name |

+----------------+--+

| default |

| filtered |

| sensitive |

+----------------+--+

test用户可以filtered库：

0: jdbc:hive2://master:10000/> use filtered;

No rows affected (0.256 seconds)

0: jdbc:hive2://master:10000/> select * from events;

+-----------------+----------------+----------------+--+

| events.country | events.client | events.action |

+-----------------+----------------+----------------+--+

| US | android | createNote |

| FR | windows | updateNote |

| US | android | updateNote |

| FR | ios | createNote |

| US | windows | updateTag |

+-----------------+----------------+----------------+--+

5 rows selected (0.199 seconds)

test用户只能查看sensitive库中events表中的ip字段，其他的都都无法查看：

0: jdbc:hive2://master:10000/> use sensitive;

No rows affected (0.112 seconds)

0: jdbc:hive2://master:10000/> select * from events;

Error: Error while compiling statement: FAILED: SemanticException No valid privileges

User test does not have privileges for QUERY (state=42000,code=40000)

0: jdbc:hive2://master:10000/> select ip from events;

+---------------+--+

| ip |

+---------------+--+

| 10.1.2.3 |

| 10.200.88.99 |

| 10.1.2.3 |

| 10.200.88.77 |

| 10.1.4.5 |

+---------------+--+

5 rows selected (0.176 seconds)

原文出处：http://www.shsxt.com/it/Big-data/825.html

上海尚学堂大数据教研组创作

BitTigerio

BitTigerio

相关推荐

如何在CDH 6.3.2 启用Kerberos 中 使用sentry限制 用户读写

mysql> grant all privileges on sentry.* to ‘sentry‘@‘%‘ identified by ‘sentry_1234‘ with grant option;完成以上配置后，回到Cloudera Mana

genshengxiao / 0评论 2020-06-04

docker下一步步部署sentry

　　Sentry是程序的哨兵，它可以监控我们在生产环境中项目的运行状态，一旦某段代码运行报错或者异常，会第一时间把报错的路由异常文件，请求方式 等一些非常详细的信息以消息或者邮件给我们，让我们第一时间知道：程序出错了，然后我们可以从 Sentry 给我们的

liaochaowu / 0评论 2020-03-28

在Django Web应用程序中使用Sentry实时监控软件错误入门教程

大家好，欢迎来到此Python/Django系列教程，我的名字是Henry Mbugua，我将使用Sentry带您浏览一下帮助所有软件开发团队实时发现并优先处理错误的监控应用程序的各个方面和新的解决办法。使用Sentry监控Django应用程序错误监控工具

aweilark / 0评论 2019-11-11

flask项目集成Sentry收集线上错误日志

flask集成sentry分为4个步骤：。首先在sentry官网注册1个账号。然后创建1个新的项目，这里我选择的是flask,这会得到一些关于sdk的使用说明。实时在sentry的dashboard的project页面上看到提交过来的异常信息。在flask

hzyuhz / 0评论 2019-10-21

webpack npm 报错问题集合

This is probably not a problem with npm. There is likely additional logging output above.A complete log of this run can be found

jiuweiC / 0评论 2019-09-06

利用 entry/onpremise 搭建一个 Sentry 异常汇总工具

之前我们说过利用「钉钉群」来通知 Laravel 的异常，但我们发现钉钉的作用更多的是通知我们有异常了，要跟进异常问题了。我们还是需要有一个地方，很直观的来汇总异常和分析异常，总不能每次出现问题我们都去服务器上看项目的 Log 吧。这个类包含两个方法：re

projectharbor / 0评论 2019-06-27

Sentry异常监控方案部署-前端攻略

故而，我们需要在项目出现异常时主动对其进行收集上报，分析原因和影响后制定下一步解决方案。选择Sentry的原因Sentry是一款国外的异常监控开源服务，名字翻译过来就是“哨兵”。最近在公司项目中部署了Sentry，用于项目中异常监控，涵盖了前端Vue、后端

xxuncle / 0评论 2019-06-27

Noticaition 1.0 正式发布了

支持 Coding、GitHub 、Sentry 等消息源的接入，以监听项目 WebHook 地址，将接收到的消息输出到 Teambition 讨论组，或者以邮件方式通知项目关系人。研发背景公司为了减少公司员工的工具使用成本，Bearychat 工具决定要

yuelcay / 0评论 2019-06-21

你要知道的10个Python第三库

Beautiful Soup是一个可以从HTML，XML进行提取文件的Python库，日常我们使用爬虫进行数据抓取回来之后，往往需要进行数据解析。题图就是requests的logo，这个库使用量之大，Python开发者应该是无人不知无人不晓。gevent是

QiaoRuoZhuo / 0评论 2019-01-08

Python丨10个强大的第三库

Beautiful Soup是一个可以从HTML，XML进行提取文件的Python库，日常我们使用爬虫进行数据抓取回来之后，往往需要进行数据解析。题图就是requests的logo，这个库使用量之大，Python开发者应该是无人不知无人不晓。gevent是

bnmcvzx / 0评论 2019-01-08

Python 实时日志平台 Sentry

Sentry从根本上讲是一项服务，可以帮助用户实时监控和修复崩溃。基于Django构建，它包含一个完整的API，用于从任何语言、任何应用程序中发送事件。Sentry 可以帮助你将 Python 程序的所有 exception 自动记录下来，然后在一个好用的

reallyr / 0评论 2018-11-23

你必须知道的10个Python第三库

Beautiful Soup是一个可以从HTML，XML进行提取文件的Python库，日常我们使用爬虫进行数据抓取回来之后，往往需要进行数据解析。题图就是requests的logo，这个库使用量之大，Python开发者应该是无人不知无人不晓。gevent是

honghao0 / 0评论 2019-01-08

Hive集成sentry的sql使用语法

Sentry权限控制通过Beeline输入Grant 和 Revoke语句来配置。语法跟现在的一些主流的关系数据库很相似。CREATE ROLE StatementCREATE ROLE语句创建一个可以被赋权的角色。默认情况下，hive、impala和hu

越疆 / 0评论 2017-09-15

Python 实时日志平台，Sentry 8 发布

Sentry 是一个实时的事件日志和聚合平台，基于 Django 构建。Sentry 可以帮助你将 Python 程序的所有 exception 自动记录下来，然后在一个好用的 UI 上呈现和搜索。处理 exception 是每个程序的必要部分，所以 Se

xiesheng / 0评论 2015-10-10

使用 Redis 实现 SQL 伸缩

可预测的，高性能并且适应性强，这是我过去几年越来越多使用它的原因。Sentry主要在PostgreSQL上运行已经不是秘密。一个多星期前，我在 Python Nordeste 上作了主题演讲。某种程度上而言我只能作一些快速的总结，我决定去找一些黑客来探讨大

fackyou00 / 0评论 2014-08-17

CentOS下安装配置Apache Sentry服务

环境系统环境：CentOS 6.7Hadoop版本：CDH5.10jdk版本：jdk7注：本文并未集成kerberos组件安装Sentry Server选择安装hive的节点进行安装测试：。sentry-store：sentry store组件配置配置se

87530399 / 0评论 2017-09-15

Apache Sentry任意代码执行漏洞(CVE-2016-0760)

Apache Sentry任意代码执行漏洞发布日期：2016-08-12更新日期：2016-08-22受影响系统：。BUGTRAQ ID: 92328CVE ID: CVE-2016-0760Apache Hive是数据库软件，有利于查询和管理分布式存储设

dingxingmei / 0评论 2016-08-22

为什么 Cloudera 要创建 Hadoop 安全组件 Sentry ？

外围安全技术多指传统意义上提到的网络安全技术，如防火墙，登陆认证等；数据的轮廓依然存在，但已无法精确定位数值。访问安全主要是对用户的授权进行管理。Linux/Unix系统中用户-组的读、写、执行权限管理堪称其中的经典模型。

lisa0 / 0评论 2015-02-04

利用Redis实现SQL伸缩的方法

我们在Sentry开发的早起采用的是sentry.buffers。重要的是，我们借助它完全消除了任何形式的耐久性 。考虑到将会处理一个突然产生且所有最终组合在一起进入同一个计数器的数据的场景，这种策略对Sentry用处很多。出于哨兵的局限性，我们必须终结持

anglehearts / 0评论 2019-04-01

利用Redis实现SQL伸缩的方法简介

我们在Sentry开发的早起采用的是sentry.buffers。这是一个简单的系统，它允许我们以简单的Last Write Wins策略来实现非常有效的缓冲计数器。重要的是，我们借助它完全消除了任何形式的耐久性 。使用ZRANGE获取所有的key 为

liuyulong / 0评论 2019-04-01