phoenix从入门到精通

yixiaoqi00 2020-06-01

 

第一章、phoenix入门简介

1. Phoenix定义

Phoenix最早是saleforce的一个开源项目，后来成为Apache基金的顶级项目。

Phoenix是构建在HBase上的一个SQL层，能让我们用标准的JDBC APIs而不是HBase客户端APIs来创建表，插入数据和对HBase数据进行查询。

put the SQL back in NoSQL

Phoenix完全使用Java编写，作为HBase内嵌的JDBC驱动。Phoenix查询引擎会将SQL查询转换为一个或多个HBase扫描，并编排执行以生成标准的JDBC结果集。直接使用HBase API、协同处理器与自定义过滤器，对于简单查询来说，其性能量级是毫秒，对于百万级别的行数来说，其性能量级是秒。

HBase的查询工具有很多，如：Hive、Tez、Impala、Spark SQL、Phoenix等。

Phoenix通过以下方式使我们可以少写代码，并且性能比我们自己写代码更好：

  • 将SQL编译成原生的HBase scans。
  • 确定scan关键字的最佳开始和结束
  • 让scan并行执行
  • ...

2. Phoenix架构

phoenix从入门到精通
Phoenix Architecture.png
  • Phoenix在Hadoop生态系统中的位置
 
phoenix从入门到精通
位置.png

特性

3.1 Transactions (beta) 事务

该特性还处于beta版，并非正式版。通过集成Tephra,Phoenix可以支持ACID特性。Tephra也是Apache的一个项目,是事务管理器，它在像HBase这样的分布式数据存储上提供全局一致事务。HBase本身在行层次和区层次上支持强一致性，Tephra额外提供交叉区、交叉表的一致性来支持可扩展性。

3.2 User-defined functions(UDFs) 用户定义函数

3.2.1 概述

Phoenix从4.4.0版本开始支持用户自定义函数。

用户可以创建临时或永久的用户自定义函数。这些用户自定义函数可以像内置的create、upsert、delete一样被调用。临时函数是针对特定的会话或连接，对其他会话或连接不可见。永久函数的元信息会被存储在一张叫做SYSTEM.FUNCTION的系统表中，对任何会话或连接均可见。

3.3 Secondary Indexing 二级索引

在HBase中，只有一个单一的按照字典序排序的rowKey索引，当使用rowKey来进行数据查询的时候速度较快，但是如果不使用rowKey来查询的话就会使用filter来对全表进行扫描，很大程度上降低了检索性能。而Phoenix提供了二级索引技术来应对这种使用rowKey之外的条件进行检索的场景。

  • Covered Indexes

只需要通过索引就能返回所要查询的数据，所以索引的列必须包含所需查询的列(SELECT的列和WHRER的列)

  • Functional Indexes

从Phoeinx4.3以上就支持函数索引，其索引不局限于列，可以合适任意的表达式来创建索引，当在查询时用到了这些表达式时就直接返回表达式结果

  • Global Indexes

Global indexing适用于多读少写的业务场景。
使用Global indexing的话在写数据的时候会消耗大量开销，因为所有对数据表的更新操作（DELETE, UPSERT VALUES and UPSERT SELECT）,会引起索引表的更新，而索引表是分布在不同的数据节点上的，跨节点的数据传输带来了较大的性能消耗。在读数据的时候Phoenix会选择索引表来降低查询消耗的时间。在默认情况下如果想查询的字段不是索引字段的话索引表不会被使用，也就是说不会带来查询速度的提升。

  • Local Indexes

Local indexing适用于写操作频繁的场景。
与Global indexing一样，Phoenix会自动判定在进行查询的时候是否使用索引。使用Local indexing时，索引数据和数据表的数据是存放在相同的服务器中的避免了在写操作的时候往不同服务器的索引表中写索引带来的额外开销。使用Local indexing的时候即使查询的字段不是索引字段索引表也会被使用，这会带来查询速度的提升，这点跟Global indexing不同。一个数据表的所有索引数据都存储在一个单一的独立的可共享的表中。

3.4 Statistics Collection 统计信息收集

UPDATE STATISTICS可以更新某张表的统计信息，以提高查询性能

3.5 Row timestamp 时间戳

从4.6版本开始，Phoenix提供了一种将HBase原生的row timestamp映射到Phoenix列的方法。这样有利于充分利用HBase提供的针对存储文件的时间范围的各种优化，以及Phoenix内置的各种查询优化。

3.6 Paged Queries 分页查询

Phoenix支持分页查询：

  • Row Value Constructors (RVC)
  • OFFSET with limit

3.7 Salted Tables 散步表

如果row key是自动增长的，那么HBase的顺序写会导致region server产生数据热点的问题，Phoenix的Salted Tables技术可以解决region server的热点问题

3.8 Skip Scan 跳跃扫描

可以在范围扫描的时候提高性能

3.9 Views 视图

标准的SQL视图语法现在在Phoenix上也支持了。这使得能在同一张底层HBase物理表上创建多个虚拟表。

3.10 Multi tenancy 多租户

通过指定不同的租户连接实现数据访问的隔离

3.11 Dynamic Columns 动态列

Phoenix 1.2, specifying columns dynamically is now supported by allowing column definitions to included in parenthesis after the table in the FROM clause on a SELECT statement. Although this is not standard SQL, it is useful to surface this type of functionality to leverage the late binding ability of HBase.

3.12 Bulk CSV Data Loading 大量CSV数据加载

加载CSV数据到Phoenix表有两种方式：1. 通过psql命令以单线程的方式加载，数据量少的情况下适用。 2. 基于MapReduce的bulk load工具，适用于数据量大的情况

3.13 Query Server 查询服务器

Phoenix4.4引入的一个单独的服务器来提供thin客户端的连接

3.14 Tracing 追踪

从4.1版本开始Phoenix增加这个特性来追踪每条查询的踪迹，这使用户能够看到每一条查询或插入操作背后从客户端到HBase端执行的每一步。

3.15 Metrics 指标

Phoenix提供各种各样的指标使我们能够知道Phoenix客户端在执行不同SQL语句的时候其内部发生了什么。这些指标在客户端JVM中通过两种方式来收集：

  • Request level metrics - collected at an individual SQL statement
    level
  • Global metrics - collected at the client JVM level

第二章、phoenix安装简介

前置条件

  • 各软件版本：hadoop-2.7.7、hbase-2.1.5 、jdk1.8.0_211、zookeeper-3.4.10、apache-phoenix-5.0.0-HBase-2.0-bin.tar.gz
  • 至少 3 台 Centos 服务器，主机名分别为：hadoop0001、hadoop0002、hadoop0003
  • 这里所有的软件将安装在 hadoop 用户的 /home/hadoop/app 目录下
  • 在每台服务器设置 hosts
[ ~]$ vim /etc/hosts

host 内容如下：

# 127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
# ::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
10.2.1.102  hadoop0001
10.2.1.103  hadoop0002
10.2.1.104  hadoop0003
  • ssh 免密登录（此步骤可以忽略，但 Hadoop 每次启动都需要输入密码）

在 hadoop0001 终端执行以下命令：

[ ~]$ ssh-keygen -t rsa -P "" //一直回车即可
[ ~]$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
[ ~]$ cat ~/.ssh/id_rsa.pub >> :~/.ssh/authorized_keys
[ ~]$ cat ~/.ssh/id_rsa.pub >> :~/.ssh/authorized_keys

在 hadoop0002 终端执行以下命令：

[ ~]$ ssh-keygen -t rsa -P "" //一直回车即可
[ ~]$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
[ ~]$ cat ~/.ssh/id_rsa.pub >> :~/.ssh/authorized_keys
[ ~]$ cat ~/.ssh/id_rsa.pub >> :~/.ssh/authorized_keys

在 hadoop0003 终端执行以下命令：

[ ~]$ ssh-keygen -t rsa -P "" //一直回车即可
[ ~]$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
[ ~]$ cat ~/.ssh/id_rsa.pub >> :~/.ssh/authorized_keys
[ ~]$ cat ~/.ssh/id_rsa.pub >> :~/.ssh/authorized_keys

验证免密登录

[ ~]$ ssh localhost
Last login: Fri Jan  4 13:45:54 2019 //出现这个结果表示免密登录成功

JDK 环境变量配置：

# 用户家目录下
[hadoop@hadoop0001 ~]$ vim .bashrc

添加以下内容：

JAVA_HOME=/home/hadoop/app/jdk1.8.0_192
CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar 
PATH=$JAVA_HOME/bin:$HOME/bin:$HOME/.local/bin:$PATH

最后使环境变量生效：

# 用户家目录下
[hadoop@hadoop0001 ~]$ . .bashrc

JDK 验证：

java -version
java version "1.8.0_192"
Java(TM) SE Runtime Environment (build 1.8.0_192-b12)
Java HotSpot(TM) 64-Bit Server VM (build 25.192-b12, mixed mode) java -version

将 hadoop0001 的 JDK 复制到其他服务器上

[ app]$ scp -r jdk1.8.0_192/ :~/app/jdk1.8.0_192/
[ app]$ scp -r jdk1.8.0_192/ :~/app/jdk1.8.0_192/
[ ~]$ scp /etc/profile :/etc/profile
[ ~]$ scp /etc/profile :/etc/profile
  • NTP 服务搭建
    每台服务器上安装 ntp
[hadoop@hadoop0001 ~]$ yum install -y ntp

hadoop0001 配置 ntp

[hadoop@hadoop0001 ~]$ vim /etc/ntp.conf

添加以下配置：

restrict 10.2.1.0 mask 255.255.255.0 nomodify notrap
logfile /var/log/ntpd.log
server ntp1.aliyun.com
server ntp2.aliyun.com
server ntp3.aliyun.com
server 127.0.0.1
fudge 127.0.0.1 stratum 10

完整配置文件(ntp.conf)：

# For more information about this file, see the man pages
# ntp.conf(5), ntp_acc(5), ntp_auth(5), ntp_clock(5), ntp_misc(5), ntp_mon(5).

driftfile /var/lib/ntp/drift

logfile /var/log/ntpd.log

# Permit time synchronization with our time source, but do not
# permit the source to query or modify the service on this system.
restrict default nomodify notrap nopeer noquery

# Permit all access over the loopback interface.  This could
# be tightened as well, but to do so would effect some of
# the administrative functions.
restrict 127.0.0.1
restrict ::1

# Hosts on local network are less restricted.
#restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap
restrict 10.2.1.0 mask 255.255.255.0 nomodify notrap

# Use public servers from the pool.ntp.org project.
# Please consider joining the pool (http://www.pool.ntp.org/join.html).
#server 0.centos.pool.ntp.org iburst
#server 1.centos.pool.ntp.org iburst
#server 2.centos.pool.ntp.org iburst
#server 3.centos.pool.ntp.org iburst
server ntp1.aliyun.com
server ntp2.aliyun.com
server ntp3.aliyun.com

server 127.0.0.1
fudge 127.0.0.1 stratum 10

#broadcast 192.168.1.255 autokey        # broadcast server
#broadcastclient                        # broadcast client
#broadcast 224.0.1.1 autokey            # multicast server
#multicastclient 224.0.1.1              # multicast client
#manycastserver 239.255.254.254         # manycast server
#manycastclient 239.255.254.254 autokey # manycast client

# Enable public key cryptography.
#crypto

includefile /etc/ntp/crypto/pw

# Key file containing the keys and key identifiers used when operating
# with symmetric key cryptography. 
keys /etc/ntp/keys

# Specify the key identifiers which are trusted.
#trustedkey 4 8 42

# Specify the key identifier to use with the ntpdc utility.
#requestkey 8

# Specify the key identifier to use with the ntpq utility.
#controlkey 8

# Enable writing of statistics records.
#statistics clockstats cryptostats loopstats peerstats

# Disable the monitoring facility to prevent amplification attacks using ntpdc
# monlist command when default restrict does not include the noquery flag. See
# CVE-2013-5211 for more details.
# Note: Monitoring will not be disabled with the limited restriction flag.
disable monitor

时间服务器可参考：https://www.pool.ntp.org/zone/asia

时间同步：

[hadoop@hadoop0001 ~]$ sudo ntpdate -u ntp1.aliyun.com
16 Jul 16:46:39 ntpdate[12700]: adjust time server 120.25.115.20 offset -0.002546 sec

启动时间服务：

[hadoop@hadoop0001 ~]$ sudo systemctl start ntpd

时间服务开机自启：

[hadoop@hadoop0001 ~]$ sudo systemctl enable ntpd

在 hadoop0002 和 hadoop0003 配置 ntp 客户端
在 /etc/ntp.conf 配置如下代码

server hadoop0001

查看 ntp 是否同步
如下表示未同步

[ ~]# ntpstat 
unsynchronised
  time server re-starting
   polling server every 8 s

如下表示已同步

[ ~]# ntpstat
synchronised to NTP server (120.25.115.20) at stratum 3 
   time correct to within 976 ms
   polling server every 64 s

注意：同步需要 10 分钟左右

Hadoop 安装

下载 Hadoop

wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gz

解压 Hadoop

tar -zxvf hadoop-2.7.7.tar.gz

配置 hadoop-env.sh

# 根据实际业务需要配置
export HADOOP_HEAPSIZE=1024

配置 mapred-env.sh

export JAVA_HOME=${JAVA_HOME}

配置 yarn-env.sh

# 根据实际业务需要配置
JAVA_HEAP_MAX=-Xmx512m
YARN_HEAPSIZE=1024

配置 core-site.xml

<!-- hdfs 端口 -->
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://hadoop0001:8020</value>
  </property>
  <!-- hadoop 临时数据目录 -->
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/home/hadoop/application/hadoop-2.7.7/data</value>
  </property>
  <property>
    <name>fs.trash.interval</name>
    <value>14400</value>
  </property>

配置 yarn-site.xml

<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>hadoop0001</value>
    <discription>指定 YARN 的 ResourceManager 的地址</discription>
  </property>

  <property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
    <discription>日志聚集功能</discription>
  </property>

  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
    <discription>Reducer 获取数据方式</discription>
  </property>

  <property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
  </property>

  <property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value
yixiaoqi00

yixiaoqi00

相关推荐

【异常】Error: ERROR 1012 (42M03): Table undefined. (state=42M03,code=1012)

Error: ERROR 1012 (42M03): Table undefined. (state=42M03,code=1012)

香帅 / 0评论 2020-01-12

HBase的部署与其它相关组件（Hive Phoenix）的集成

HBase的部署与其它相关组件的集成。Hadoop集群的正常部署并启动：。解压HBase到指定目录：。需要修改HBase对应的配置文件。提示：如果使用的是JDK8以上版本，注释掉hbase-env.sh的45-47行，不然会报警告。1)删除原有的jar：。

victorzhzh / 0评论 2019-12-02

phoenix创建表失败：phoenixIOException: Max attempts exceeded

下面的问题，搞了1天才解决，太坑了，在这里记录一下。问题现像：执行命令后，1分钟没有返回， 然后报下面的错，偶尔会出现以下不同的报错信息。

newfarhui / 0评论 2019-10-27

HBase单机安装及Phoenix JDBC连接

HBase是建立在Hadoop文件系统之上的分布式面向列的数据库，它是横向扩展的。它利用了Hadoop的文件系统提供的容错能力。HBase提供对数据的随机实时读/写访问，可以直接HBase存储HDFS数据。下载hbase前，检查本机的Hadoop版本：。我

ITwangnengjie / 0评论 2019-10-24

如何在Ubuntu 18.04上安装Elixir和Phoenix Framework

本教程将向您展示如何在Ubuntu 18.04服务器实例上安装Elixir和Phoenix frameworks以进行开发。以非root sudo用户身份登录。Erlang/OTP 22 [erts-10.4.2] [source] [64-bit] [s

MJlife / 0评论 2019-06-26

Phoenix关联Hbase表

需求对于Hbase中已经存在的表，使用Phoenix进行sql查询1. 创建hbase表create 'phoenix','info'2. 插入数据put 'phoenix', 'row001','info:name','phoenix'put 'pho

lvwenyuan / 0评论 2019-06-26

在phoenix中使用webpack

phoenix选择了brunch作为静态资源的管理工具，一番折腾之后，发现这个东西确实独特，配置少，上手简单，编译快。但是随着使用的深入，它的不足也越来越明显，老旧，更新缓慢，各种资源都年久失修。为了让brunch配合vue使用，我甚至还花了几天时间去修复

kiramario / 0评论 2019-06-26

使用 Phoenix-4.11.0连接 Hbase 集群 ,并使用 JDBC 查询测试

Apache Phoenix 是运行在Hbase之上的高性能关系型数据库，通过Phoenix可以像使用jdbc访问关系型数据库一样访问hbase。Phoenix，操作的表以及数据存储在hbase上。可以把Phoenix 只看成一种代替Hbase语法的工具。

renzeGIS / 0评论 2019-06-25

Let’ s Build |> 使用 Elixir，Phoenix 和 React 打造克隆版的 Slack (part 3 )

Let’ s Build |> 使用 Elixir，Phoenix 和 React 打造克隆版的 Slack Live Demo---GitHub Repo. 上一篇博文中我们已经实现用户认证相关的API接口，接下来我们添加前端的登录注册界面并实现用

Elixir / 0评论 2019-06-21

[elixir! #0021][译] 使用Phoenix和Websockets创建一个游戏大厅系统 by Alex Jensen

随着Phoenix web 框架进入大家的视野, 许多人惊讶于它对 websockets 优秀的支持, 以及用它创建一个"hello world" 聊天应用是多么简单. 鉴于 websockets 在 Phoenix 中的一等公民地位,

Elixir / 0评论 2019-06-21

[elixir! #0019][译] 测试Phoenix WebSockets by Alex Jensen

最近我发表了一篇关于如何使用Phoenix的websockets创建一个游戏大厅的文章. 我们团队非常重视测试, 所以, 今天我将介绍如何测试我们之前编写的websocket代码.准备工作在开始之前, 我们需要运行 mix test, 先删除一些默认的测试

坚强00CSDN / 0评论 2019-06-21

[elixir! #0002] [译] 在Phoenix中实现动态表单 by José Valim

今天我们将要学习如何在Phoenix中使用我们的schema信息来动态地构建带有合法性检查，报错等功能的输入框。我们的目标是在模板中支持下列API：。我们旨在不添加第三方依赖，就能在我们自己的应用中使用很少的代码实现这些。这样当我们的应用变化时，就能随意地

jifangege / 0评论 2019-06-20

Elixir Phoenix: 自定义布局模板文件

end不使用布局我们知道 put_layout 可以用于在不同的范围内设置模板使用的布局文件, Phoenix 摸的布局文件为 app.html.eex, 如果你不需要使用布局文件, 可以吧 put_layout 设置为false, 这在需要输出自定义数据

jifangege / 0评论 2019-06-20

Hbase的SQL接口之Phoenix应用总结

writer.close();reader.close();System.out.println(res);

gengwx00 / 0评论 2014-09-19

HBase 的 SQL 驱动 Apache Phoenix

Phoenix 使得 HBase 支持通过 JDBC 的方式进行访问，并将你的 SQL 查询转成 HBase 的扫描和相应的动作。Phoenix 2.x - HBase 0.94.xPhoenix 3.x - HBase 0.94.xPhoenix 4.x

大而话之BigData / 0评论 2019-02-26

Apache Phoenix部署和测试

Apache Phoenix是一个HBase的开源SQL引擎。你可以使用标准的JDBCAPI代替HBase客户端API来创建表，插入数据，查询你的HBase数据。Phoenix通过以下方式实现了比你自己手写的方式相同或者可能是更好的性能：。针对目前已经存在

joananjin / 0评论 2017-12-13

已经潜伏 11 年！Linux 惊现高危内核漏洞 “Phoenix Talon”

Linux惊现四个高危内核漏洞：近日启明星辰ADLab发现Linux内核存在四个极度危险的漏洞——代号“Phoenix Talon”。经研究这些漏洞在Linux内核中至少已经存在了11年，几乎影响了这11年间发布的所有Linux内核和对应的发行版本以及相关

不断攀登的梦想 / 0评论 2017-06-16

Python连接phoenix的方法示例

本文实例讲述了Python连接phoenix的方法。分享给大家供大家参考，具体如下：。phoenix是由saleforce.com开源的一个项目，后又捐给了Apache。它相当于一个Java中间件，帮助开发者，像使用jdbc访问关系型数据库一些，访问NoS

JackLang / 0评论 2017-09-29

利用Phoenix代理进行P2P WebRTC开发

WebRTC的创建主要是为了视频和音频通信，但它也有在两个浏览器之间传递二进制数据的API。这为创建更多的点对点Web应用程序带来了许多机会，而且已经有许多有趣的应用程序是使用它创建的，如 WebTorrent 、 UberConference 。Zoha

biaobro / 0评论 2015-08-20

Apache Phoenix JDBC 驱动和Spring JDBCTemplate的集成

直接使用HBase API、协同处理器与自定义过滤器，对于简单查询来说，其性能量级是毫秒，对于百万级别的行数来说，其性能量级是秒。Phoenix实现了JDBC的驱动，使用Phoenix JDBC和普通的数据库JDBC一样,也可以通过Spring JDBCT

loveyy / 0评论 2015-03-20

Phoenix 3.1 + HBase 0.94.21 的安装和使用

Phoenix 使得 HBase 支持通过 JDBC 的方式进行访问，并将你的 SQL 查询转成 HBase 的扫描和相应的动作。Phoenix 2.x - HBase 0.94.xPhoenix 3.x - HBase 0.94.xPhoenix 4.x

maoyg0 / 0评论 2014-09-13

通过phoenix在hbase上创建二级索引，Secondary Indexing

通过在phoenix客户端连接hbase数据库，在phoenix中创建二级索引。<description>Factory to create the Phoenix RPC Scheduler that uses separate queues

BitTigerio / 0评论 2018-03-06

phoenix 开发API系列（三）phoenix api 结合数据库

概述 ;介绍了 ;api ;的各种写法之后，下面介绍构建 ;api ;时与数据库连接的方式。ecto ;简介 ;ecto ;其实是独立于 ;phoenix ;framework ;的，它是 ;elixir ;语言实现的用来访问数据库的框架，类似于 ;ORM

编程爱好者联盟 / 0评论 2016-09-14