OGG实现虚拟机-->阿里云单向同步全库数据(DML)--第I部分

mmmmmmmniu 2019-02-16

概述

GoldenGate软件是一种基于日志的结构化数据复制软件。GoldenGate 能够实现大量交易数据的实时捕捉、变换和投递,实现源数据库与目标数据库的数据同步,保持亚秒级的数据延迟。

GoldenGate能够支持多种拓扑结构,包括一对一,一对多,多对一,层叠和双向复制等等。

下面介绍下怎么通过ogg来实现虚拟机的数据库到阿里云数据库单向全库同步。(分几部分做介绍)


GoldenGate基本架构

OGG实现虚拟机-->阿里云单向同步全库数据(DML)--第I部分

Oracle GoldenGate主要由如下组件组成

● Extract

● Data pump

● Trails

● Collector

● Replicat

● Manager

Oracle GoldenGate 数据复制过程如下:

利用抽取进程(Extract Process)在源端数据库中读取Online Redo Log或者Archive Log,然后进行解析,只提取其中数据的变化信息,比如DML操作——增、删、改操作,将抽取的信息转换为GoldenGate自定义的中间格式存放在队列文件(trail file)中。再利用传输进程将队列文件(trail file)通过TCP/IP传送到目标系统。

目标端有一个进程叫Server Collector,这个进程接受了从源端传输过来的数据变化信息,把信息缓存到GoldenGate 队列文件(trail file)当中,等待目标端的复制进程读取数据。

GoldenGate 复制进程(replicat process)从队列文件(trail file)中读取数据变化信息,并创建对应的SQL语句,通过数据库的本地接口执行,提交到目标端数据库,提交成功后更新自己的检查点,记录已经完成复制的位置,数据的复制过程最终完成。


安装前准备

1、环境配置

OGG实现虚拟机-->阿里云单向同步全库数据(DML)--第I部分

2、进程配置:

OGG实现虚拟机-->阿里云单向同步全库数据(DML)--第I部分

OGG实现虚拟机-->阿里云单向同步全库数据(DML)--第I部分

3、创建源端和目标端的测试用户

3.1、源端

create user sender identified by oracle default tablespace users temporary tablespace temp;

grant connect,resource,unlimited tablespace to sender;

grant dba to sender;

grant imp_full_database to sender;

3.2、目的端

create user receiver identified by oracle default tablespace users temporary tablespace temp;

grant connect,resource,unlimited tablespace to receiver;

grant dba to receiver;

grant imp_full_database to receiver;


一、源端安装GoldenGate

1、解压软件

安装包为文件ggs_Linux_x64_ora11g_64bit_v11_1_1_0_0_078.tar

上传之后,然后再解压:

# tar -xvf ggs_Linux_x64_ora11g_64bit_v11_1_1_0_0_078.tar -C /opt/software/ogg/

2、创建用户

2.1创建目录

#mkdir -p /opt/software/ogg

#chmod -R 777 /opt/software/ogg

#chown -R oracle:oinstall /opt/software/ogg

2.2 创建ogg用户

#useradd -g oinstall -G dba ggate -d /home/ggate -m

3、设置环境变量

配置goldengate用户变量

#su - ggate

#vi ~/.bashrc

------------------------------------------------------------------------------------------
export ORACLE_BASE=/u01/app/oracle
export ORACLE_HOME=/u01/app/oracle/product/11.2.0/db_1
export ORACLE_SID=orcl
export LD_LIBRARY_PATH=$ORACLE_HOME/lib:/u01/app/oracle/ggate
export GGATE=/opt/software/ogg
export LD_LIBRARY_PATH=$ORACLE_HOME/lib:/lib:/usr/lib
export PATH=$PATH:$ORACLE_HOME/bin:$GGATE
-------------------------------------------------------------------------------------------

#source ~/.bashrc

4、安装GoldenGate

(1) 切换用户

#su - ggate
$cd /opt/software/ogg

(2) 运行./ggsci

[ggate@Oracle11g ogg]$ ./ggsci

(3) 新建子目录:

GGSCI (Oracle11g.ocp.hwb) 1> create subdirs

OGG实现虚拟机-->阿里云单向同步全库数据(DML)--第I部分

(4) 配置 GoldenGate 主进程参数

GGSCI (host2) 6> edit params mgr

输入:

PORT 7809

DYNAMICPORTLIST 7820-7830

然后保存

检查输入情况:

GGSCI (host2) 7> view params mgr

PORT 7809

(5)启动 GoldenGate 主控制进程:

GGSCI (Oracle11g.ocp.hwb) 4> start mgr

Manager started.

GGSCI (Oracle11g.ocp.hwb) 5> info mgr

Manager is running (IP port Oracle11g.ocp.hwb.7809).


二、目标端安装GoldenGate

1、解压软件

安装包为文件ggs_Linux_x64_ora11g_64bit_v11_1_1_0_0_078.tar

解压之后,然后再解压]

# tar -xvf ggs_Linux_x64_ora11g_64bit_v11_1_1_0_0_078.tar -C /opt/software/ogg/

2、创建用户

2.1创建目录

#mkdir -p /opt/software/ogg 
 #chmod -R 777 /opt/software/ogg 
 #chown -R oracle:oinstall /opt/software/ogg

2.2 创建ogg用户

#useradd -g oinstall -G dba ggate -d /home/ggate -m

3、设置环境变量

配置goldengate用户变量

#su - ggate
#vi ~/.bashrc
export ORACLE_BASE=/home/oracle/app/oracle
export ORACLE_HOME=/home/oracle/app/oracle/product/11.2.0/dbhome_1
export ORACLE_SID=nwppdb
export LD_LIBRARY_PATH=$ORACLE_HOME/lib:/home/oracle/app/oracle/ggate
export GGATE=/opt/software/ogg
export=$ORACLE_HOME/lib:/lib:/usr/lib
export PATH=$PATH:$ORACLE_HOME/bin:$GGATE
#source ~/.bashrc

4、安装GoldenGate

(1) 切换用户

#su - ggate

$cd /opt/software/ogg

(2) 运行./ggsci

ggate@iZmfgnjkehk13uZ:/opt/software/ogg$ ./ggsci

(3) 新建子目录:

GGSCI (Oracle11g.ocp.hwb) 1> create subdirs

OGG实现虚拟机-->阿里云单向同步全库数据(DML)--第I部分

(4) 配置 GoldenGate 主进程参数

GGSCI (host2) 6> edit params mgr

输入: PORT 7809

DYNAMICPORTLIST 7820-7830

然后保存

检查输入情况:

GGSCI (host2) 7> view params mgr

PORT 7809

(5)启动 GoldenGate 主控制进程:

GGSCI (Oracle11g.ocp.hwb) 4> start mgr

Manager started.

GGSCI (Oracle11g.ocp.hwb) 5> info mgr

Manager is running (IP port Oracle11g.ocp.hwb.7809).


篇幅有限,只能分几部分做介绍了,后面会介绍下源端数据库的配置和进程组的配置,大家有兴趣可以跟着做下实验,这个是之前测试通过的,理论上行得通。

后面会分享更多关于DBA和devops方面的内容,感兴趣的朋友可以关注下!!

OGG实现虚拟机-->阿里云单向同步全库数据(DML)--第I部分

相关推荐