canal 1.0.25 快速启动配置

标题文字 ##Canal的组成部分

简单来说，Canal 会将自己伪装成 MySQL 从节点（Slave），并从主节点（Master）获取 Binlog，解析和贮存后供下游消费端使用。
Canal 包含两个组成部分：服务端和客户端。服务端负责连接至不同的 MySQL 实例，并为每个实例维护一个事件消息队列；客户端则可以订阅这些队列中的数据变更事件，处理并存储到数据仓库中。

如何快速搭建

1.配置 MySQL 主节点
安装mysql : https://segmentfault.com/a/11...
MySQL 默认没有开启 Binlog，因此我们需要对 my.cnf 文件做以下修改：

[root@canal /]# vi etc/my.cnf

[mysqld]
log-bin=mysql-bin #添加这一行就ok
binlog-format=ROW #选择row模式
server_id=1 #配置mysql replaction需要定义，不能和canal的slaveId重复

2.mysql slave 相关权限
canal的原理是模拟自己为mysql slave，所以这里一定需要做为mysql slave的相关权限.

# 创建用户
mysql> CREATE USER 'canal'@'localhost' IDENTIFIED BY 'canal';
# 授权
mysql> GRANT ALL PRIVILEGES ON *.* TO 'canal'@'%' ;
# 查看用户权限
mysql> show grants canal

3.启动步骤：下载canal

[root@murasakiseifu ~]# wget https://github.com/alibaba/canal/releases/download/canal-1.0.25/canal.deployer-1.0.25.tar.gz

4.启动步骤：解压缩

[root@murasakiseifu ~]# mkdir /tmp/canal
[root@murasakiseifu ~]# tar zxvf canal.deployer-$version.tar.gz  -C /tmp/canal

解压完成后，进入/tmp/canal目录，可以看到如下结构：

drwxr-xr-x   6 murasakiseifu  staff   204B  1 15 11:42 bin
-rw-r--r--@  1 murasakiseifu  staff    20M  1 10 10:30 canal.deployer-1.0.25.tar.gz
drwxr-xr-x   6 murasakiseifu  staff   204B  1 15 11:29 conf
drwxr-xr-x  50 murasakiseifu  staff   1.7K  1 15 11:29 lib
drwxr-xr-x@  4 murasakiseifu  staff   136B  1 15 11:33 logs

5.启动步骤：配置修改
canal有两个配置文件，一个是canal.properties,这个是系统根配置文件。一个是example实例下的instance.properties,这个是instance级别的配置文件，每个instance一份。
我们先配置一下 canal.properties：

[root@murasakiseifu ~]# cat canal/conf/canal.properties
#################################################
#########         common argument        #############
#################################################
canal.id= 1
# 系统根配置文件调用实例配置文件，而实例配置文件调用数据库信息，所以canal.ip为本地的ip地址，
端口号自己设置即可，消费者与canal连接也是通过这个ip和端口。
canal.ip= 172.16.42.107
canal.port= 11111
.
. # 中间省略 #
.
#################################################
#########         destinations        #############
#################################################
# 此模块为一个实例模块，canal支持一对多，所以这个实例的名称为：example #
canal.destinations= example
# conf root dir
.
. # 下部省略 #
.

接下来配置 instance.properties。在配置canal之前，我们先连接mysql，查看master status

mysql> show master status;
+------------------+----------+--------------+------------------+-------------------+
| File             | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
+------------------+----------+--------------+------------------+-------------------+
| mysql-bin.000021 |     4241 |              |                  |                   |
+------------------+----------+--------------+------------------+-------------------+
1 row in set (0.00 sec)

我们可以看到File：mysql-bin.000021 Position：4241 记住这两个值
配置instance.properties：

# binlog format/image check
  1 #################################################
  2 ## mysql serverId
  3 canal.instance.mysql.slaveId=234 # 不能与mysql配置文件中的slaveId重复
  4 # position info
  5 canal.instance.master.address=192.168.187.130:3306 # 为数据库地址 我的数据库在虚拟机中
  6 canal.instance.master.journal.name=mysql-bin.000021 # 填入我们刚才查看的master status
  7 canal.instance.master.position=4241
  8 canal.instance.master.timestamp=
  9
 10
 11 # table meta tsdb info
 12 canal.instance.tsdb.enable=false # 为1.0.25的新功能 不是太了解 因为我们是快速配置 先关闭
 13 canal.instance.tsdb.dir=${canal.file.data.dir:../conf}/${canal.instance.destination:}
 14 canal.instance.tsdb.url=jdbc:h2:${canal.instance.tsdb.dir}/h2;CACHE_SIZE=1000;MODE=MYSQL;
 15 #canal.instance.tsdb.url=jdbc:mysql://127.0.0.1:3306/canal_tsdb # 用不到一下三个配置 都注释掉
 16 #canal.instance.tsdb.dbUsername=canal
 17 #canal.instance.tsdb.dbPassword=canal
 18
 19
 20 #canal.instance.standby.address =
 21 #canal.instance.standby.journal.name =
 22 #canal.instance.standby.position =
 23 #canal.instance.standby.timestamp =
 24 # username/password
 25 canal.instance.dbUsername=canal # 自己数据库的信息 使用我们刚开权限的用户 canal
 26 canal.instance.dbPassword=canal # 自己数据库的信息
 27 canal.instance.defaultDatabaseName=mytest # 自己数据库的信息
 28 canal.instance.connectionCharset=UTF-8 # 自己数据库的信息
 29 # table regex
 30 canal.instance.filter.regex=.*\\..*

6.启动配置

[root@murasakiseifu ~]# sh bin/startup.sh
.
.# 中间省略 #
.
cd to /Users/murasakiseifu/canal-fzz/bin for continue

7.查看日志

root@murasakiseifu ~]# tail -100f /logs/example/example.log
2018-01-16 16:50:45.636 [main] INFO  c.a.o.c.i.spring.support.PropertyPlaceholderConfigurer - Loading properties file from class path resource [canal.properties]
2018-01-16 16:50:45.641 [main] INFO  c.a.o.c.i.spring.support.PropertyPlaceholderConfigurer - Loading properties file from class path resource [example/instance.properties]
2018-01-16 16:50:45.803 [main] INFO  c.a.otter.canal.instance.spring.CanalInstanceWithSpring - start CannalInstance for 1-example 
2018-01-16 16:50:45.810 [main] INFO  c.a.otter.canal.instance.spring.CanalInstanceWithSpring - start successful....

8.关闭配置

[root@murasakiseifu ~]# sh bin/stop.sh

9.编写 Canal 客户端

下载：https://github.com/alibaba/canal/tree/v1.0.25
打开项目，启动 example，更改表中更信息了。

参考文献：
https://github.com/alibaba/ca...
https://www.waitig.com/canal%...
https://zhidao.baidu.com/ques...
http://blog.csdn.net/my201110...
https://www.jianshu.com/p/629...

著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。