一行命令：从 ELK 迁移日志服务

摘要： 日志服务相比自建 ELK 在功能、性能、规模和成本等方面有诸多优势。对于已经存储在 Elasticsearch 中的数据，用户只需要一行命令就能方便地将数据迁移至日志服务。

概述

日志服务相比自建 ELK 在功能、性能、规模和成本等方面有诸多优势，参阅自建ELK vs 日志服务(SLS)全方位对比。对于已经存储在 Elasticsearch 中的数据，用户只需要一行命令就能方便地将数据迁移至日志服务。

数据迁移简介

数据迁移顾名思义是指将数据从某个数据源迁移到另外一个数据源。根据不同数据源存储引擎是否相同，可分为同源迁移和异构迁移。根据迁移类型的不同，可分为全量迁移和增量迁移。

目前，各大云计算厂商都提供了各自的数据迁移方案，如 AWS DMS，Azure DMA，阿里云 DTS。这些方案主要专注于解决关系型数据库间的数据迁移问题，还未覆盖到 Elasticsearch 场景。

Elasticsearch 数据迁移方案

针对 Elasticsearch 场景，日志服务团队提供了基于 aliyun-log-python-sdk 和 aliyun-log-cli 的解决方案。该方案主要针对历史数据做全量迁移。

原理

• 使用 Scroll API 从 Elasticsearch 抓取数据。Scroll API 可以从 Elasticsearch 里高效取出大量数据而无须付出深度分页的代价。

• 针对 Elasticsearch 每个 index 的每个 shard 创建一个数据迁移任务，提交到内部进程池中执行，用来提高并行度和吞吐量。

功能

• 支持用户将 Elasticsearch 中的所有文档或某些索引中的文档迁移至日志服务指定的 project 中，工具会自动初始化好与索引同名的 logstore。

• 支持用户自定义过滤条件，只迁移符合条件的文档至日志服务。

• 支持用户自定义 Elasticsearch 的索引和日志服务的 logstore 之间的映射关系。

• 支持用户通过参数 pool_size 来控制数据迁移任务的并行度。

• 支持用户自定义日志字段 time、__source__、__topic__ 的取值。

• 支持使用 HTTP 基本认证从 Elasticserch 中迁移数据。

映射关系

Elasticsearch 数据模型中包含 - 索引（index），类型（type），文档（document），映射（mapping），数据类型（field datatypes）等概念，它们和日志服务中数据模型的映射关系如下表所示。

使用样例

下面通过一段视频向您展示如何使用 CLI 将 nginx 访问日志从 Elasticsearch 迁移至日志服务，以及如何对这批数据进行查询分析。

视频地址

迁移命令

查询分析

1.以天为单位统计各状态码的数量。

2.统计请求分布在哪些国家。

性能调优

工具的性能主要取决于从 Elasticsearch 中读取数据的速度以及向日志服务写入数据的速度。

Elasticsearch 读取速度

Elasticsearch 中每个 index 由多个 shard 组成。工具会为每个 index 的每个 shard 创建一个数据迁移任务，并提交到内部进程池中执行（进程池大小可通过参数 pool_size 指定）。理论上目标 index 的 shard 越多，整体吞吐量越高。

日志服务写入速度

日志服务也有 shard 的概念，单个 shard 提供 5MB/s，500次/s 的写入能力。您可以通过为 logstore 开启更多的 shard 来提高向日志服务写入数据的速度。

性能数据

在 Elasticsearch 目标 index 只有1个 shard，日志服务 logstore 也只有1个 shard，单个文档大小 100B 的情况下，平均数据迁移速率为 3MB/s。

本文作者：吴波bruce_wu

阅读原文

本文为云栖社区原创内容，未经允许不得转载。