linux下kettle配置安装

hck0ne 2020-05-17

1.解压

unZip pdi-ce-9.0.0.0-423.zip -d ~/soft/kettle

2.运行

sh spoon.sh

3.连接mysql数据库需要相应版本的驱动jar包

放在kettle/lib目录下
jar包集合下载：https://mvnrepository.com/artifact/mysql/mysql-connector-java

4.连接数据库需要在选项中添加参数否者中文乱码

编辑数据库连接，在选项中添加 characterEncoding 值为utf8或者gbk,

: hck0ne

Kettle 4.4.0 通过 Java 代码输出日志到表

之所以选择4.4.0，因为公司还在用Java6编程……但是项目的需求是：实施人员上传kettle的文件，然后在界面上点击运行，运行完之后需要在页面上看日志。当然 kettle 是自带日志输出功能的，不过我们总不能跟客户说：“你在kettle里面定义好日志输

lightlanguage 0喜欢 / 0评论 2020-07-28

KETTLE完全分布式集群搭建和示例

此处以一个真实环境为例，来介绍kettle完全分布式环境的开发使用。Kettle安装创建一个目，将下载好的kettle解压后放在该文件夹下。其中masters中，name、hostname、port需要和carte-config-master-8080.x

middleware0 0喜欢 / 0评论 2020-05-29

linux,windows kettle安装方法

windows解压就行了,需要注意的是参数文件需要改一下,容易报错,导大对象的时候,java内存改大,要不然导一半报错就烦了

xiaohouye 0喜欢 / 0评论 2020-05-07

[etl数据库同步]使用Kettle实现数据库同步

Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，绿色无需安装，数据抽取高效稳定。本经验主要介绍如何通过Kettle工具实现两个数据库的同步，只需要写少量SQL语句，步骤很多，但是实际上很简单，希望对你

hithyc 0喜欢 / 0评论 2020-04-17

Kettle的使用——大数据清洗技术

kettle安装：下载包直接解压打开就能用，不在阐述；将驱动jar包复制粘贴到data-integration\lib文件下；重启spoon。操作完成之后反复尝试还是报相同的错，识别不到，则说明你的kettle版本与你的驱动版本不容，无法识别。下面的sql

hithyc 0喜欢 / 0评论 2020-03-02

kettle入库乱码问题

对于使用kettle把csv文件导入数据库出现中文乱码问题，首先排查数据库属性中的字符集是否为utf8，其次数据库自断的字符集是否utf8，如果都没问题，那么问题就是出在kettle上，首先是kettle连接数据库的db连接处要添加一个属性，添加chara

Kele0 0喜欢 / 0评论 2020-03-01

【实战】使用 Kettle 工具将 mysql 数据增量导入到 MongoDB 中

最近有一个将 mysql 数据导入到 MongoDB 中的需求，打算使用 Kettle 工具实现。本文章记录了数据导入从0到1的过程，最终实现了每秒钟快速导入约 1200 条数据。1）根据 source 和 db 字段来获取 MongoDB 集合内 bus

fangxiaoji 0喜欢 / 0评论 2020-01-24

kettle连接oracle数据库报错，ORA-12505

(DESCRIPTION = (ADDRESS = (PROTOCOL = TCP)(HOST = IP)(PORT. 出现这个错误之前在百度上多的解决方法是oracle的jar包版本问题，不过这个方法也可以解决。顺便提示下，用es连接oracle的时候把

PlumRain 0喜欢 / 0评论 2020-01-06

Kettle4.3源码分析

n error in your SQL syntax; check the manual that corresponds to your MySQL serv. er version for the right syntax to use near 'O

chenchuanwen 0喜欢 / 0评论 2014-07-12

Kettle 执行SQL脚本

本文将对Kettle5中常用步骤字段选择进行详细解释。这个步骤的功能非常强大，主要包括：。从输入流中清空元数据集合；如果选中“包含未选择的列”，那么把其他字段按照名字排序，依次加入元数据中；从已有元数据中按照“元数据”设置进行修改。Date format

ALiDan 0喜欢 / 0评论 2019-12-11

使用Kettle导入数据到ADB for PostgreSQL

Kettle是一款非常受欢迎的开源ETL工具软件，主要用于数据整合、转换和迁移。Kettle除了支持各种关系型数据库，HBase MongoDB这样的NoSQL数据源外，它还支持Excel、Access这类小型的数据源。并且通过这些插件扩展，kettle可

88407705 0喜欢 / 0评论 2019-11-18

详解kettle工具记录集连接功能及实验测试

概述今天主要介绍下kettle的记录集连接功能和一些注意点。多表的join，可以直接用sql写入组件，也可以借助kettle提供的组件，使用kettle的记录集连接组件，首先必须要两个输入数据集是有序的，并且是根据需要join的字段排序，可以借助kettl

hdandan0 0喜欢 / 0评论 2019-10-30

基于kettle工具连接mysql数据库并导出sql结果

概述今天主要介绍下kettle怎么去连接mysql数据库及导出sql查询结果。），放入kettle的lib文件夹。新建转换后在左边的主对象树中建立DB连接用以连接数据库。

frank0 0喜欢 / 0评论 2019-10-28

kettle入门教程

Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，数据抽取高效稳定。Kettle 中文名称叫水壶，该项目的主程序员MATT 希望把各种数据放到一个壶里，然后以一种指定的格式流出。Kettle这个ETL工

thunderstorm 0喜欢 / 0评论 2018-01-07

利用PDI(Kettle)构造数据

利用Generate Rows 构造行数据，再利用这个控件中Limit 属性控制生成的条数

wujun 0喜欢 / 0评论 2015-01-07

kettle的源代码svn地址

下载速度比较慢。这里的源码是3.X版本的。

liuxueping 0喜欢 / 0评论 2011-07-06

linux下使用crond定时执行kettle的job

关于超级用户访问权限的说明：要将JRE安装在系统级位置，必须以超级用户身份登录，从而获得必要的权限。此时将显示二进制许可协议。按空格键显示下一页。所以，当crond执行kettle任务时，需要动态设置java环境变量，crond才能找到java命令。

Ryan的砖篮 0喜欢 / 0评论 2013-06-27

数据建模，ODS模型分析

根据ODS系统解决的不同的数据问题，将ODS模型将数据按三层进行管理：分别针对细节级数据、汇总型数据和分析型数据，每个区域有自己的管理重点。这些数据经过清洗、标准化，主要是操作型数据和参数数据。基础数据层按业务主题进行归类、整合。ADM与MDM层数据，处理

xusong 0喜欢 / 0评论 2012-05-09

利用Kettle进行数据同步（上）

写这篇文章，是源于公司内部的一个常见需求：将生产环境的数据同步到测试环境，以便更方便的进行测试和bug定位。起初是用的Navicat Premium这款DB管理软件，功能非常强大了，足以满足开发人员的日常工作需求，也包括上述的数据同步需求。随着公司业务日臻

数据中心运维管理 0喜欢 / 0评论 2019-06-27

Kettle Table Exists控件优化

经过进一步分析，了解到在判断hive数据库时，当表的数据量很大或视图的查询逻辑非常复杂，控件调用就会变得非常耗时。初步想法是控件在运行时，可能是数据库连接或查询数据的TEST SQL有问题，导致对大量数据表的判断没有进行优化。为了验证这一想法并进行彻底的优

leys 0喜欢 / 0评论 2019-06-26

用kettle 进行数据库的迁移--DB2 迁移到 mysql

这就涉及到，在不动系统代码的情况下，怎样直接将DB2数据库的表结构、数据、主键、索引等迁移到MariaDB上。第一次做这类型的工作，在网上找各种数据库迁移的工具，最终选择了kettle这款开源的工具，经过几天下来，终于完成了，特此记录，方便以后查阅。

bluetears 0喜欢 / 0评论 2019-06-21

kettle下转移mongo中数据到mysql中

Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，数据抽取高效稳定。作为一个数据抽取工具，在建立数据仓库的过程中，免不了需要从不同的数据源中抽取到集中的数据仓库中，下面就拿mongodb抽取到mysql

hanyueqi 0喜欢 / 0评论 2019-06-21

Kettle的一些应用问题

这是新手最容易犯错的一个地方，A数据流跟B数据流能够Join，肯定是它们包含joinkey,joinkey可以是一个字段也可以是多个字段。如果两个数据流没有joinkey,那么它们就是在做笛卡尔积，一般很少会这样。Group,merge,streamloo

mikean 0喜欢 / 0评论 2008-03-19

使用Kettle导入数据到ADB for PostgreSQL

Kettle简介Kettle是一款非常受欢迎的开源ETL工具软件，主要用于数据整合、转换和迁移。Kettle除了支持各种关系型数据库，HBase MongoDB这样的NoSQL数据源外，它还支持Excel、Access这类小型的数据源。并且通过这些插件扩展

mydownloador 0喜欢 / 0评论 2019-05-18

使用KETTLE从mysql同步增量数据到oracle

初次使用ETL工具抽取并同步数据，搜索之后决定使用kettle，使用后感觉很方便。老系统mysql表很大，本次基于一个小的需求，只需要抽取其中的两个字段同步传输。我尝试过传输mysql的int和oracle的number，发现需要把oracle的numbe

manlsq 0喜欢 / 0评论 2018-09-29

KETTLE WEB管理控制台设计

后置条件：若这个操作用户未被取消，并且未出现数据错误，它就会保存到系统中。

nikazhy 0喜欢 / 0评论 2018-08-28

详解一款ETL工具--数据清洗首推kettle

概述ETL，对于企业或行业应用来说，我们经常会遇到各种数据的处理，转换，迁移，所以了解并掌握一种etl工具的使用，必不可少。kettle是纯java编写，支持图形化的GUI设计界面，然后可以以工作流的形式流转，在做一些简单或复杂的数据抽取、质量检测、数据清

hyfsoft 0喜欢 / 0评论 2019-04-28

kettle安装部署及远程执行

无需做任何修改，两次均直接点下一步。5、启动后本地出现如下窗口，即远程执行连接成功。

OccamsRazor 0喜欢 / 0评论 2018-05-29

Kettle使用心得汇总系列一

kettle可以实现从不同数据源获取数据，然后将数据进行整合、转换处理，可以再将数据输出到指定的位置等；通过kettle处理大量数据非常方便，如果window服务器或者Linux服务器硬件一般情况下，对于处理千万级一下的数据都是可以的；并且如果对于需要设置

互联网与你我的世界 0喜欢 / 0评论 2018-01-11

一、 kettle开发、上线常见问题以及防错规范步骤

此篇说明对应的kettle版本是6.1，实际使用时7.x应该也是一样的。(二) Kettle注意事项1、每个trans、jobs的名称都应该和文件名一致。kettle的资源库，需要用图形界面打开，手动再设置一遍

ResysChina 0喜欢 / 0评论 2017-12-28

kettle 调度脚本

#judge wether 2 days ago log exists, if 2 days ago log exists, then remove logif [ -d "${log_zd119_path}${date_2day_ago}&qu

软件设计 0喜欢 / 0评论 2017-04-18

Kettle通用数据贴源作业设计

数据表的运行增量时间在数据仓库中进行管理, 每次运行该作业前将每天更新对应表的增量日期/时间.数据表名,字段名,数据源连接,用户,密码也是通过数据仓库中一系列的参数表设置完成, 此过程当需要接入一整个数据库时可通过脚本自动完成, 不在本次Kettle作业

89652511 0喜欢 / 0评论 2016-10-11

linux下kettle配置安装

相关推荐