ETL

      ETL,是英文 Extract-Transform-Load 的缩写,用来描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程。ETL一词较常用在数据仓库,但其对象并不限于数据仓库。 ETL是构建数据仓库的重要一环,用户从数据源抽取出所需的数据,经过数据清洗,最终按照预先定义好的数据仓库模型,将数据加载到数据仓库中去。

0
推荐
384
阅读

体系结构方案 -ETL 中间件

【摘要】 ETL 常常做成 ELT 甚至 LET! 这样做带来的恶果是:1)数据库臃肿、负担重,数据管理混乱;2)性能低下,时间成本高( 数据库写入很慢),影响 ETL ...
0
推荐
539
阅读

翻译 - 关于DAC变量

About DAC VariablesDAC contains predefined variables that act as a mechanism to allow parameters to access various ETL-specific and task-specific i...
0
推荐
765
阅读

kettle之旅--安装启动kettle/pdi

安装环境准备kettle是基于java开发的,所以安装kettle之前需要配置好java运行环境即jre或jdk.支持的操作系统1. window2. linux3. ios kettle与Jdk的版本...
0
推荐
916
阅读

kettle之旅--下载获取kettle/pdi

获取kettle,这个文章很多小伙伴都觉得没必要,其实我想说,既然研究这个解决方案,那知其然知其所以然。kettle源码kettle是开源的,所以开源的地址在哪里呢...
0
推荐
649
阅读

kettle之旅--kettle/pdi的发展史简述

简述kettle(Pentaho Data Integratio)是一套开源的ETL解决方案,诞生于2003年(完成第一个版本的开发),由比利时BI工程师Matt Casters(马特.卡斯特)完成...
2
推荐
693
阅读

Kettle作业/转换自动化方案——SQLAgent调用DOS命令(结果:方案无效)

背景:最近团队开始使用Kettle做ETL开发。网上通用的作业/转化自动化方案是依赖windows自身的任务计划程序实现的。鉴于任务计划程序的失败没有办法在执行失败...
0
推荐
856
阅读

SSIS2012 数据提取容易忽略的细节与不起眼的小技巧——总结

总结根据以往工作学习中没有太在意或者说没意识到的地方,做一个关于SSIS数据提取的细节技巧总结。(这是一篇没有图的文章)1.禁忌的select *   &n...
0
推荐
699
阅读

关于ODI逆向程序视图显示不出来字段问题处理

       本人近期在做ODI抽取数据过程中遇到一个问题:       在做逆向程序的时候,首先逆向一张同义词,...
5
推荐
1352
阅读

ETL开发面试问题加吐槽加职业发展建议

写在前面:作为甲方,对于乙方派来的开发人员,我是会自己面一下。总体来说遇到的水平不一,于是经过这三年多的面(cui)试(can),总结了一套自己的面试套路,...
2
推荐
2788
阅读

Kettle手册(十二)- 控件使用-从步骤插入数据

这里介绍一个控件的小功能,也是最近才发现的,之前在“表输入”中要使用参数的话,一般都是使用变量,其实,还有个功能也可以尝试使用整体流程就是这样,我们...
2
推荐
1902
阅读

Kettle手册(十一)- 用PGP加密、加密文件

看到有同学提问,以前也没用过,百度了一下,找了些资料,这里记录下。1. 安装gpg4win这个gpg4win是干嘛的呢,我们可以去他的官网看看:gpg4win目前,只知道...
3
推荐
2474
阅读

Kettle手册(十)- 跨库查询

Kettle整体使用起来,还是很方便的,熟悉应用了之后,就是对控件的熟悉和使用了,只要思路有了,就是整合下Kettle中各个控件的使用就行。这里,简单介绍下一...
4
推荐
3001
阅读

Kettle手册(九)- 发送邮件

在Kettle里面,我们每天执行完调度之后,想要监控下JOB的执行状态,通常我们可以会发送邮件,可以的话,还可以发送短信。在Kettle里面,发送邮件很方便,这里...
2
推荐
1345
阅读

Datastage write failed: Output file full 解决

版本:IBM InfoSphere DataStage V11.5.1操作系统:linux redhat 6.4平台:Apache Hadoop 2.6.0-cdh5.9.0问题描述: 1.APT_CombinedOperatorController,...
0
推荐
4390
阅读

Kettle手册(八)- 循环

有的时候,我们想要在Kettle中实现这个循环的功能,比如,批量加载数据的时候,我们要对10张表执行同样的操作,只有表名和一些信息不一样,这时,写个循环就...

825 人关注

最佳回复者

改版

反馈