ETL

      ETL,是英文 Extract-Transform-Load 的缩写,用来描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程。ETL一词较常用在数据仓库,但其对象并不限于数据仓库。 ETL是构建数据仓库的重要一环,用户从数据源抽取出所需的数据,经过数据清洗,最终按照预先定义好的数据仓库模型,将数据加载到数据仓库中去。

6
推荐
3047
阅读

Datastage 作业报错及其处理集合之Change Capture

前言:在新的公司一直很难定位自己的角色,基本涉及到 ETL组,模型组,运维,报表优化。等这些相关工作基本都会参与。想着正好借助这些平台资源环境,把ETL组...
6
推荐
3249
阅读

基于ETL工具实现数据增量抽取方案

环境信息:版本:IBM InfoSphere DataStage V11.3.1操作系统:linux redhat 6.4数据库版本:Oracle 11.2.0.4.0主要内容本文主要讲解,企业级数据仓库基于ETL...
6
推荐
3499
阅读

长时间运行SSIS的ETL,造成SSISDB数据库过大撑爆磁盘,如何处理?

不想听唠叨的请直接右边【目录】-【解决办法】。年底事儿特别多!!!之前有同事学 @biwork 老师的课程,顺手就拿过来看了看视频(没学完,嘿嘿),然后由于...
5
推荐
4090
阅读

Datastage 使用shell脚本结合Sequence 实现调度案例

版本:IBM InfoSphere DataStage V11.3.1操作系统:linux redhat 6.4场景:公司之前没有特定的调度工具来承载,Datastage 作业调度。导致就有了下面这一篇,...
5
推荐
3645
阅读

Datastage 作业开发规范说明

前言:以下是工作中关于Datastage 开发过程中必须以及应该注意的规范事项。1.关于直接路径加载规范说明:针对使用数据库Oracle链接类Stage (Connector ,Ent...
5
推荐
7595
阅读

Kettle手册(九)- 发送邮件

在Kettle里面,我们每天执行完调度之后,想要监控下JOB的执行状态,通常我们可以会发送邮件,可以的话,还可以发送短信。在Kettle里面,发送邮件很方便,这里...
5
推荐
2564
阅读

ETL开发面试问题加吐槽加职业发展建议

写在前面:作为甲方,对于乙方派来的开发人员,我是会自己面一下。总体来说遇到的水平不一,于是经过这三年多的面(cui)试(can),总结了一套自己的面试套路,...
4
推荐
2353
阅读

KETTLE 循环抓分库的数据

接触KETTLE有段时间了,关于最近遇到的一个问题solution和大家分享下(有前辈指导才完成的),代码可以参考附件,desktop.rar需求说明   大表被分成10个...
4
推荐
4210
阅读

KETTLE 批处理调度 监控

最近几天公司 调度改用批处理 ,写了JAVA小程序生成到数据库一张表结合对KETTLE BUG的经验,及专用的批处理,来做的,大家有空提提意见1. 批处理如下,最主要...
4
推荐
10007
阅读

DataStage Transformer函数说明,可作为开发知识手册使用。

 之前收集的关于 DataStage Transformer 函数的文档,作为帮助手册使用。一、          日期时间1&...
4
推荐
2453
阅读

一个 ETL 数据清洗的小案例 的实现

建表脚本:-- Create table create table RT_CHECKPOINT_F ( id NUMBER, seq_no VARCHAR2(10), check_point DATE ); INSERT INTO RT_CH...
3
推荐
3142
阅读

Informatica Tuning Guide (Concise Version) 文档下载

视频学习地址Informatica Tuning http://www.hellobi.com/course/49课程大纲介绍ContentChapter 1: Performance Tuning OverviewChapter 2: BottlenecksChapt...
3
推荐
3219
阅读

Datastage 记一次编码转换问题

版本:IBM InfoSphere DataStage V11.3.1操作系统:linux redhat 6.4数据库:Oracle 11.2.0.4.0问题描述前台反馈在加载表数据之后,出现乱码。截图如下:问题...
3
推荐
2617
阅读

DS Stored Procedure阶段,不支持NVARCHAR类型定义

前言关于对博客内容有疑问或者有好的建议,都可以在评论里面讨论。我会第一时间回复。谢谢版本:IBM InfoSphere DataStage V11.3.1操作系统:linux redhat 6....
3
推荐
4494
阅读

DataStage 调用存储过程(含输入输出参数)

版本:IBM InfoSphere DataStage V11.3.1操作系统:linux redhat 6.4需求场景:DS调度数据库中存储过程,需要带入输入输出参数。环境准备:数据准备数据库账...

1040 人关注

最佳回复者

改版

反馈