Ferramenta para captura de dados dinâmica baseada em arquivos de log

CURSO DE CIÊNCIA DA COMPUTAÇÃO

Gustavo Mota Ferreira

FERRAMENTA PARA CAPTURA DINÂMICA DE DADOS BASEADA EM ARQUIVOS DE LOG

Santa Cruz do Sul, de de 2011

1

Gustavo Mota Ferreira

FERRAMENTA PARA CAPTURA DINÂMICA DE DADOS BASEADA EM ARQUIVOS DE LOG

Trabalho de conclusão II apresentado ao curso de Ciência da Computação da Universidade de Santa Cruz do Sul para obtenção parcial do título de Bacharel em Ciência da Computação.

Orientador Prof. Msc. Eduardo Kroth

Santa Cruz do Sul, dezembro de 2011

2

RESUMO

Um processo de ETL (Extraction-Transformation-Load) é responsável pela extração, transformação e carga de dados para um Data Warehouse (DW). Existem muitas ferramentas que executam esta tarefa, no entanto, mesmo com a utilização destas ferramentas é possível surgir problemas na fase de extração dos dados. Os problemas surgem quando a extração de dados deve ser realizada em bases de dados de sistemas desenvolvidos por terceiros e estes não possuem nenhum mecanismo que permita extrair apenas os dados que são alterados. Uma solução simples para este problema seria realizar uma extração de dados completa, mas se a base de dados do sistema de origem for muito grande, o processo de extração completa poderá levar muito tempo e consumir muitos recursos da fonte de dados. Para solucionar este problema o presente trabalho se propõe a desenvolver uma ferramenta capaz de realizar extrações de dados incrementais. Para isso, a captura dos dados modificados deverá ser realizada a partir dos registros de logs transacionais dos Sistemas Gerenciadores de Banco de Dados (SGBD) MySQL, SQL Server e Oracle Database. Palavras chave: Extraction-Transformation-Load, Logs Transacionais

3

ABSTRACT

A process of ETL (Extraction-Transformation-Load) is responsible for extract, transform and load data to a Data Warehouse (DW). There are many tools that perform this task, however, even with the use of these tools can be problems in the process of data