[ODI] Conceitos

Mês passado iniciei os estudos do Oracle Data Integrator (ODI) e de lá para cá desenvolvi algumas integrações, nestas primeiras integrações trabalhei principalmente com arquivos, tabelas (Sybase e Oracle) e até mesmo uma planilha em excel (meu primeiro teste com a ferramenta).

Antes de colocar a mão na massa foi fundamental o entendimento de alguns conceitos. Segue um resumo dos principais conceitos para começar a trabalhar com o Oracle Data Integrator.

Módulos

O ODI se divide em 4 módulos, são eles:

Designer: Este é o principal módulo para os desenvolvedores. É nele que são definidas as regras, as transformações e a integridade dos dados.

Operator: Este módulo gerencia e monitora os logs de execução, foi fundamental para eu conseguir implementar minha primeira interface de teste, pois sem ele seria impossível identificar os erros.

Topology Manager: Responsável por definir as arquiteturas físicas e lógicas da infraestrutura do projeto.

Secutity Manager: Gerencia os profiles de usuários assim como seus privilégios de acesso. (Este módulo foi o único que ainda não tive o prazer de utilizar)

Repositórios

Os repostiórios consistem em um repositório Principal (Master) e um ou mais repositórios de Trabalho (Work). Estes repositórios são mapeados para esquemas de banco de dados.

Há normalmente um único repostório principal, este repositório armazena informações de segurança (profiles de usuários e privilégios), informações de topologia (definições de tecnologias e servidores) e ainda o versionamento dos objetos. Os módulos Topology Manager e Security Manager são responsáveis por manter a informação contida neste repositório.

O repositório de trabalho armazena as informações de projeto, como por exemplo: modelos (tabelas, colunas, constraints, etc), projetos (regras, packages, procedures, pastas, etc) e informações de execução (cenários, informações de agendamento e logs). Os módulos Designer e Operator são responsáveis por manter a informação contida neste repostório.

Knowledge Modules

Além dos conceitos acima, é fundamental entender o conceito dos módulos de conhecimento (Knowledge Modules - KM). Estes módulos são "templates" de código para as tarefas de integração de dados, eles pré-definem os passos necessários para extrair, carregar e integrar dados.

Os KMs são agrupados em: operações de carga (LKMs), operações de integração (IKMs), operações de controle (CKMs), entre outras.

Servidor de dados, Contextos, Esquemas físicos e lógicos

Os 4 conceitos a seguir são mantidos através do módulo "Topoloy Manager".

O Servidor de Dados (Data Server) é o objeto que armazena os dados de conexão, por exemplo: endereço IP, usuário e senha no caso de um banco de dados.

A partir de um servidor de dados são criados os Esquemas Físicos, neste esquema são definidos 1 esquema para leitura dos dados (origem) e 1 esquema de trabalho, onde o ODI irá armazenar objetos temporários durante a execução dos cenários.

Os Esquemas Lógicos são responsáveis pelo mapeamento entre os contextos e os esquemas físicos.

O Contexto define o ambiente em que vamos executar os cenários, por exemplo: ambiente de desenvolvimento, homologação e produção.

Referências

ODI Architecture:
http://www.oracle.com/technology/products/oracle-data-integrator/pdf/oracledi_architecture.pdf

The Benefits of ODI Knowledge Modules:
http://prsync.com/oracle/the-benefits-of-odi-knowledge-modules-a-template-approach-for-better-data-integration-13520/

Context, Logical And Physical Schema – How does it work?
http://odiexperts.com/?p=652

DICA

Antes de terminar o post, segue uma dica importante para quem, assim como eu, está começando.

Sempre que uma interface ou um pacote for alterado é necessário regerar os cenários antes de executá-los, caso contrário as alterações não terão efeito na execução.

* Pare regerar o cenário, clique com o botão direito sobre o cenário e clique em "Regenerar".

Por enquanto é isto, até o próximo post.