“Um cientista pode descobrir
uma nova estrela, mas ele não
pode fazer uma. Ele teria que
pedir a um engenheiro para
fazer isso por ele.”
Gordon Lindsay Glegg
O Data Engineer (DE) ou Engenharia de dados está associada aos dados, ao saber, entrega, armazenamento e processamento. Consequentemente, a principal tarefa dos engenheiros é fornecer uma infraestrutura confiável para os dados. Se examinarmos a Hierarquia de necessidades do Analytics, a engenharia de dados realiza os primeiros 2 a 3 estágios: coletar, mover e armazenar e preparação de dados.
Nossos serviços estão voltados na preparação do ETL, na construção do Data Warehouse e armazenamento em um Data Lake se necessário.
ETL
ETL, do inglês Extract Transform Load (Extrair Transformar Carregar), são ferramentas de software cuja função é a extração de dados de diversos sistemas, transformação desses dados conforme regras de negócios e por fim o carregamento dos dados geralmente para um Data Warehouse e/ou Data Lake, porém nada impede que também seja para enviar os dados para um determinado sistema da organização.
Arquitetura Básica de ETL
Data Warehouse
Um Data Warehouse (DW) é um sistema utilizado para armazenar dados estruturados, de uma maneira organizada e dimensional. Com o propósito de atender relatórios, análise de grandes volumes de dados e a obtenção de informações estratégicas que podem facilitar a tomada de decisão em Self Service BI.
Seu DW pode ajudá-lo a obter um ótimo retorno do investimento e garantir que a base do seu negócio esteja em excelente estado. Podemos ajudá-lo a analisar suas necessidades de negócios para impulsionar o design de seu DW, incluindo um modelo de dados sólido, estrutura de inteligência de negócios, banco de dados inteligente e uma arquitetura de integração de dados eficiente, para que seja ideal para qualquer necessidade.
Data Lake
O Data Lake (DL) são soluções de armazenamento e gerenciamento de dados híbridos (Estruturado e Não Estruturados), que conseguem abrigar qualquer tipo de dados em qualquer escala. Com informações relevantes em um ambiente seguro e de fácil acesso.
Construir um DL é fácil, pois trata-se simplesmente de centralização de dados, independentemente de suas fontes em seus formatos brutos. No entanto, ter o conhecimento e as experiências de extrair insights significativos de todos esses dados não é uma tarefa fácil. E saber se realmente você precisa de um DL nenhuma consultoria explica, mas nós da TSI conversamos abertamente com os nossos clientes.
Arquitetura Básica de Data Warehouse e Data Lake
