Olá galera o/

Hoje estou passando para falar um pouco sobre o Azure Data Factory (ADF). Tentarei passar de maneira simples o que o mesmo faz e sua principal finalidade. Lembrando que essa postagem é apenas teórica.

Quem é o Azure Data Factory?

O Azure Data Factory (ADF) é uma plataforma como serviço (PaaS) do Microsoft Azure que oferece movimentação e transformação de dados. Ele suporta a movimentação de dados entre muitas fontes de dados locais e na nuvem. É uma ferramenta para a criação de soluções analíticas avançadas de ponta a ponta no Azure. Ele pode manipular fluxos de trabalho de dados, ETL’s complexos e contém integração nativa com todos os serviços do Azure.

Logo Azure Data Factory

Ele possui uma interface de arrastar e soltar os objetos, conta com vários controles de fluxo que ajudam a criar integrações de dados complexas, além disso,  fornece uma solução de um painel de monitoramento para seus pipelines de dados.

Algo que realmente se destaca é a baixa relação preço / desempenho, sendo rentável e com um ótimo desempenho ao mesmo tempo. Seus recursos de movimentação de dados contam com mais de 75 conectores de alto desempenho são extremamente úteis ao lidar com Big Data proveniente de várias fontes.

Para dar um exemplo, a movimentação de dados de 100 GB custaria menos de US $ 0,40 (ou seja, 40 centavos de dolar – obs.: esse valor pode ter aumentado). O ADF é um serviço do Azure e fatura em um modelo de pagamento conforme o uso da assinatura do Azure, sem custos iniciais.

O ADF também oferece suporte à pacotes SSIS sendo possível realizar a execução desses pacotes em um ambiente na nuvem.

Abaixo seguem alguns conceitos para quem quer começar a utilizar o ADF:

  • Pipeline
    • Um pipeline é um agrupamento lógico de atividades. Normalmente, ele conterá um conjunto de atividades tentando alcançar o mesmo objetivo final.
    • As atividades em um pipeline podem ser encadeadas para operar sequencialmente, ou eles podem operar independentemente em paralelo.
  • Activity
    • Uma atividade representa uma ação ou a etapa de processamento. Por exemplo, você possuir uma atividade para copiar dados entre uma fonte(origem) e um destino.
  • Datasets
    • Representa estruturas do armazenamento de dados, que simplesmente apontam ou referenciam os dados que você deseja usar em suas atividades como entradas ou saídas.
  • Linked Service
    • Consiste nos detalhes da conexão para uma fonte de dados como um arquivo do Azure Blob Storage ou uma tabela do Azure SQL ou para um serviço de computação como HDInsight, Azure Databricks, Azure Data Lake Analytics e Azure Batch.
  • Integration Runtime
    • É a infraestrutura de computação usada pelo Azure Data Factory para fornecer os seguintes recursos de integração de dados em diferentes ambientes de rede

Agora que entendemos alguns conceitos do ADF, vamos ver algumas imagens de como é sua interface.

Tela de desenvolvimento de pipelines no ADF
Tela de desenvolvimento de pipelines no ADF
Atividades que podem ser adicionados a um pipeline
Atividades que podem ser adicionados a um pipeline
Tela de Linked Services e Integration Runtimes
Tela de Linked Services e Integration Runtimes
Monitor de execuções do ADF
Monitor de execuções do ADF

Bem legal neh galera. Vou desenvolver outras postagens sobre como criar um serviço do ADF, realizar o processamento e transferência de dados, estão ficando bem legais. Aguardem que esse ano vai ter muito conteúdo top.

Espero que tenham gostado da postagem e que a mesma tenha sido clara e bem explicativa.

Quem quiser mandar comentários, sugestões, criticas e complementos, fiquem a vontade, pois feedbacks positivos ou negativos engradecem meu conhecimento para que possa melhorar as postagem para vocês.

Até a próxima o/

Divulguem nossas Redes Sociais:

Nos sigam no Instagram: consultabd

Nos sigam no Twitter

Deixem um like nos vídeos e se inscrevam no nosso canal do Youtube

Publicidade