Olá galera o/

Vamos a mais uma postagem sobre o Azure Data Factory, se você não conhece o Azure Data Factory (ADF) abaixo segue três posts que fiz sobre o mesmo, os posts estão bem legais e detalhados.

  • Conhecendo o Azure Data Factory >> LINK <<
  • Azure Data Factory: Criando seu primeiro pipeline de dados >> LINK <<
  • Azure Data Factory: Criando datasets genéricos >> LINK <<
  • Azure Data Factory: Criando triggers do tipo Schedule>> LINK <<
  • Azure Data Factory: Criando triggers do tipo Storage Events >> LINK <<
  • Azure Data Factory: Criando triggers do tipo Tumbling Window >> LINK <<

Vamos começar uma nova serie de postagens sobre o ADF. Nesta nova serie, vamos aprender sobre como as Activities do ADF funcionam e como podemos utilizar em nossos projetos da vida real. Vou selecionar as activities que mais utilizo no meu dia a dia.

Vamos começar pelas atividades da categoria General, o primeiro que vou mostrar é a atividade Execute Pipeline.

O Execute pipeline é uma atividade que te dá possibilidade de executar um outro pipeline já existente no seu ADF. Ele recebe como parâmetro o nome do pipeline que você deseja executar. É bastante utilizado quando você quer orquestrar a execução de outros pipelines no ADF, ou seja, você cria um pipeline que vai realizar a chamada de outros pipelines existentes.

Criando 2 pipelines com a activity Wait

Para realizarmos nosso post, será necessário a criação de 2 pipelines, cada uma com uma activity de wait.
Cada activity de wait deve ter o valor de 10 segundos.
Para o exemplo coloquei o nome dos pipelines como pipe_wait1 e pipe_wait2.

Criando pipeline com a activity Execute Pipeline

1 – Uma vez com os pipelines acima prontos, vamos iniciar a criação de um novo pipeline que vai conter a activity execute pipeline.

1.1 – Clicar no ícone de +.
1.2 – Na lista que será exibida, clique em Pipeline.

2 – Quando a tela do pipeline for exibida, vamos executar os seguintes passos:

2.1 – Colocar o nome do pipeline como pipe_execute_pipeline.
2.2 – Nas Activities, clicar na categoria General.
2.3 – Selecionar a Activity Execute Pipeline e arrasta-la para a tela de Designer dos pipelines.
2.4 – Clicar em cima do activity.
2.5 – Selecionar a aba Settings.
2.6 – Na opção Invoked pipeline, será exibida uma lista de pipelines existentes para serem executados por este componente. Selecionamos o pipeline pipe_wait1.

Obs.: É apenas permitido executar um pipeline por Activity.

3 – Uma vez escolhido qual pipeline será invocado pelo execute pipeline, você pode visualizar o que o determinado pipeline executará clicando na opção Open (ícone de um lápis) ou no ícone da ponta esquerda superior da Activity. Ambos os caminhos vão abrir o pipeline em questão, que para nosso exemplo é o pipeline pipe_wait1.

4 – Com o pipeline configurado vamos realizar a publicação do mesmo.

4.1 – Clicar no botão Publish All. Será exibido uma tela a direta, mostrando os pipelines que serão publicados.
4.2 – Clicar no botão Publish e aguardar o processo de publicação finalizar.

Testando o Execute Pipeline

1 – Uma vez com o processo publicado, vamos realizar os testes da activity Execute Pipeline.

1.1 – Na tela de designer dos pipelines, clicamos no botão Debug. O processo de execução do pipeline será iniciado.
1.2 – Na parte inferior do pipeline, a aba Output será exibida. Clicamos na mesma e verificamos o status da execução do pipeline.
1.3 – A execução obteve o status de Sucesso (Succeeded).
1.4 – Clicamos no ícone do Monitor (velocímetro) para analisarmos os detalhes da execução.

2 – Na tela do monitor, vamos analisar com mais detalhes o que aconteceu ao executarmos o pipeline com a activity do Execute Pipeline.

2.1 – Na categoria Runs, clicamos em Pipeline runs.
2.2 – Selecionamos a aba Debug.
2.3 – Percebam que, 2 pipelines foram executados quando executamos o debug sobre nosso pipeline pipe_execute_pipeline. O primeiro pipeline a ser executado foi o Execute Pipeline, que disparou em seguida o Pipeline pipe_wait1, ou seja, a Activity Execute Pipeline faz a chamada para executar outro pipeline.

Criando e Testando o pipeline Orquestrador

1 – Legal Luiz, mas qual é a principal utilidade da activity Execute Pipeline e como podemos aplica-la no meu projeto da empresa ou da faculdade?

Jovem Padawan, imagine a seguinte situação, você tem 10 Pipelines que executam tarefas diferentes, porém, você quer executa-los todos de uma única vez, sem precisar ir um a um.

Qual a solução?! Criamos um pipeline orquestrador, ou seja, um pipeline que vai ser responsável por executar outros pipelines que fazer quaisquer outras tarefas.

1.1 – Clique em editor.
1.2 – Selecione o pipeline pipe_execute_pipeline.
1.3 – Nas Activities, clicar na categoria General. Selecione uma nova Activity Execute Pipeline e arraste para a tela de Designer dos pipelines, coloque o nova activity após a primeira activity Execute Pipeline.
1.4 – Segure a a seta verde da primeira activity e ligue a seta ao outra activity. Clique em cima do activity.
1.5 – Clique em ambas as activities, clique na aba General e mude o nome de ambas as activities para execute_pipe_wait1 e execute_pipe_wait2.
1.6 – Clique na activity execute_pipe_wait2 e selecione a aba Settings.
1.7 – Na opção Invoked pipeline, selecione o pipeline pipe_wait2.
1.8 – Com o pipeline configurado vamos realizar a publicação do mesmo.
1.8.1 – Clicar no botão Publish All. Será exibido uma tela a direta, mostrando os pipelines que serão publicados.
1.8.2 – Clicar no botão Publish e aguardar o processo de publicação finalizar.

2 – Uma vez com o processo publicado, vamos realizar os testes da activity Execute Pipeline.

2.1 – Na tela de designer dos pipelines, clicamos no botão Debug. O processo de execução do pipeline será iniciado.
2.2 – Na parte inferior do pipeline, a aba Output será exibida. Clicamos na mesma e verificamos o status da execução do pipeline.
2.3 – A execução das duas activities obtiverão o status de Sucesso (Succeeded).

3 – Através do monitor iremos analisar com mais detalhes o que aconteceu ao executarmos o pipeline com a activity do Execute Pipeline.

3.1 – Clique no monitor (ícone do velocímetro).
3.2 – Na categoria Runs, clicamos em Pipeline runs.
3.3 – Selecionamos a aba Debug.
3.4 – Percebam que, 3 pipelines foram executados quando executamos o debug sobre nosso pipeline pipe_execute_pipeline. O primeiro pipeline a ser executado foi o Execute Pipeline, que disparou em seguida os outros dois Pipelines, o pipe_wait1 e o pipe_wait2, ou seja, a Activity Execute Pipeline faz a chamada para executar os outros dois pipelines. Assim, executando os fluxos dentro dos mesmos.

Com este exemplo, finalizamos a nossa postagem de hoje!

Atenção: Se você esta com uma conta gratuita, pay-as-you-go ou de estudante, não esquecer de apagar os recursos criados nesta postagem. Para contas de estudante e gratuita a exclusão dos recursos evita o consumo dos créditos disponíveis, além disso, evita que aconteça cobrança indevida em sua subscription (assinatura). Para a conta pay-as-you-go é cobrado do cartão de crédito conforme o uso dos serviços, então, recomendo apagar para não gerar cobrança no seu cartão de crédito.

Espero que tenham gostado desta postagem, vou fazer mais postagens técnicas sobre data factory.
Aguardem que 2021 vai ter muito conteúdo legal no blog.

Desejo a todos uma boa leitura, boa prática e bons estudos.

Para quem quer estudar:

  • Para a Certificação Microsoft MTA Database Fundamentals | Banco de Dados Relacional e Linguagem T-SQL.
    • Segue o link do curso na Udemy. >> LINK <<
  • Sobre Bancos da Dados no Azure
    • Segue o link do curso na Udemy. >> LINK <<

Não se esqueçam de avaliar esta postagem através da ESTRELAS abaixo das redes sociais, isso vai me ajudar muito a melhorar as postagens.

Quem quiser mandar comentários, sugestões, criticas e complementos, fiquem a vontade, pois feedbacks positivos ou negativos engradecem meu conhecimento para que possa melhorar as postagem para vocês.

Até a próxima o/

Acessem nossas Redes Sociais: