Olá galera o/
Na postagem de hoje vamos aprender a realizar a criação e configuração do Integration Runtime Self-Hosted no Azure Data Factory.
Integration Runtime (IR): Infraestrutura utilizada para conectar o ADF com os serviços do azure, serviços externos ou executar pacotes do integration services. Existem três tipos de IR disponíveis: Azure, Self-hosted, Azure SSIS. Nesta postagem vamos abordar o self-hosted, ele permite ao ADF ler dados de fontes externas ao ambiente do Azure.
Mais informações do sobre o Integration Runtime Self-Hosted (IR Self-Hosted) no site da Microsoft: >> LINK <<
Uma vez que entendemos um pouco sobre o Integration Runtime Self-Hosted, vamos executar algumas etapas pare realizar esta integração com sucesso.
1 – Criação do Integration Runtime Self-Hosted no ADF
2 – Realizar a instalação do IR Self-hosted em uma máquina externa ao ambiente do Azure (laptop pessoal, servidor da empresa, Máquina virtual, etc.)
3 – Realizar a analise do serviço instalado na máquina externa
4 – Criação de um Linked Service com um banco de dados da máquina local.
5 – Criação de um Linked Service com um diretório da máquina local.
Criação do Integration Runtime Self-Hosted no ADF
Com o Azure Data Factory aberto, vamos executar os seguintes passos:
1 – No menu Lateral, clique em Manage.
2 – Na seção Connections, selecione Integration runtimes.
3 – Na tela dos Integration Runtimes, clique em + NEW para adicionar um novo Integration Runtime ao ADF.
Com tela do Integration Runtime Setup sendo exibida, vamos executar os seguintes passos:
1 – Na primeira tela você pode escolher qual o tipo de integration runtime quer criar. Selecione Azure, Self-Hosted.
2 – Na segunta tela você deve escolher entre Azure, Self-Hosted ou Linked Self-Hosted. Selecione Self-Hosted.
3 – Clique em Continue.
Na próxima tela exibida, vamos realizar os seguintes passos:
1 – Colocar o nome do nosso novo integration runtime. Eu coloquei o nome ir-self-hosted
2 – Clique em Create para iniciar o processo de criação do nosso IR Self-Hosted.
Quando o processo de criação do IR finaliza, algumas opções são exibidas, vamos entender cada uma delas:
1 – Na opção Settings, você vai poder configurar o integration runtime self-hosted de 2 maneiras
1.1 – Selecionando a opção Express Setup, aonde você faz o download do software que já vem com tudo configurado.
1.2 – Selecionando a opção Manual Setup, aonde você faz o download do software e depois insere as chaves de autenticação.
2 – Clique em cima do link da opção Express Setup. Um software será baixado. Iremos configura-lo nos próximos passos.
3 – Na opção Nodes, você pode verificar a quantidade de nós de computação que este IR Self-Hosted vai utilizar.
4 – Na opção Auto update, você pode configurar para qual horário e Time zone o software do IR Self-hosted irá ser atualizado, assim a máquina que conterá o software instalado, sempre conterá a última versão do mesmo.
5 – Selecionei a time zone do Brasil (UTC -3).
6 – Na opção Sharing, você pode configurar para um outro serviço provisionado do Azure Data Factory utilizar este integration runtime self-hosted.
7 – Clicar em close para fechar a tela.
Ao finalizar toda a configuração, percebam que um novo integration runtime do tipo Self-Hosted foi criado, porém ele esta com o status de Unavailable (Indisponível). Após Instalarmos o software que configura o IR Self-Hosted na máquina local, este status será alterado.
Instalação do Software do IR Self-Hosted
Quando você clicou no link da opção Setup Express na aba Setting do Integration Runtime Setup, um software foi baixado em sua máquina local, conforme a imagem abaixo. Para instalarmos o mesmo faremos os seguintes passos:
1 – Selecionar o executável.
2 – Clicar com o botão direito em cima do software e executar como administrador do sistema.
A instalação do IR será iniciada, este processo vai depender da conexão de internet e hardware da máquina local, mas vamos entender o que o instalador faz:
1 – Carrega as configurações do software.
2 – Inicia o download da aplicação.
3 – Após finalizar o download, é iniciada a instalação do IR.
4 – Após finalizar o download, ele registra o IR como um serviço do windows e finaliza suas configurações.
5 – Clicar em Close para fechar o instalador.
Uma vez com o Integration Runtime instalado na máquina local. Vamos realizar os seguintes passos para acessar suas configurações:
1 – Ao lado do ícone do Wi-fi , som e etc. Clicamos na setinha para cima que oculta outros ícones.
2 – Os ícones ocultos serão exibidos, percebam que o ícone de um servidor com um botão verde aparece junto aos demais ícones existentes. Ao passar o cursor do mouse no ícone do servidor com um botão verde, a frase “Integration Runtime is connected to the cloud service” é exibida. Clicamos 2 vezes em cima do ícone.
Ao clicar no ícone, a tela do Microsoft Integration Runtime Configuration Manager é exibida, vamos entender o objetivo de cada aba desta tela:
1 – Aba Home, você vai conter as informações gerais do IR Self-Hosted, a qual ADF ele está vinculado, o Node e etc. Você também possui a possibilidade de parar o serviço do IR na máquina local.
2 – Aba Settings, você pode configurar a parte de acesso remoto a intranet e Proxy Http.
3 – Aba Diagnostics, você possui uma seção de logs e uma seção de testes de conexão com diversas bases de dados. Você escolhe o fabricante da base de dados, servidor, nome da database, usuário, senha e modo de autenticação.
4 – Aba Update, mostra quando foi realizada a ultima atualização do software do IR, além de quando foi a última vez que o software checou novas versões.
5 – Aba Help, mostra a versão do do ADF, além de links uteis de ajuda.
6 – Clicar no X para fechar a tela da aplicação.
Ao finalizar todo o processo de instalação no Integration Runtime na máquina local, voltamos ao Azure Data Factory para verificar o novo status do IR Self-Hosted, para isso vamos realizar os seguintes passos:
0 – Acessamos o Manage > Seção Connections > Integration runtimes.
1 – Clicamos em Refresh, caso o status ainda não tenha mudado.
2 – Percebam que o novo IR Self-Hosted agora possui o Status Running.
Criando Linked Services com uma Database local
Agora que já temos o IR Self-Hosted funcionando e conectado, vamos criar um linked service com uma instância do SQL Server que se localiza na máquina local. Iremos ler os dados da database ProjectData.
Ao voltarmos para o Azure Data Factory vamos realizar os seguintes passos para criar um novo linked service:
1 – Na seção Connections > Linked Services.
2 – Clicamos em + NEW para criar um novo linked service.
3 – A tela New Linked Service é aberta na lateral, no campo de busca digite sql server.
4 – O ícone do conector do SQL Server é exibido, clique em cima dele.
5 – Clique no botão Continue.
A tela do New Linked Service (SQL Server) é exibida, vamos realizar os seguintes passos para configurar o mesmo:
1 – Na opção Name, informei o nome ls_sqlserver_local.
2 – Na opção Connect via Integration runtime, selecione o IR Self-Hosted que foi criado nas etapas anteriores.
3 – Na opção Server name ,coloque o nome da instância local. Neste caso coloquei o nome da minha instância.
4 – Na opção Database name, coloque o nome da sua database que esta dentro de sua instância. Informei a database ProjectData.
5 – Na opção Authentication Type, selecione o tipo de autenticação utilizada por sua instância. Selecionei o tipo SQL Authentication.
6 – Na opção User name, coloque o nome do usuário da sua instância. Você pode colocar as senhas na key vault.
7 – Na opção Password, coloque a senha do usuário da sua instância. Você pode colocar as senhas na key vault.
8 – Na opção Always encrypted, marque a flag.
9 – Na opção Key Store Authentication Type, selecione o valor Managed Identity.
10 – Clique em Test Connection para verificar se todas as configurações estão certas.
11 – Clique em Create para criar o novo linked service.
Ao finalizar todo o processo de criação do Linked Service, percebam que um novo linked service do tipo SQL Server foi adicionado a lista.
Criação Linked Service com o diretório da máquina local
Na tela dos Linked Services, clicamos em + NEW para criar um novo linked service.
A tela New Linked Service é aberta na lateral, vamos realizar os seguintes passos:
1 – Digitar no campo de busca digite file.
2 – O ícone de um driver é exibido, clique em cima dele.
3 – Clique no botão Continue.
4 – Copie o caminho de um diretório da máquina local. Selecionei um diretório que contém arquivos no formato CSV.
A tela do New Linked Service (File System) é exibida, vamos realizar os seguintes passos para configurar o mesmo:
1 – Na opção Name, informei o nome ls_fileserver_local.
2 – Na opção Connect via Integration runtime, selecione o IR Self-Hosted que foi criado nas etapas anteriores.
3 – Na opção Host, informe o caminho do diretório na máquina local.
4 – Na opção User name, informe o usuário da máquina local. Você pode colocar as senhas na key vault.
5 – Na opção Password, coloque a senha do usuário da máquina local. Você pode colocar as senhas na key vault.
6 – Clique em Test Connection para verificar se todas as configurações estão certas.
7 – Clique em Create para criar o novo linked service.
Ao finalizar todo o processo de criação do Linked Service, percebam que um novo linked service do tipo File System foi adicionado a lista. Com isso agora possuímos 2 novos linked services que vão buscar dados de uma fonte externa ao ambiente do Azure.
Hoje aprendemos a:
1 – Criar um Integration Runtime Self-Hosted.
2 – Instalar o software do IR Self-Hosted na máquina Local.
3 – Criar Linked Services com fontes existentes na máquina local
Atenção: Se você esta com uma conta gratuita, pay-as-you-go ou de estudante, não esquecer de apagar os recursos criados nesta postagem. Para contas de estudante e gratuita a exclusão dos recursos evita o consumo dos créditos disponíveis, além disso, evita que aconteça cobrança indevida em sua subscription (assinatura). Para a conta pay-as-you-go é cobrado do cartão de crédito conforme o uso dos serviços, então, recomendo apagar para não gerar cobrança no seu cartão de crédito.
Espero que tenham gostado desta postagem, vou fazer mais postagens técnicas sobre data factory. Aguardem que 2021 vai ter muito conteúdo legal no blog.
Desejo a todos uma boa leitura, boa prática e bons estudos.
Para quem quer estudar:
- Curso preparatório para Certificação Microsoft MTA Database Fundamentals | BD Relacional e Linguagem T-SQL.
- Segue o link do curso na Udemy. >> LINK <<
- Curso Azure Databases para Iniciantes
- Segue o link do curso na Udemy. >> LINK <<
- Curso Azure Data Factory para Iniciantes
- Segue o link do curso na Udemy. >> LINK <<
Não se esqueçam de avaliar esta postagem através da ESTRELAS abaixo das redes sociais, isso vai me ajudar muito a melhorar as postagens.
Quem quiser mandar comentários, sugestões, criticas e complementos, fiquem a vontade, pois feedbacks positivos ou negativos engradecem meu conhecimento para que possa melhorar as postagem para vocês.
Até a próxima o/
Acessem nossas Redes Sociais:
Consulta BD 