Olá galera o/

Neste post vou fazer um resumo sobre a Palestra que fiz no evento TDC Conference Online – Edição Transformation.

O que é o The Developer’s Conference?

TDC é o maior evento relacionado a desenvolvimento de software no Brasil conectando organizadores de meetups e eventos, palestrantes, empresas e patrocinadores em uma plataforma única, empoderando o ecossistema local de cada região onde é realizado.

TDC é uma conferência muito dinâmica com objetivo de apresentar os tópicos mais importantes de acordo com as necessidades locais e internacionais e, por esta razão, existem mais do que dez trilhas paralelas por dia.

Mais informações neste >> LINK <<

Como foi a palestra?

Tive a oportunidade de palestrar na trilha de arquitetura de dados da edição Transformation do TDC.

A trilha de arquitetura aconteceu no dia 25/08/2021 com várias palestras bem legais, abaixo segue a lista de palestras que aconteceram no evento. Mais informações sobre a trilha de arquitetura através do >> LINK <<

  • Horário: 10:50 às 11:25
    • Tema: Bancos de Dados Multi-Regiao e Multi-Cloud com CockroachDB
    • Palestrante: William Lino Oliveira
  • Horário: 11:30 às 12:05
    • Tema: Data Lakehouse
    • Palestrante: Marcus Bittencourt
  • Horário: 12:10 às 12:45
    • Tema: Materialize: streaming SQL for the rest of us
    • Palestrante: Marta Paes
  • Horário: 14:10 às 14:45
    • Tema: Desbravando o Azure Data Factory
    • Palestrante: Luiz Santana
  • Horário: 14:50 às 16:05
    • Tema: Database As A Service : Um painel sobre banco de dados na nuvem
    • Palestrante: Sulamita Mara Dantas / Jhonathan de Souza Soares / Dirceu Resende / Arthur Luz / Leandro Domingues
  • Horário: 16:25 às 17:00
    • Tema: ELT – Uma nova abordagem para pipeline de dados
    • Palestrante: Brunno Orpinelli
  • Horário: 17:05 às 17:40
    • Tema: Airflow no Kubernetes – Por onde começar?
    • Palestrante: Neylson Crepalde
  • Horário: 17:45 às 18:20
    • Tema: A automação na arquitetura de dados moderna
    • Palestrante: Fernanda Leite


O tema da minha palestra foi Desbravando o Azure Data Factory e teve como objetivo mostrar como realizar transferências de dados de maneira simples e com grande poder de processamento utilizando o Azure Data Factory. Os tópicos da palestra foram:

1 – Quem sou eu
2 – O que é o Consulta BD
2 – O que é o Azure Data Factory (ADF)
3 – Conceitos de ETL
4 – Conceitos de ELT
5 – Principais diferenças entre ETL e ELT
6 – Explicação do fluxo da nossa demonstração
7 – Demonstração no Azure Data Factory

O slide utilizado na apresentação está abaixo e disponível para download.

Para o Hands-on (demonstração) utilizei um arquivo CSV com uma lista de animes que estava no site do Kaggle.
Link a seguir https://www.kaggle.com/CooperUnion/anime-recommendations-database.

Qual foi o processo realizado no hands-on:

1 – Faço upload do CSV de animes para um container no Azure Data Lake chamado SOURCEFILES.

2 – Através de uma atividade de copia de dados (activity de copy data do ADF) eu copio os dados do arquivo de animes do container SOURCEFILES para o container RAW. O arquivo é armazenado em seu formato original que é CSV.

3 – Após o processo de copia, faço um processo de Data Flow que lê o arquivo do Container RAW e realiza algumas transformações que são as seguintes:
3.1 – Passo 1: Filtro para remover os animes aonde a coluna episodes tem o valor diferente Unknown. Esta coluna está com o tipo de dados String.
3.2 – Passo 2: Fiz um select para retornar as colunas que apenas me interessa. O arquivo original tem 7 colunas e eu somente preciso de 5.
3.3 – Passo 3: Converto a coluna episodes para Inteiro.
3.4 – Passo 4: Filtro os dados dos animes para retornar apenas animes com mais de 100 episodios.
3.5 – Passo 5: Salvo os dados no container TRUSTED em formato PARQUET.

4 – Através de uma atividade de copia de dados (activity de copy data do ADF) eu copio os dados do arquivo de animes do container TRUSTED que estão em formato PARQUET e transfiro os dados para um Azure SQL Database.

5 – Faço um select na database para ver os dados armazenados na tabela.

É isso galera, espero que tenham gostado do resumo da palestra, fiquem atentos nos eventos e lives da comunidade e até a próxima. Abaixo seguem algumas imagens do evento.

Desejo a todos uma boa leitura, boa prática e bons estudos.

Para quem quer estudar:

  • Curso preparatório para Certificação Microsoft MTA Database Fundamentals | BD Relacional e Linguagem T-SQL.
    • Segue o link do curso na Udemy. >> LINK <<
  • Curso Azure Databases para Iniciantes
    • Segue o link do curso na Udemy. >> LINK <<
  • Curso Azure Data Factory para Iniciantes
    • Segue o link do curso na Udemy. >> LINK <<

Não se esqueçam de avaliar esta postagem através da ESTRELAS abaixo das redes sociais, isso vai me ajudar muito a melhorar as postagens.

Quem quiser mandar comentários, sugestões, criticas e complementos, fiquem a vontade, pois feedbacks positivos ou negativos engradecem meu conhecimento para que possa melhorar as postagem para vocês.

Até a próxima o/

Acessem nossas Redes Sociais: