Neste novo curso iremos criar um Data Lake do zero na GCP utilizando o Pentaho Data Integration para fazer a ingestão dos dados.
Conteúdo:
IAM -> Criação da conta e permissões
SQL -> Iremos criar uma instância do Mysql na cloud.
Google Storage -> É o serviço de armazenamento do GCP, será o nosso Data
Lake.
Big Query -> O carro chefe da GCP para dados, será o nosso banco de dados
Analitico aonde podemos consultar dados do Data Lake e DW.
Pentaho -> Iremos utilizar para fazer o tratamento e a ingestão dos dados.
Data Fusion -> Solução de ETL da Google.
Data Studio -> Solução de DataViz gratuita da Google.
Após os dados chegarem no Big Query iremos conectar nos dados que estão na cloud com o Power e também com o Data Studio.E sendo assim iremos simular um projeto todo de um Engenheiro de dados, desde da criação de toda infra-estrutura até a criação do Data Lake na Google.
Requisitos
Compreensão de Banco de Dados relacionais e dos conceitos de Data
Warehouse, Business Intelligence.
Conteúdo Programático
Este é o conteúdo que será abordado durante o curso.
Google Cloud Plataform
• Criar uma conta, toda nova conta tem 300 doláres de créditos por 90 dias.
• Gerar a chave de acesso do usuário.
• O Data lake será criado utilizando Google Storage.
• Iremos utilizar o Big Query para manipular os dados que estão no Data Lake.
• Big Query também irá ter acesso aos dados DW.
• Utilizar o Data Fusion para criar uma integração na Google.
• Utilizar o Power BI e o Data Studio para acessar os dados.
Pentaho Data Integration
• Integrar o Pentaho com Google Storage.
• Ler dados do Mysql e gravar em arquivo no storage
• Criar um Data Lake na Google Cloud.
• Criar um Data Wharehouse na cloud utilizando o Data Lake como fonte de dados
