Então após criarmos a conta na AWS, iremos criar toda a estrutura na AWS e iremos utilizar os seguintes serviços da AWS.
AWS RDS -> Iremos criar uma instância do Mysql na AWSAWS S3 -> É o serviço de armazenamento da AWS, será o nosso Data Lake.
AWS Glue – -> É o ETL da AWS porém iremos utilizar mesmo serão os crawlers.
AWS Athena -> É uma interface para manipular os dados que estão em arquivos
no S3.
Pentaho -> Iremos utilizar para fazer o tratamento e a ingestão dos dados.
Após os dados chegarem no Athena iremos conectar nos dados que estão na
cloud com o Power BI ou outro DataViz que tenham preferência.
E sendo assim iremos simular um projeto todo de um Engenheiro de dados, desde
da criação de toda infra-estrutura até a criação do Data Lake na AWS.
Conteúdo Programático
Este é o conteúdo que será abordado durante o curso.
Instalação
• Instalar Pentaho Data Integration e Conectar no Mysql que esta na Cloud.
AWS
• Criar a Conta na Amazon Web Services
• Criar usuário e um grupo no AWS IAM
• Definir as permissões que este grupo criado irá ter dentro da AWS
• Gerar a chave de acesso do usuário.
• O Data lake será criado utilizando o S3 como armazenamento.
• Criação de um crawler para ler a estrutura do arquivo e criar um tabela no athena
com a mesma estrutura e dados do arquivo.
• Após todos os dados estiverem no Athena iremos conectar o Power BI nos dados
que estão na nuvem.
Pentaho Data Integration
• Integrar o Pentaho com AWS S3
• Ler dados do Mysql e gravar em arquivo no S3
• Criar um Data Lake na AWS
• Criar um Data Wharehouse na AWS utilizando o Data Lake como fonte de dados
