[pipeline] br_ms_sim

[laura-l-amaral]

Arquitetura

• Levantamento de todas as colunas de todos os arquivos
• Compatibilização de colunas (arquivos originais x BigQuery)
• Decisão de quais colunas seguir (levando em consideração colunas do arquivo e colunas do BigQuery)

Django

• Guardar a data de última atualização no Django task

Pipeline

• Construir o link com base numa chamada de API
• Guardar o token da API
• Acessar a URI de download dos recursos no Portal de Dados Abertos
• Acessar a data de atualização/criação dos recursos no Portal de Dados Abertos
• Referenciar a data de última atualização no Django
• Acessar os recursos para guardar as URIs de download e data de atualização/criação
• Usar a data de última atualização para filtrar os recursos
• Com base na lista final de colunas, desconsiderar as adicionais e criar vazias as que não existem no arquivo
• Paralelizar o processamento dos dataframes
• Criar as transformações no dbt
• Vamos seguir com o dicionário ou traduzir no próprio dbt?