Converter novo pipeline de produção para o airflow

[danielhmarinho]

• Atualizar pipeline do airflow de acordo com o cron de produção atual;
• Importar banco do twitter com tweets_raw;
• Rodar pipeline completo utilizando o csv de produção;
• Integrar o airflow ao leggo-geral para que seja adicionado ao ambiente de pipeline;

Resultado esperado:
Verificar se dados estão atualizados de acordo com o ambiente de produção;

[danielhmarinho]

@fabio1079 conversa com a @lorryaze antes de adicionar ao pipeline. A issue dela envolve a refatoração do makefile e a criação de um ambiente de desenvolvimento para rodar o pipeline

[danielhmarinho]

@fabio1079 me reporta o andamento, por favor

[fabio1079]

Estou com um problema nos links dos volumes que eu tinha criado, ai quando a pipeline é executada os volumes estão vazios.

Dentro dos volumes(seguindo o link) os dados estão lá, mas quando o DockerOperator é executado eles estão vazios.
já tentei recriar os volumes mas o problema persiste. Então acabei não progredindo muito, infelizmente.

[danielhmarinho]

@fabio1079 bem esquisito isso aqui. Deu uma olhada na documentação sobre os volumes no na parte do docker operator? Nao acho que seja algo na sua máquina né