Metadados de qualidade

[rdahis]

Contexto

Hoje acompanhamentos qualidade de (meta)dados via um painel e pipelines. Essas pipelines mantém dados sobre qualidade, com indicadores inbutidos.

Issues antigas

• [infra] implementar o data-check com great expectations sdk#782
• [infra] data-check checar chaves primárias contra diretórios sdk#747
• [infra] data-check mostrar dez linhas de cada tabela sdk#767

Proposta

A médio prazo, o que precisamos é ter modelos/metadados de qualidade, atualização, documentação, etc. Parte desses metadados serão atualizados automaticamente (via pipelines) e parte será manual via formulário no site. Esses metadados alimentarão nosso painel de acompanhamento.

Construiremos esses modelos na API de Django.

Cada indicador terá uma "data de última atualização". Esse campo será preenchido automaticamente na última atualização, e naturalmente será mais recente para campos atualizados via pipelines.

Esses metadados alimentarão nosso ambiente de revisão de dados e metadados da nova plataforma. Precisaremos desenvolver um ambiente pra isso, com formulário próprio, comentários, revisão, etc.

Indicadores podem usar ferramentas como:

• Great Expectations
• Queries SQL (nossos antigos data checks).
• Swiple
• DBT expectations

Material sobre "data lineage" @crislanealves

• https://medium.com/data-monzo/the-many-layers-of-data-lineage-2eb898709ad3

Exemplos de indicadores de metadados

• dataset
  • tem ao menos 1 tema
  • tem ao menos 1 etiqueta
• table
  • tabela está materializada? (automático)
  • número de linhas consistente com a fonte original? (manual)
  • está atualizada? (automático)
• column
  • tipo correto? (manual)
  • tem ao menos uma linha não-nula? (automático)
  • informações iguais no BigQuery e no site (automático)
  • ligação nos diretórios (manual)

Exemplos de indicadores de dados

Nossos saudosos data checks: https://github.com/basedosdados/mais/blob/master/.github/workflows/data-check/checks.yaml