Skip to content

Adiciona migração histórica de métricas do Matomo - #147

Merged
pitangainnovare merged 5 commits into
scieloorg:mainfrom
pitangainnovare:feature/legacy-matomo-migration
Sep 15, 2026
Merged

pitangainnovare merged 5 commits into
scieloorg:mainfrom
pitangainnovare:feature/legacy-matomo-migration

Conversation

@pitangainnovare

Copy link
Copy Markdown
Contributor

Resumo

  • adiciona um importador isolado para a migração histórica de métricas de artigos produzidas pelo fluxo legado do Matomo
  • valida manifestos, hashes, totais, chaves, dimensões e duplicidade de documentos antes de acessar o OpenSearch
  • respeita a estratégia de particionamento configurada para cada coleção, tanto anual quanto rollover
  • aplica atualizações idempotentes e detecta sobreposição de dias já importados
  • oferece validação local, preflight somente leitura, execução, relatórios atômicos e interrupção segura entre lotes
  • atualiza a versão para 2.5.0

Escopo da migração

O manifesto schema 2 deve declarar o perfil article-usage-v1. O importador rejeita books e data, permite o mapeamento histórico nbr para scl e exige que as demais coleções mantenham o mesmo acrônimo na origem e no destino.

O corte padrão para coleções de artigos é 2025-12-31. Para scl, o histórico pode ser importado até 2026-06-30, antes do início do processamento corrente no Usage.

Segurança operacional

  • nenhum documento é escrito no modo padrão ou com --preflight
  • o payload completo é validado antes do contato com o OpenSearch
  • a identidade da migração inclui coleção, mês, dataset e SHA-256 do payload
  • reexecuções do mesmo manifesto não reaplicam as métricas
  • meses da mesma coleção devem ser executados sequencialmente, pois atualizam os mesmos documentos analíticos anuais

Validação

  • black --check
  • flake8
  • 182 testes aprovados e 2 ignorados na suíte metrics/tests

@pitangainnovare
pitangainnovare merged commit f03d7f8 into scieloorg:main Sep 15, 2026
2 checks passed
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant