Releases: scieloorg/processing
Release list
v1.32.12
Correções
- Aplicado o conteúdo do PR #98, incluindo ajustes no arquivo KBART e atualização da dependência
xylose. - Adicionada fila persistente para reprocessamento de coleções que falham durante a execução do
run.sh.
Detalhes
Quando uma coleção falha após as tentativas configuradas, seu acrônimo passa a ser registrado em failed_collections.queue no diretório de logs. Na próxima execução, essas coleções pendentes são processadas antes da lista normal e removidas da fila quando concluídas com sucesso.
Essa mudança reduz o risco de coleções ficarem sem processamento após falhas transitórias de comunicação com serviços externos, como o ArticleMeta thriftserver.
Testes
- Validada a sintaxe do
run.shcombash -n. - Validado o diff com
git diff --check.
v1.32.11
Add Argo CronWorkflow for scheduled processing
v1.32.10
Keep service endpoints out of repository config
v1.32.9
Esta release migra o projeto de Python 2.7 para Python 3.14.4 e adiciona uma rotina de execução Docker para processamento com persistência de arquivos e notificações no Slack.
Principais mudanças
Código refatorado para compatibilidade com Python 3.
Imagem Docker baseada em python:3.14-slim.
Novo docker-compose.yaml com serviços separados para:
processing: execução real do processamento.
tests: execução da suíte de testes.
Novo run.sh como entrypoint operacional.
Suporte a notificações via SLACK_WEBHOOK_URL.
Persistência de logs em var/log/processing.
Persistência dos ZIPs gerados em var/tabs.
Configuração por variáveis de ambiente, sem necessidade obrigatória de config.ini.
Timeout do publicationstats configurável por PUBLICATIONSTATS_TIMEOUT_MS.
Compatibilidade com libs legadas que importam thriftpy, usando shim para thriftpy2.
Tratamento defensivo para metadados incompletos em coleções com registros inconsistentes.
Variáveis de ambiente úteis
ARTICLEMETA_THRIFTSERVER=articlemeta.scielo.org:11621
RATCHET_THRIFTSERVER=ratchet.scielo.org:11649
PUBLICATIONSTATS_THRIFTSERVER=publication.scielo.org:11620
PUBLICATIONSTATS_TIMEOUT_MS=120000
SLACK_WEBHOOK_URL=https://hooks.slack.com/services/...
Como executar
PUBLICATIONSTATS_TIMEOUT_MS=120000 docker compose run --rm processing "bol-BO"
Com Slack:
SLACK_WEBHOOK_URL="https://hooks.slack.com/services/..."
PUBLICATIONSTATS_TIMEOUT_MS=120000
docker compose run --rm processing "dom-DO"
Validação
A suíte foi validada em Docker com Python 3.14.4:
docker compose run --rm tests
Resultado:
Ran 28 tests ... OK
v1.32.8
Esta release migra o projeto de Python 2.7 para Python 3.14.4 e adiciona uma rotina de execução Docker para processamento com persistência de arquivos e notificações no Slack.
Principais mudanças
Código refatorado para compatibilidade com Python 3.
Imagem Docker baseada em python:3.14-slim.
Novo docker-compose.yaml com serviços separados para:
processing: execução real do processamento.
tests: execução da suíte de testes.
Novo run.sh como entrypoint operacional.
Suporte a notificações via SLACK_WEBHOOK_URL.
Persistência de logs em var/log/processing.
Persistência dos ZIPs gerados em var/tabs.
Configuração por variáveis de ambiente, sem necessidade obrigatória de config.ini.
Timeout do publicationstats configurável por PUBLICATIONSTATS_TIMEOUT_MS.
Compatibilidade com libs legadas que importam thriftpy, usando shim para thriftpy2.
Tratamento defensivo para metadados incompletos em coleções com registros inconsistentes.
Variáveis de ambiente úteis
ARTICLEMETA_THRIFTSERVER=articlemeta.scielo.org:11621
RATCHET_THRIFTSERVER=ratchet.scielo.org:11649
PUBLICATIONSTATS_THRIFTSERVER=publication.scielo.org:11620
PUBLICATIONSTATS_TIMEOUT_MS=120000
SLACK_WEBHOOK_URL=https://hooks.slack.com/services/...
Como executar
PUBLICATIONSTATS_TIMEOUT_MS=120000 docker compose run --rm processing "bol-BO"
Com Slack:
SLACK_WEBHOOK_URL="https://hooks.slack.com/services/..."
PUBLICATIONSTATS_TIMEOUT_MS=120000
docker compose run --rm processing "dom-DO"
Validação
A suíte foi validada em Docker com Python 3.14.4:
docker compose run --rm tests
Resultado:
Ran 28 tests ... OK
1.32.7
What's Changed
- Aplica correções de ISSN na integração com DOAJ by @gustavofonseca in #47
- fix: corrige dados de coleções (VEN, RVE, RVO) e atualiza tipos de documentos citáveis by @robertatakenaka in #82
- Filter non-active journals from KBART export by @Copilot in #80
- Populate coverage_depth field with "fulltext" in KBART export by @Copilot in #78
- Remove Portuguese translations from KBART headers by @Copilot in #79
- Fix KBART URL for Revista española de sanidad penitenciaria using ISSN redirect by @Copilot in #84
New Contributors
- @Copilot made their first contribution in #80
Full Changelog: 1.32.6...1.32.7
Contributors
Assets 2
1.32.6
Resolve as dependências de forma a eliminar conflitos.
1.32.5
Corrige o relatório, os conteúdo das colunas "document publishing year" (data de publicação do documento, com dia), "document published at" (data do fascículo )?
