Al maragogi

[victorfernandesraton]

Layout do site publicador de diários oficiais

Marque apenas um dos itens a seguir:

• O layout não se parece com nenhum caso da lista de layouts padrão
• É um layout padrão e esta PR adiciona a spider base do padrão ao projeto junto com alguns municípios que fazem parte do padrão.
• É um layout padrão e todos os municípios adicionados usam a classe de spider base adequada para o padrão.

Código da(s) spider(s)

• O(s) raspador(es) adicionado(s) tem os atributos de classe exigidos.
• O(s) raspador(es) adicionado(s) cria(m) objetos do tipo Gazette coletando todos os metadados necessários.
• O atributo de classe start_date foi preenchido com a data da edição de diário oficial mais antiga disponível no site.
• Explicitar o atributo de classe end_date não se fez necessário.
• Não utilizo custom_settings em meu raspador.

Testes

• Uma coleta-teste da última edição foi feita. O arquivo de .log deste teste está anexado na PR.
• Uma coleta-teste por intervalo arbitrário foi feita. Os arquivos de .loge .csv deste teste estão anexados na PR.
• Uma coleta-teste completa foi feita. Os arquivos de .log e .csv deste teste estão anexados na PR.

Verificações

• Eu experimentei abrir alguns arquivos de diários oficiais coletados pelo meu raspador e verifiquei eles conforme a documentação não encontrando problemas.
• Eu verifiquei os arquivos .csv gerados pela minha coleta conforme a documentação não encontrando problemas.
• Eu verifiquei os arquivos de .log gerados pela minha coleta conforme a documentação não encontrando problemas.

Descrição

Reimplementação do raspador do município de Maragogi AL , anteriormente citado nesta issue #1176 e feito parcialmente nesta PR #1186, porém o mesmo ficou muito tempo esperando retorno do desenvolvedor, visto que houve mudanças drásticas no site dos diários oficiais em questão, decidi abrir esta nova PR para facilitar o fluxo de revisão

• Logs e outputs de uma extração completa:
  output-all.log
  output-all.csv

• Logs e outputs de uma extração com data aleatória (2024-05-10 até 2024-08-23):
  output-date.csv
  output-date.log

[victorfernandesraton]

Criei esta PR com base no que foi feito em #1186
Porém esta está dezatualizada,e devido a mudança nos raspadores eu acredito que revisar do começo faça mais sentido

[trevineju]

Valeu, @victorfernandesraton! Coloquei na fila de revisão.

[ogecece]

@victorfernandesraton o raspador tá bem eficiente. Tá ótimo requisitar todas as páginas disponíveis no intervalo de datas.

Fiz alguns comentários de melhoria aqui, qualquer coisa grita aí

[victorfernandesraton]

Segue em anexos extração completa com csv e logs
output-all.log
output-all.csv

[victorfernandesraton]

Testes de busca entre 04-06-2024 e 02-07-2024
output-06-07.log
output-06-07.csv

[ogecece]

Tá shou @victorfernandesraton !

[ogecece]

💯

[ogecece]

@victorfernandesraton vou fazer squash pra ficar somente um commit do @gabrielqr e um seu, beleza? Como é apenas um raspador, 12 commits onde a maioria é de correções ficaria excessivo. Normalmente apenas 1 já seria suficiente