[Revisão retroativa] Imprensa Oficial

[claromes]

Layout do site publicador de diários oficiais

Marque apenas um dos itens a seguir:

• O layout não se parece com nenhum caso da lista de layouts padrão
• É um layout padrão e esta PR adiciona a spider base do padrão ao projeto junto com alguns municípios que fazem parte do padrão.
• É um layout padrão e todos os municípios adicionados usam a classe de spider base adequada para o padrão.

Código da(s) spider(s)

• O(s) raspador(es) adicionado(s) tem os atributos de classe exigidos.
• O(s) raspador(es) adicionado(s) cria(m) objetos do tipo Gazette coletando todos os metadados necessários.
• O atributo de classe start_date foi preenchido com a data da edição de diário oficial mais antiga disponível no site.
• Explicitar o atributo de classe end_date não se fez necessário.
• Não utilizo custom_settings em meu raspador.

Testes

• Uma coleta-teste da última edição foi feita. O arquivo de .log deste teste está anexado na PR.
• Uma coleta-teste por intervalo arbitrário foi feita. Os arquivos de .loge .csv deste teste estão anexados na PR.
• Uma coleta-teste completa foi feita. Os arquivos de .log e .csv deste teste estão anexados na PR.

  • Gongogi BA:

    • Última edição:
      log_ba_gongogi_2024-05-17.txt

    • Intervalo (2012-05-01 a 2013-05-01):
      log_ba_gongogi_2012-2013.txt
      ba_gongogi_2012-2013.csv

    • Completa:
      log_ba_gongogi.txt
      ba_gongogi.csv

  • Itaquara BA:

    • Última edição:
      log_ba_itaquara_2019_2022-01-04.txt (Faz a raspagem, porém, tem um erro no Spidermon)

    • Intervalo (2020-05-01 a 2021-05-01):
      log_ba_itaquara_2019_2020-2021.txt
      ba_itaquara_2019_2020-2021.csv

    • Completa:
      log_ba_itaquara_2019.txt
      ba_itaquara_2019.csv

  • Saúde BA:

    • Última edição:
      log_ba_saude_2018_2019-04-12.txt (Faz a raspagem, porém, tem um erro no Spidermon)

    • Intervalo (2018-03-01 a 2019-03-01):
      log_ba_saude_2018-03_2019-03.txt
      ba_saude_2018-03_2019-03.csv

    • Completa:
      log_ba_saude_2018.txt
      ba_saude_2018.csv

Verificações

• Eu experimentei abrir alguns arquivos de diários oficiais coletados pelo meu raspador e verifiquei eles conforme a documentação não encontrando problemas.
• Eu verifiquei os arquivos .csv gerados pela minha coleta conforme a documentação não encontrando problemas.
• Eu verifiquei os arquivos de .log gerados pela minha coleta conforme a documentação não encontrando problemas.

Descrição

Issue: #951

Lista:

• Base
• Amélia Rodrigues BA
• Conceição do Almeida BA (Mudou para o sistema BR Transparência)
  • Nova URL: https://www.conceicaodoalmeida.ba.gov.br/diario.html
  • Obs: Histórico no sistema Imprensa Oficial não está disponível e o arquivo ba_conceicao_do_almeida.py foi deletado
• Gentio do Ouro BA
• Gongogi BA (Mudou para o sistema SAIIO)
  • Nova URL: https://www.gongogi.ba.gov.br/Site/DiarioOficial
  • Obs: Raspador atualizado. O sistema SAIIO está com problema na extensão dos arquivos em PDF, porém a raspagem ocorre normalmente
• Governador Mangabeira BA
• Itaquara BA (Mudou para o sistema BR Transparência)
  • Nova URL: https://www.itaquara.ba.gov.br/diario.html
  • Obs: Histórico no sistema Imprensa Oficial está disponível. Nome do arquivo foi alterado para ba_itaquara_2019.
• Jaguarari BA
• Muniz Ferreira BA
• Paratinga BA
• Pé de Serra BA
• São Felipe BA
• São Félix BA
• São Francisco do Conde BA
• São Miguel das Matas BA
• Sapeaçu BA
• Saúde BA (Mudou para o sistema BR Transparência)
  • Nova URL: https://pmsaudeba.brtransparencia.com.br/diario.html
  • Obs: Histórico no sistema Imprensa Oficial está disponível. Nome do arquivo foi alterado para ba_saude_2018.
• Serrinha BA
• Vera Cruz BA
• Wenceslau Guimarães BA
• Xique-Xique BA

Comentários

• As cidades não selecionadas acima, não foram testadas, porém, já estão com os metadados atualizados para a Base revisada
• Nova issue ([Novo spider base]: BR Transparência #1146) criada listando as cidades que usam o sistema BR Transparência, incluindo Conceição do Almeida BA, Itaquara BA e Saúde BA

[trevineju]

@claromes, obrigada por estar fazendo essa tarefa!

As coisas importantes a ser feitas são:

1. Testar a classe base, que depende de alguns municípios
2. Para os casos que ainda tem diários, mas não são mais atuais, adicionar o end_date e modificar o nome.
3. Para os casos que o site não mais existe ou não tem mais diários, excluir o arquivo do repositório. (A gente não tem por quê manter o código de raspagem de um site que não tem mais diários)

Pelo que vejo desta PR, ela já cumpre...

• o item 1: com os checks de Base, Amélia Rodrigues, Gentio do Ouro e Governador Mangabeira.
• o item 2: com os checks de Itaquara e Saúde.

... e falta ajustar:

• o item 3: remover o arquivo ba_conceicao_do_almeida.py

Também vou pedir que retire os comentários de situação. Por exemplo, pegando Itaquara:
The files between the years 2019 and 2022 are available using the Imprensa Oficial system. This city now uses the BR Transparência system, which covers other cities. The Base is not developed.

O fato do raspador estar com start_date, end_date e herdar a base ImprensaOficialSpider já evidencia a informação da primeira linha, então é redundante. E, quanto a segunda, caberia mais abrir uma issue para o novo padrão que achou e listar todos os casos que já viu fazer parte do padrão.

Com isso, pode tirar todas as demais cidades dessa PR. E justando esse pouquinho, já estaria pronta pra revisão.

💯

[trevineju]

Outra coisa... @claromes, você tinha perguntado sobre fazer duas PRs. Tô supondo que uma sendo essa PR nesse ponto que parou e a próxima cobriria as demais cidades, certo?

Você até poderia fazer isso, sim. Mas, também, pode só partir pra outra se quiser. Tô dizendo isso pq o complexo você já fez aqui que era validar a classe base, o resto seria só ajustar as classes-filhas e executar testes. Costumo sugerir esse tipo de tarefa super fácil pra pessoas novas na comunidade ou iniciantes querendo contribuir pela primeira vez.

Pro seu caso, por ser mais experiente, é mais interessante fazer outra issue, como uma que adiciona outra nova classe base. Isso também é mais interessante pra gente, visto que cada base nos possibilita adicionar dezenas ou centenas de novas cidades.

Sua escolha, claro ;)

[claromes]

@trevineju Obrigada pelos comentários. Fiz as alterações e só testei três cidades que mudaram. Deixei alguns comentários na descrição do PR.
Pronto para revisão! \o/