finalizando issue 1245

[JP0ttoni]

AO ABRIR uma Pull Request de um novo raspador (spider), marque com um X cada um dos items da checklist abaixo. Caso algum item não seja marcado, JUSTIFIQUE o motivo.

Layout do site publicador de diários oficiais

Marque apenas um dos itens a seguir:

• O layout não se parece com nenhum caso da lista de layouts padrão
• É um layout padrão e esta PR adiciona a spider base do padrão ao projeto junto com alguns municípios que fazem parte do padrão.
• É um layout padrão e todos os municípios adicionados usam a classe de spider base adequada para o padrão.

Código da(s) spider(s)

• O(s) raspador(es) adicionado(s) tem os atributos de classe exigidos.
• O(s) raspador(es) adicionado(s) cria(m) objetos do tipo Gazette coletando todos os metadados necessários.
• O atributo de classe start_date foi preenchido com a data da edição de diário oficial mais antiga disponível no site.
• Explicitar o atributo de classe end_date não se fez necessário.
• Não utilizo custom_settings em meu raspador.

Testes

• Uma coleta-teste da última edição foi feita. O arquivo de .log deste teste está anexado na PR.
• Uma coleta-teste por intervalo arbitrário foi feita. Os arquivos de .loge .csv deste teste estão anexados na PR.
• Uma coleta-teste completa foi feita. Os arquivos de .log e .csv deste teste estão anexados na PR.

Verificações

• Eu experimentei abrir alguns arquivos de diários oficiais coletados pelo meu raspador e verifiquei eles conforme a documentação não encontrando problemas.
• Eu verifiquei os arquivos .csv gerados pela minha coleta conforme a documentação não encontrando problemas.
• Eu verifiquei os arquivos de .log gerados pela minha coleta conforme a documentação não encontrando problemas.

Descrição

O código base principal para os municípios de Cantagalo, Esmeraldas e São João Batista do Glória está adaptado para receber e coletar todos os diários dos sites. Ele funciona da seguinte maneira:

Primeiramente, as informações são obtidas por meio da classe correspondente a cada ano, ou seja, elas são separadas por ano. Por exemplo, na posição [0] do vetor years estão todos os atributos e elementos da classe referente ao ano de 2018
log completo cantagalo.txt
log de intervalo cantagalo.txt
log mais recente cantagalo.txt
. Verifico se o ano atual é menor que o ano de início configurado, ignorando os dados até que o ano atual seja igual ao ano de início.

Depois, dentro da classe do ano específico, os meses são coletados em ordem e organizados em um vetor, da mesma forma como foi feito com os anos. Para cada mês, os dias são coletados em sequência e adicionados a um vetor, seguindo a mesma lógica.

Em seguida, verifico se os meses e as datas são anteriores às datas de início configuradas, evitando assim leituras desnecessárias. As informações coletadas são então enviadas para o banco de dados.

Por fim, é adicionada uma condição de parada. Quando a data processada é maior que a data final configurada, o processo de scrapy é interrompido.

[slfabio]

PR aberto por engano.