Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Adiciona novos 10 raspadores do Maranhão #1190

Open
wants to merge 1 commit into
base: main
Choose a base branch
from
Open

Conversation

trevineju
Copy link
Member

AO ABRIR uma Pull Request de um novo raspador (spider), marque com um X cada um dos items da checklist abaixo. Caso algum item não seja marcado, JUSTIFIQUE o motivo.

Layout do site publicador de diários oficiais

Marque apenas um dos itens a seguir:

  • O layout não se parece com nenhum caso da lista de layouts padrão
  • É um layout padrão e esta PR adiciona a spider base do padrão ao projeto junto com alguns municípios que fazem parte do padrão.
  • É um layout padrão e todos os municípios adicionados usam a classe de spider base adequada para o padrão.

Código da(s) spider(s)

  • O(s) raspador(es) adicionado(s) tem os atributos de classe exigidos.
  • O(s) raspador(es) adicionado(s) cria(m) objetos do tipo Gazette coletando todos os metadados necessários.
  • O atributo de classe start_date foi preenchido com a data da edição de diário oficial mais antiga disponível no site.
  • Explicitar o atributo de classe end_date não se fez necessário.
  • Não utilizo custom_settings em meu raspador.

Descrição

Adiciona 10 raspadores da lista de #1082

@rochamatcomp
Copy link
Contributor

rochamatcomp commented Jul 23, 2024

Mapa dos municípios

querido_diario_#1190

@rochamatcomp
Copy link
Contributor

Anajatuba - MA: 2100709

Coleta última edição

coleta_ultima_edicao_ma_anajatuba.csv
coleta_ultima_edicao_ma_anajatuba.log

Diários oficiais coletados corretamente.
Arquivos auxiliares conferidos.

Coleta intervalo

coleta_intervalo_ma_anajatuba.csv
coleta_intervalo_ma_anajatuba.log

Diários oficiais coletados corretamente.
Arquivos auxiliares conferidos.

Coleta completa

coleta_completa_ma_anajatuba.csv
coleta_completa_ma_anajatuba.log

Diários oficiais coletados corretamente.
Arquivos auxiliares conferidos.

@rochamatcomp
Copy link
Contributor

Arame - MA : 2100956

Coleta última edição

coleta_ultima_edicao_ma_arame.csv
coleta_ultima_edicao_ma_arame.log

Diários oficiais coletados corretamente.
Arquivos auxiliares conferidos.

Coleta intervalo

coleta_intervalo_ma_arame.csv
coleta_intervalo_ma_arame.log

Diários oficiais coletados corretamente.
Arquivos auxiliares conferidos.

Coleta completa

coleta_completa_ma_arame.csv
coleta_completa_ma_arame.log

Diários oficiais coletados corretamente.
Arquivos auxiliares conferidos.

Existem até o momento 99 edições dos diários oficiais do município que faziam parte do Diário Oficial dos Municípios do Estado do Maranhão em edições conjuntas com outros municípios. Portanto os números de edições não é totalmente sequencial.

@rochamatcomp
Copy link
Contributor

Bom Jardim - MA: 2102002

Coleta última edição

coleta_ultima_edicao_ma_bom_jardim.log
coleta_ultima_edicao_ma_bom_jardim.csv

Diários oficiais coletados corretamente.
Arquivos auxiliares conferidos.

Coleta intervalo

coleta_intervalo_ma_bom_jardim.log
coleta_intervalo_ma_bom_jardim.csv

Diários oficiais coletados corretamente.
Arquivos auxiliares conferidos.

Coleta completa

coleta_completa_ma_bom_jardim.csv
coleta_completa_ma_bom_jardim.log

Diários oficiais coletados corretamente.
Arquivos auxiliares conferidos.

@rochamatcomp
Copy link
Contributor

Bom Lugar - MA: 2102077

Coleta última edição

coleta_ultima_edicao_ma_bom_lugar.log
coleta_ultima_edicao_ma_bom_lugar.csv

Diários oficiais coletados corretamente.
Arquivos auxiliares conferidos.

Coleta intervalo

coleta_intervalo_ma_bom_lugar.csv
coleta_intervalo_ma_bom_lugar.log

Diários oficiais coletados corretamente.
Arquivos auxiliares conferidos.

Coleta completa

coleta_completa_ma_bom_lugar.csv
coleta_completa_ma_bom_lugar.log

Diários oficiais coletados corretamente.
Arquivos auxiliares conferidos.

De 2013 a 2020 quase todas as edições tem o número do ano. Em 2013 tem uma edição que foge desse padrão: 2013-05-27 tem a 2014 ao invés de 2013. De 2021 em diante a edição passa a ter um número um pouco mais sequencial. Ainda em 2021 tem uma edição que repete o padrão anterior de usar o número do ano: 2021-02-26 com a edição 2021.

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
Status: novo
Development

Successfully merging this pull request may close these issues.

2 participants