-
-
Notifications
You must be signed in to change notification settings - Fork 416
New issue
Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.
By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.
Already on GitHub? Sign in to your account
Cria base ptio e adiciona 3 municipios do RJ #1263
Conversation
Oi, @slfabio. Não realmente revisei profundamente ainda, mas bati o olho aqui e suas obs me chamaram atenção. Nesse ponto aqui...
... gostaria de pedir que separe a spider em duas, assim como temos pe_recife_2015 e pe_recife_2020. Aqui no caso, ficaria uma spider que usa ptio e tem o atributo Na realidade, é uma situação que temos coisas a discutir e decidir ainda (só um exemplo: #1149), mas como no momento temos adotado a separação por intervalo, vamos segui-lo. |
E isso me fez perceber que essa orientação não consta na docs do QD. Vou adicioná-la |
Bom dia @trevineju, quando eu criei o código, semana passada, no novo sistema (BaseInstar) só constavam os diários novos (a partir de set/2024), quando fui olhar agora para fazer os ajustes que você pediu, percebi que todos os Diários anteriores a set/2024 já constam no novo sistema. Com a migração dos diários anteriores, Cabo Frio pode ficar com um único spider BaseInstar, e como não terá mais nenhuma relação com a BasePtio, retirei o código de Cabo Frio dessa PR e vou abrir uma nova issue específica para Cabo Frio, ok? |
perfeito, obrigada! (show o forced-push tb 😉) |
There was a problem hiding this comment.
Choose a reason for hiding this comment
The reason will be displayed to describe this comment to others. Learn more.
Show, @slfabio! Obrigada pela PR!
Como fazem uns meses dessa PR, corria o risco dos municípios terem migrado e/ou o sistema mudar. Mas não, testei e tá tudo vigente ainda!
AO ABRIR uma Pull Request de um novo raspador (spider), marque com um
X
cada um dos items da checklist abaixo. Caso algum item não seja marcado, JUSTIFIQUE o motivo.Layout do site publicador de diários oficiais
Marque apenas um dos itens a seguir:
Código da(s) spider(s)
custom_settings
em meu raspador.Testes
.log
deste teste está anexado na PR..log
e.csv
deste teste estão anexados na PR..log
e.csv
deste teste estão anexados na PR.log.zip
Verificações
.csv
gerados pela minha coleta conforme a documentação não encontrando problemas..log
gerados pela minha coleta conforme a documentação não encontrando problemas.Descrição
resolve #1113
Cria base ptio e spiders para os municípios do RJ que estão mapeados na #1114 : Areal, Cabo Frio, Comendador Levy Gasparian e Sapucaia.
Obs1: Há diários com mesmo número de edição e data que não são edições extras, pois cada edição pode conter cadernos publicados em arquivos diferentes.
Para os 4 municípios tratados não foi possível localizar edições extras e todos são exclusivamente do executivo. Ao adicionar novos municípios mapeados na issue #1114, talvez seja necessário adaptar o código do base para validar o poder e a edição extra.
Obs2: Cabo Frio até o fim de agosto/2024 usava o sistema PTIO, mas a partir de Setembro/2024 passou a usar base instar.
Obs3. Não foi utilizado o nome padrão parse para a base ptio (ficou ptio_parse), pois, como rj_cabo_frio tem herança múltipla, se o start_requests das duas classes mães redirecionassem para um método de mesmo nome, a requisição iria sempre para o classe mãe declarada à esquerda no "class RjCaboFrioSpider".