[Novo spider base]: BR Transparência #1155

talesmota · 2024-06-10T18:40:25Z

AO ABRIR uma Pull Request de um novo raspador (spider), marque com um X cada um dos items da checklist abaixo. Caso algum item não seja marcado, JUSTIFIQUE o motivo.

Layout do site publicador de diários oficiais

Marque apenas um dos itens a seguir:

O layout não se parece com nenhum caso da lista de layouts padrão
É um layout padrão e esta PR adiciona a spider base do padrão ao projeto junto com alguns municípios que fazem parte do padrão.
É um layout padrão e todos os municípios adicionados usam a classe de spider base adequada para o padrão.

Código da(s) spider(s)

O(s) raspador(es) adicionado(s) tem os atributos de classe exigidos.
O(s) raspador(es) adicionado(s) cria(m) objetos do tipo Gazette coletando todos os metadados necessários.
O atributo de classe start_date foi preenchido com a data da edição de diário oficial mais antiga disponível no site.
Explicitar o atributo de classe end_date não se fez necessário.
Não utilizo custom_settings em meu raspador.

Testes

Uma coleta-teste da última edição foi feita. O arquivo de .log deste teste está anexado na PR.
Uma coleta-teste por intervalo arbitrário foi feita. Os arquivos de .loge .csv deste teste estão anexados na PR.
Uma coleta-teste completa foi feita. Os arquivos de .log e .csv deste teste estão anexados na PR.

Verificações

Eu experimentei abrir alguns arquivos de diários oficiais coletados pelo meu raspador e verifiquei eles conforme a documentação não encontrando problemas.
Eu verifiquei os arquivos .csv gerados pela minha coleta conforme a documentação não encontrando problemas.
Eu verifiquei os arquivos de .log gerados pela minha coleta conforme a documentação não encontrando problemas.

Descrição

Foi criado um Spider baseado no modelo replicável.

Issue relacionada

Testes

ba_saude_today.csv
ba_rio_real_2023-01-01_2023-03-01.csv

ba_saude_today.log
ba_rio_real_all.log
ba_rio_real_2023-01-01_2023-03-01.log

victorfernandesraton · 2024-10-01T20:32:56Z

data_collection/gazette/spiders/base/brtransparencia.py

+    start_urls = [""]
+    br_tranparencia_entity = ""
+    br_tranparencia_code = ""
+    power = "executive"


@talesmota esse atributo não está especificado na clase BaseGazetteSpider , assim pensnado em flexibilidade não é recomendado a adição de atributos em classe-base

Oi, @victorfernandesraton! Fico contente com as suas considerações. O que você sugere?

Eu segui por esse caminho tendo em mente o Princípio Aberto-Fechado do SOLID. Com base nesse princípio e nas experiências que já tive em outros projetos, no momento da implementação, me pareceu apropriado especializar uma classe para tratar desse layout específico. Além disso, ao explorar o código, percebi que outros arquivos também fazem essa especialização de atributos, como:

data_collection/gazette/spiders/base/atende_layoutdois.py

data_collection/gazette/spiders/base/sai.py

data_collection/gazette/spiders/base/doem.py

data_collection/gazette/spiders/base/dionet.py

A ideia de listar os parâmetros explicitamente na superclasse foi justamente para deixar claro quais dados devem ser definidos nas classes filhas. Mas estou totalmente aberto a aprender o padrão de código de vocês para contribuir de forma cada vez mais alinhada.

Pelo que vi realmente não temos outra alternativa, vou aprovar ao menos essa etapa

victorfernandesraton · 2024-10-01T20:35:18Z

data_collection/gazette/spiders/ba/ba_candeias.py

+    allowed_domains = ["www.camaraibicoara.ba.gov.br"]
+    start_urls = ["https://www.camaraibicoara.ba.gov.br/diario.html"]
+    start_date = date(2022, 12, 29)
+    br_tranparencia_entity = "63147391-dcb2-4d6c-9c5a-c4483a9d8306"


@talesmota normalmente nessas classes de RPA evitamos adicionar parâmetros que não sejam parâmetros-base quando podem ser evitados, penso que deveriamos ser capazes de fazer algum tipo de contulta ou mapeamento prévo em outro lugar para obter esses parâmetros de br_tranparencia_entity e br_tranparencia_code

Esses dois parâmetros, br_tranparencia_entity e br_tranparencia_code, são bem específicos para esse tipo de layout, já que são definidos dentro do JavaScript da página. Por isso, optei por deixá-los para serem definidos nas classes filhas.

Pelo que pesquisei, não há uma forma diferente de fazer a busca deste ID ao acessar o site

Se eu puder dar um pitaco aqui, se for só uma requisição do arquivo javascript antes de começar a raspagem pra valer, acho que vale fazer uns regex e obter os dois parâmetros (se funcionar bem pra todos os municípios do raspador).

Se não, vale documentar como obter os parâmetros em forma de docstring no raspador base.

Testando aqui pra Ibicoara e pra Itaquara, realmente seria só uma requisição a mais no início. E dá pra ver que tem diferenças, mas são poucas, então pode ser bem generalizável.

Ambos os arquivos requisitados são https://<domínio>/js/content.js mas o regex levaria em conta que podem ou não existir espaços em branco em entity = e code = .

Em Ibicoara:

//variaveis var entity="691bea32-9b9f-40f8-ab18-31e079080a1a"; var code="CODE_ENT_CM204"; var url="https://api.brtransparencia.com.br/api"; var url2="https://api.brtransparencia.com.br"; ...

Em Itaquara:

... //variaveis var entity = "1557447a-9381-44ad-9c0f-016868769479"; var code = "CODE_ENT_PM003"; var url = "https://api.brtransparencia.com.br/api"; var url2 = "https://api.brtransparencia.com.br"; ...

Realmente acho que vale a pena conferir se generaliza legal pros outros municípios.

Boa @ogecece . Agradeço o feedback. Foi muito bem colocado.

Eu analizei aqui o cenário e fiz alguns testes aqui com essa regex, var {field}(\ )=(\ )"|'["|'];

E em ambos os casos ela foi capaz de extrair os códigos:

var entity = "1557447a-9381-44ad-9c0f-016868769479";

var entity="1557447a-9381-44ad-9c0f-016868769479";

var entity = '1557447a-9381-44ad-9c0f-016868769479';

var entity = '1557447a-9381-44ad-9c0f-016868769479';

Acho que chegamos em um nível de generalização bacana.

Adicionando o log dos novos testes:

ba_candeias_2023-01-01_2023-03-02.csv
ba_candeias_2023-01-01_2023-03-02.txt
5bac9ba5c8aec2e83d74684ca53ac373d85d715b.pdf

victorfernandesraton · 2024-10-03T22:51:29Z

data_collection/gazette/spiders/base/brtransparencia.py

+    start_urls = [""]
+    br_tranparencia_entity = ""
+    br_tranparencia_code = ""
+    power = "executive"


Pelo que vi realmente não temos outra alternativa, vou aprovar ao menos essa etapa

victorfernandesraton · 2024-10-03T22:54:23Z

data_collection/gazette/spiders/ba/ba_candeias.py

+    allowed_domains = ["www.camaraibicoara.ba.gov.br"]
+    start_urls = ["https://www.camaraibicoara.ba.gov.br/diario.html"]
+    start_date = date(2022, 12, 29)
+    br_tranparencia_entity = "63147391-dcb2-4d6c-9c5a-c4483a9d8306"


Pelo que pesquisei, não há uma forma diferente de fazer a busca deste ID ao acessar o site

victorfernandesraton · 2024-10-03T22:57:39Z

@talesmota aprovado, não encontrei mais nada a se comentar

ogecece · 2024-10-09T17:33:06Z

@talesmota vi que requisitou minha revisão, mas por enquanto vou me limitar aos pitacos, tá? O raton vai continuar a revisão aí e se precisar volto aqui

victorfernandesraton

@talesmota encontrei algumas coisas aqui que precisam ser alteradas, tendo em vista essas mudançás seria interessante que seja enviado os logs e csv's das execuções afetadas para evidenciar estes raspadores, acredito que por causa da questão da busca dos parâmetros o ideal seria o envio de todos os logs

victorfernandesraton · 2024-10-10T21:46:15Z

data_collection/gazette/spiders/ba/ba_candeias.py

+    allowed_domains = ["www.camaraibicoara.ba.gov.br", "api.brtransparencia.com.br"]
+    start_urls = ["https://www.camaraibicoara.ba.gov.br/diario.html"]


@talesmota o arquivo está com o nome de ba_candeias, mas ao abrir a url caimos no site da Câmara Municipal de Ibicoara-Bahia, como tanbém podemos usar apenas o dôminio da api transparência

Suggested change

allowed_domains = ["www.camaraibicoara.ba.gov.br", "api.brtransparencia.com.br"]

start_urls = ["https://www.camaraibicoara.ba.gov.br/diario.html"]

allowed_domains = ["brtransparencia.com.br"]

start_urls = ["http://cmcandeiasba.brtransparencia.com.br/diario.html"]

victorfernandesraton · 2024-10-10T21:58:17Z

data_collection/gazette/spiders/ba/ba_conceicao_do_almeida_2024.py

@talesmota neste caso aqui , o raspador atual não está funcionando corrretamente e redireciona para este novo site (http://conceicaodoalmeida.ba.gov.br), dessa forma você pode sobreescrever o arquivo em vez de criar um novo, como remover o ano do nome do raspador

victorfernandesraton · 2024-10-10T22:03:28Z

data_collection/gazette/spiders/base/brtransparencia.py

+    TERRITORY_ID = ""
+    allowed_domains = []
+    start_urls = [""]
+    power = "executive"


@talesmota este valor padrão aqui , acredito que seja melhor remover o atributo da classe mãe para que os desenvolvedores dos próximos raspadores sejam induzidos a verificar e informar em cada caso.

Suggested change

power = "executive"

victorfernandesraton · 2024-10-10T22:28:49Z

data_collection/gazette/spiders/base/brtransparencia.py

+        except AttributeError as exc:
+            raise AttributeError("Was not possible to extract the entity code") from exc
+        try:
+            response_code = self._extract_code_from_response_text(
+                response_text, field="code"
+            )
+        except AttributeError as exc:
+            raise AttributeError("Was not possible to extract the code") from exc


@talesmota nesses casos de exceção , é preferivél que deixe o raspador quebrar direto apenas, ou se preferir adicionar no log de erro e manter a exceção original

Suggested change

except AttributeError as exc:

raise AttributeError("Was not possible to extract the entity code") from exc

try:

response_code = self._extract_code_from_response_text(

response_text, field="code"

)

except AttributeError as exc:

raise AttributeError("Was not possible to extract the code") from exc

except AttributeError:

self.logger.error("Was not possible to extract the entity code")

raise

try:

response_code = self._extract_code_from_response_text(

response_text, field="code"

)

except AttributeError:

self.logger.error("Was not possible to extract the code")

raise

victorfernandesraton · 2024-10-10T22:32:18Z

data_collection/gazette/spiders/ba/ba_itaquara_2024.py

+    TERRITORY_ID = "2916708"
+    allowed_domains = ["www.itaquara.ba.gov.br", "api.brtransparencia.com.br"]
+    start_urls = ["https://www.itaquara.ba.gov.br/diario.html"]
+    start_date = date(2019, 1, 1)


@talesmota pesquisando no site deste raspador , o mais antigo encontrado foi de 26/07/2019

Suggested change

start_date = date(2019, 1, 1)

start_date = date(2019, 7, 26)

victorfernandesraton · 2024-10-10T22:37:57Z

data_collection/gazette/spiders/ba/ba_itaquara_2024.py

@talesmota neste caso aqui , o raspador atual não está funcionando corrretamente e redireciona para este novo site (https://www.itaquara.ba.gov.br/), dessa forma você pode sobreescrever o arquivo em vez de criar um novo, como remover o ano do nome do raspador

victorfernandesraton · 2024-10-10T22:41:06Z

data_collection/gazette/spiders/ba/ba_rio_real.py

+        "cmriorealba.brtransparencia.com.br",
+        "api.brtransparencia.com.br",
+    ]
+    start_urls = ["https://http://cmriorealba.brtransparencia.com.br/diario.html"]


@talesmota acredito que o link aqui seja apenas http:

Suggested change

start_urls = ["https://http://cmriorealba.brtransparencia.com.br/diario.html"]

start_urls = ["http://cmriorealba.brtransparencia.com.br/diario.html"]

talesmota added 2 commits June 10, 2024 11:15

feat: Sistema replicável para br transparencia

651c567

feat: adicionando outras fontes

0730ce5

talesmota marked this pull request as draft June 10, 2024 18:40

talesmota changed the title ~~1146~~ [Novo spider base]: BR Transparência Jun 10, 2024

talesmota marked this pull request as ready for review June 10, 2024 18:42

trevineju linked an issue Jun 10, 2024 that may be closed by this pull request

[Novo spider base]: BR Transparência #1146

Open

1 task

talesmota added 2 commits August 29, 2024 08:58

Merge branch 'main' into 1146

cf4e770

Merge branch 'main' into 1146

b727e1e

victorfernandesraton suggested changes Oct 1, 2024

View reviewed changes

victorfernandesraton approved these changes Oct 3, 2024

View reviewed changes

talesmota added 3 commits October 4, 2024 08:58

Merge branch 'main' into 1146

dad182c

refactor: extract entity and code from content.js

c4ce4ce

refactor: extract code and entity from content.js

420ebd5

talesmota requested a review from ogecece October 6, 2024 20:04

victorfernandesraton suggested changes Oct 10, 2024

View reviewed changes

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

[Novo spider base]: BR Transparência #1155

[Novo spider base]: BR Transparência #1155

talesmota commented Jun 10, 2024

victorfernandesraton Oct 1, 2024

talesmota Oct 2, 2024

victorfernandesraton Oct 3, 2024

victorfernandesraton Oct 1, 2024

talesmota Oct 2, 2024

victorfernandesraton Oct 3, 2024

ogecece Oct 4, 2024 •

edited

Loading

ogecece Oct 4, 2024

talesmota Oct 6, 2024

victorfernandesraton Oct 3, 2024

victorfernandesraton Oct 3, 2024

victorfernandesraton commented Oct 3, 2024

ogecece commented Oct 9, 2024

victorfernandesraton left a comment

victorfernandesraton Oct 10, 2024

victorfernandesraton Oct 10, 2024

victorfernandesraton Oct 10, 2024

victorfernandesraton Oct 10, 2024

victorfernandesraton Oct 10, 2024

victorfernandesraton Oct 10, 2024

victorfernandesraton Oct 10, 2024

		allowed_domains = ["www.camaraibicoara.ba.gov.br", "api.brtransparencia.com.br"]
		start_urls = ["https://www.camaraibicoara.ba.gov.br/diario.html"]

	start_urls = ["https://http://cmriorealba.brtransparencia.com.br/diario.html"]
	start_urls = ["http://cmriorealba.brtransparencia.com.br/diario.html"]

[Novo spider base]: BR Transparência #1155

Are you sure you want to change the base?

[Novo spider base]: BR Transparência #1155

Conversation

talesmota commented Jun 10, 2024

Layout do site publicador de diários oficiais

Código da(s) spider(s)

Testes

Verificações

Descrição

Testes

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

ogecece Oct 4, 2024 • edited Loading

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

victorfernandesraton commented Oct 3, 2024

ogecece commented Oct 9, 2024

victorfernandesraton left a comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

ogecece Oct 4, 2024 •

edited

Loading