Inicia reorganização de arquivos

A partir de agora teremos um pacote "covid19br", de onde os scripts
importarão bibliotecas. Dessa forma ficará mais fácil reutilizar o
código entre os scripts, e a biblioteca também poderá ser utilizada no
app covid19 do Brasil.IO (toda a parte de demographics, epiweek etc.
poderá ficar apenas nessa biblioteca).

Author: turicas

Makefile

@@ -6,8 +6,8 @@ lint:
 docker-build:
 	docker image build -t covid19-br .
 
-docker-collect:
-	docker container run --rm --name covid19-br --volume $(PWD)/data/output:/app/data/output covid19-br ./collect.sh
+docker-run-spiders:
+	docker container run --rm --name covid19-br --volume $(PWD)/data/output:/app/data/output covid19-br ./run-spiders.sh
 
 docker-run: docker-build
 	docker container run --rm --name covid19-br --volume $(PWD)/data/output:/app/data/output covid19-br ./run.sh

README.en.md

@@ -98,22 +98,20 @@ Requires Python 3 (tested in 3.8.2). To set up your environment:
 
 - Install Python 3.8.2
 - Create a virtualenv
-- Install the dependencies:
-  - Consolidation script and bot: `pip install -r requirements.txt`
-  - States data extractors: `pip install -r requirements-collect.txt`
-- Run the collect script: `./collect.sh`
+- Install the dependencies: `pip install -r requirements.txt`
+- Run the collect script: `./run-spiders.sh`
 - Run the consolidation script: `./run.sh`
 
 Check the output in `data/output`.
 
 ### Docker
 
-If you'd rather use Docker to execute, you just need to follow these steps: 
- 
+If you'd rather use Docker to execute, you just need to follow these steps:
+
 ```shell
-make docker-build   # to build the image
-make docker-collect # to collect the data
-make docker-run     # to consolidate the data
+make docker-build       # to build the image
+make docker-run-spiders # to collect the data
+make docker-run         # to consolidate the data
 ```
 
 ## SEE ALSO
@@ -129,7 +127,7 @@ Wanna see which projects and news are using our data? [See the clipping](clippin
 
 ## Data Update on Brasil.IO
 
-Create a `.env` file with the correct values to the following environment variables: 
+Create a `.env` file with the correct values to the following environment variables:
 
 ```shell
 BRASILIO_SSH_USER
@@ -146,4 +144,4 @@ It will collect the data from the sheets (that are linked in
 `data/boletim_url.csv` and `data/caso_url.csv`), add the data to the repository, compact them, send them to the server, and execute the dataset update command.
 
 > Note: the script that automatically downloads and converts data must
-> be executed separately, with the command `./collect.sh`.
+> be executed separately, with the command `./run-spiders.sh`.

README.md

@@ -123,10 +123,8 @@ Necessita de Python 3 (testado em 3.8.2). Para montar seu ambiente:
 
 - Instale o Python 3.8.2
 - Crie um virtualenv
-- Instale as dependências:
-  - Script de consolidação e robô: `pip install -r requirements.txt`
-  - Extratores de dados estaduais: `pip install -r requirements-collect.txt`
-- Rode o script de coleta: `./collect.sh`
+- Instale as dependências: `pip install -r requirements.txt`
+- Rode o script de coleta: `./run-spiders.sh`
 - Rode o script de consolidação: `./run.sh`
 
 Verifique o resultado em `data/output`.
@@ -136,9 +134,9 @@ Verifique o resultado em `data/output`.
 Se você preferir utilizar o Docker para executar, basta usar os comandos a seguir :
 
 ```shell
-make docker-build   # para construir a imagem
-make docker-collect # para coletar os dados
-make docker-run     # para consolidar os dados
+make docker-build       # para construir a imagem
+make docker-run-spiders # para coletar os dados
+make docker-run         # para consolidar os dados
 ```
 
 ## VEJA TAMBÉM
@@ -176,4 +174,4 @@ repositório, compactá-los, enviá-los ao servidor e executar o comando de
 atualização de dataset.
 
 > Nota: o script que baixa e converte os dados automaticamente deve ser
-> executado separadamente, com o comando `./collect.sh`.
+> executado separadamente, com o comando `./run-spiders.sh`.

consolida.py

@@ -9,8 +9,8 @@
 import scrapy
 from scrapy.exceptions import CloseSpider
 
-import converters
-import demographics
+from covid19br import converters
+from covid19br import demographics
 
 DATA_PATH = Path(__file__).absolute().parent / "data"
 ERROR_PATH = DATA_PATH / "error"

covid19br/__init__.py

@@ -3,7 +3,7 @@
 
 import rows
 
-import demographics
+from . import demographics
 
 
 def extract_boletim(state, data):

converters.py renamed to covid19br/converters.py

@@ -5,6 +5,7 @@
 import rows
 from rows.utils import load_schema
 
+# TODO: use pkg_resources to discover path
 DATA_PATH = Path(__file__).parent / "data"
 SCHEMA_PATH = Path(__file__).parent / "schema"
 POPULATION_DATA_PATH = {