v1.6.1

PRs:
#1026 Cria bypass de memória --> Agora usuário pode fazer download de bases com qualquer tamanho
#1010 Conserta a descrição do dataset

v1.6.0

Pre-release: v1.6.0-beta

Essa pre-release compreende a implementação dos PRs #675, #795 e #847.
As mudanças proveniente de cada um dos PRs são descritas a seguir.

Changelog

PR #675

Adiciona módulo metadata.py com as modificações e funções descritas a seguir.
Elas estão disponíveis tanto a partir da importação do módulo e da classe Metadata via script ou notebook, tanto como a partir do cliente CLI basedosdados.

Baixar metadados do CKAN e converter para YAML: Metadata.create

1. Permite baixar metadados de um dataset/tabela do CKAN, construindo um dataset/table_config.yaml a partir deles
2. Permite criar um arquivo dataset/table_config.yaml estruturado e sem valores preenchidos para novos datasets e tabelas

Garantir que usuário não esteja subindo metadados mais antigos do que os atuais: Metadata.is_updated

1. Permite comparar a versão do YAML local com a versão dos metadados do CKAN, indicando se os metadados locais correspondem à versão mais atualizada.

Validar se metadado está dentro dos padrões: Metadata.validate

1. Indica, a partir das APIs do CKAN, quais campos do YAML estão preenchidos de forma inadequada.
2. Indica o padrão correto a ser seguido no preenchimento dos dados.

Subir metadado para o CKAN: Metadata.publish

1. Permite subir os metadados locais preenchidos no YAML para o CKAN.

Integração com Table

1. Table.create usa Metadata.create para gerar o dataset/table_config.yaml

PR #795

• Upload para o Google Storage permite novos modes: header, auxiliary_files e architecture
• Agora table_approve.py faz o download das 20 primeiras linhas da table e adiciona na pasta header do Google Storage

PR #847

• Introduz o parâmetro use_bqstorage_api nas funções de requisição de dados para acelerar o download

v1.5.7

Closes issues #687 and #511

Resolve PR #793
Breve descrição das alterações
Modificações baseadas em https://stackoverflow.com/questions/45300037/cannot-upload-large-file-to-google-cloud-storage

• Adiciona o parâmetro chunk_size como opcional em Storage.upload
• Caso ele seja configurado, altera o chunk size do blob para o valor determinado
• Caso não seja configurado, não altera o atributo do blob
• Adiciona o parâmetro chunk_size como opcional em Table.append
• Para usá-lo associado ao Storage.upload

v1.5.6

Changelog

PR #626

• Melhora traceback do módulo download
• Melhora estrutura das Exception

v1.5.5

Issue #555

• Adição do Table().table_exits()
• Modificação do Table().append() para não dar replace na tabela

Issue #522

• dá a opção de retornar variáveis nas funções de metadados

Issue #578

• adiciona code coverage

PR #557

• adicionar possiblidade de configurar via variável de ambiente

v1.5.4

CHANGELOG:

• Refatora condicionais e simplifica código
• Melhora o pipeline da primeira configuração (#513)

v1.5.3

• Reorganiza as pastas do pacote
• Resolve bugs de Path no CLI

v1.5.0

• Adiciona nova função Storage.download()
• Remove parâmetro partitioned do Table.create(): checa automaticamente se o dado é particionado
• Resolve issue #302 : Table.update(mode="all") não sobrescreve configurações de partição
• Resolve issue #371: resolve erro de timeout ao tentar ler uma tabela do BigQuery
• Resolve issue #294: adiciona suporte para criar colunas extras no publish.sql

v1.4.10

• Fix Storage.copy_table() prefix
• Fix Storage.delete_table()
• Auto divide batch requests in Storage.copy_table() and Storage.delete_table()
• Fix table.publish(): return error if view can't be created

v1.4.6

Add new metadata functions to CLI:

• list datasets
• list dataset_tables
• get dataset_description
• get table_description
• get table_columns