Como subir metadados de um conjunto e suas tabelas¶
Rotina padrão para registrar metadados de um novo conjunto de dados (dataset) e suas tabelas na plataforma da Base dos Dados.
Pré-requisitos¶
- Organização, fontes externas e temas já cadastrados no sistema
- Acesso de edição ao Django de metadados
- Tabelas já materializadas no BigQuery (
basedosdadosoubasedosdados-staging)
Passos¶
Etapa 1 — Criar dataset e tabelas¶
- No campo
Datasets, criar o conjunto e preencher os metadados básicos. - Configurar as cloud tables associadas.
- Adicionar as colunas e seus respectivos metadados.
- Dentro de cada tabela, completar:
- Versão
- Descrição
- Demais campos obrigatórios
Etapa 2 — Verificação inicial¶
- Acessar basedosdados.org.
- Localizar o conjunto recém-criado.
- Selecionar as tabelas preenchidas.
- Validar visualmente que os campos foram corretamente completados.
Etapa 3 — Preencher metadados complementares¶
Voltar ao Django e configurar:
- Frequência de atualização
- Cobertura temporal
- Vinculação com diretórios
- Nível de observação
- Partições no BigQuery (em nível de coluna, quando aplicável)
Etapa 4 — Verificação final¶
- Atualizar as tabelas modificadas no BigQuery.
- Realizar validação completa do preenchimento (todos os campos obrigatórios, ordem das colunas batendo com BQ, nomes amigáveis).
- Finalizar o processo.
Verificação¶
A subida está completa quando:
- O conjunto aparece em basedosdados.org com todas as tabelas listadas
- Todos os campos obrigatórios estão preenchidos
- A ordem das colunas no Django bate com a do BigQuery
- A frequência de atualização e a cobertura temporal estão consistentes com a fonte
Problemas comuns¶
- Campo obrigatório vazio bloqueia publicação — confira a lista de obrigatórios; só
Arquivos auxiliaresePartições no BigQuerysão opcionais. - Ordem de colunas divergente entre Django e BQ — corrija no Django para refletir o BigQuery, não o contrário.
Ver também¶
- Como revisar um PR de pipeline — checklist relacionado, inclui validação de metadados