Usar o painel¶
O painel é a interface do mapa-da-ciencia: um site que roda só na sua máquina, servido pelo próprio comando mapa, sem nada publicado na internet.
Abrir¶
Dentro da pasta de um projeto:
mapa painel
Sem projeto, com os dados de exemplo:
mapa painel --exemplo
O navegador abre em http://127.0.0.1:8765/. Para encerrar, aperte Ctrl+C no terminal.
| Opção | Para quê |
|---|---|
--exemplo |
Mostra o exemplo sintético, sem precisar de projeto |
--porta 8800 |
Usa outra porta (a padrão, 8765, pode estar ocupada) |
--nao-abrir |
Não abre o navegador (útil em servidores e no Colab) |
--projeto, -P |
Indica a pasta do projeto quando você está fora dela |
Cada projeto abre num painel só. Com um painel já aberto no projeto (numa aba esquecida, ou pelo notebook), um segundo mapa painel (ou mapa.painel()) não abre e diz o endereço do primeiro: dois painéis no mesmo projeto atrapalhariam as etapas um do outro. A trava fica no arquivo .painel.lock da pasta do projeto e some quando o painel fecha.
Uma etapa por vez. Também roda uma etapa por vez em cada projeto, venha ela do painel, do terminal ou do notebook. Com o painel classificando, um mapa coletar no terminal não começa e diz que a classificação está rodando pelo painel, desde quando; com uma coleta rodando no terminal, o painel desativa o botão "Rodar" e mostra o aviso até ela terminar. Etapas que só leem (mapa status, mapa validar metricas, mapa juri status) rodam a qualquer hora. A trava fica no arquivo .etapa.lock e é solta mesmo quando o processo cai. No Windows, onde o sistema não oferece essa trava, as etapas não se bloqueiam: rode uma de cada vez.
Num notebook (Jupyter ou Colab), mapa painel prenderia a célula. Use a API Python, que deixa o servidor rodando numa thread:
import mapa_da_ciencia.api as mapa
painel = mapa.painel("op") # mostra o link; painel.parar() encerra
No Colab, o painel abre numa janela nova, pelo proxy do Google, e só nesse modo a API aceita pedidos que não vêm de 127.0.0.1: a máquina do Colab é só de quem a abriu, e o proxy exige o login dessa pessoa. O caderno da oficina faz isso no fim (veja Oficina no Colab).
O que aparece¶
| Vista | Mostra |
|---|---|
| Início | Números do corpus e macrotemas, com a participação de cada um por ano |
| Mapa | Cada artigo como um ponto; artigos próximos tratam de assuntos próximos. Contornos e rótulos dos tópicos (dos macrotemas, de longe), colorir por tópico, macrotema, revista ou ano, e filtrar pela legenda ou pelos rótulos; busca, laço e linha do tempo com play. Clicar num ponto abre o cartão do documento, com o resumo e os 5 mais parecidos (Ler o mapa) |
| Tópicos | O fluxo dos macrotemas e dos tópicos no tempo, em três modos; os tópicos em alta e em queda; a gaveta de cada tópico; o perfil de cada revista (Ler os tópicos no tempo) |
| Classificação | Uma variável do codebook por vez: a distribuição por ano, o cruzamento com macrotemas, tópicos ou revistas, os selos de concordância e os documentos de cada célula com a evidência marcada no resumo (Ler a classificação) |
| Geografia | Produção por UF, país e instituição, com contagem fracionária, e a cobertura das afiliações por ano (Ler a geografia) |
| Validação | A concordância do modelo com quem codificou a amostra, a matriz de confusão e as divergências; no painel local, a codificação da amostra pelo teclado (Codificar a amostra, Ler kappa e PABAK) |
| Projeto | As etapas do pipeline numa linha de metrô (em dia, desatualizadas ou pendentes), rodar e cancelar cada uma com o progresso ao vivo, a estimativa da classificação e os modelos do Ollama (só no painel local); num projeto com júri, o estado dele e o próximo comando (Usar o júri) |
| Redes | Coautoria entre pessoas e entre instituições, colaboração entre estados e citações (o cânone e o fluxo entre macrotemas), com o mesmo recorte das outras vistas (Ler as redes) |
Para projetar numa aula ou numa apresentação, aperte P: o modo apresentação esconde o trilho e as barras e aumenta a letra; Esc (ou P de novo) volta.
A interface tem dois temas: Observatório (escuro, bom para projetar) e Prancha (claro, bom para figuras de artigo). Ela segue o tema do sistema, e o botão na barra superior alterna entre os dois.
Projeto novo, painel vazio¶
Logo depois do mapa novo, o painel abre, mas sem dados: a página inicial explica quais etapas rodar primeiro. Os números e as vistas aparecem conforme as etapas vão sendo concluídas:
- depois do
mapa coletar, a página inicial mostra quantos documentos e revistas há e o período coberto; - depois do
mapa topicos, a página inicial mostra os tópicos e os macrotemas, a vista Mapa mostra cada documento como um ponto, e a vista Tópicos mostra os temas no tempo; - depois do
mapa geografia, a vista Geografia mostra de onde vêm os autores; - depois do
mapa redes, a vista Redes mostra quem escreve com quem e o que o corpus cita; - depois do
mapa classificar, a vista Classificação mostra as respostas do modelo, e o cartão do Mapa marca as evidências no resumo; - depois do
mapa validar amostrae da codificação, a vista Validação mostra a concordância.
Mapa, Tópicos, Classificação, Geografia e Redes dividem o recorte, a barra abaixo do título: período, revistas, tópicos, busca, laço, UFs, países e instituições. Ele vai junto quando você troca de vista pelo trilho, e fica no endereço da página, como tudo o que está na tela.
Cada etapa grava seus arquivos em saida/dados/. Basta recarregar a página, sem reiniciar o mapa painel.
Rodar as etapas pelo painel¶
No painel local, a vista Projeto mostra as etapas numa linha, na ordem em que rodam: coleta, tópicos, geografia, redes, classificação e validação. Cada estação diz se a etapa nunca rodou, se está em dia ou se ficou para trás (tracejada: o corpus, o codebook ou as correções mudaram depois da última execução; nas redes, a estação diz o que mudou), com a data, a duração e o que ela produziu.
- Rodar começa a etapa em segundo plano. O progresso aparece ao vivo, com as mensagens da etapa; você pode trocar de vista, fechar a aba ou recarregar a página, e ao voltar o acompanhamento continua de onde estava. Só uma etapa roda por vez.
- Cancelar para a etapa na próxima atualização de progresso. Como as etapas guardam o que já fizeram, rodar de novo continua de onde parou.
- Algumas etapas têm variações: a coleta e a classificação podem rodar como um piloto com 20 documentos, e a classificação pode estimar o tempo ou classificar só a amostra de validação.
- Quando a etapa termina, Ver os dados novos recarrega o painel com os arquivos que ela gerou.
- O bloco Modelos mostra se o Ollama está no ar e se os modelos do projeto estão instalados; o que faltar pode ser baixado dali, com o tamanho do download antes.
Configurar o projeto¶
O botão Configurar o projeto abre um assistente em cinco passos, sobre o projeto aberto:
- Fontes: as revistas do SciELO Brasil (procure por nome, sigla, ISSN ou área) e se a coleta completa os registros com o OpenAlex.
- Recorte: o período, os tipos de documento e os idiomas de análise (dos tópicos) e de exibição (do painel e da classificação).
- Modelo: os perfis de modelos, com o sugerido para a memória desta máquina, o que cada um baixa e o que já está instalado.
- Codebook: as variáveis, com a pergunta e as categorias (veja Escrever um codebook).
- Revisão: o que muda e o que isso refaz (uma revista nova refaz a coleta e as etapas seguintes; uma definição nova do codebook refaz a classificação).
Nada é gravado antes da revisão. Ao salvar, o mapa.yaml e o codebook.yaml mudam só no que mudou, e os comentários dos arquivos ficam. Salvar e rodar um piloto coleta só 20 documentos, para conferir o recorte antes da coleta inteira. Enquanto uma etapa roda, o projeto não pode ser mudado.
Editar os rótulos dos tópicos¶
Com os tópicos em dia, o botão Editar os rótulos dos tópicos (também na estação Tópicos, e no link "Editar o rótulo" da gaveta de cada tópico, na vista Tópicos) abre os rótulos agrupados por macrotema. Cada tópico mostra o rótulo e a descrição atuais, quem os escreveu (o modelo, as palavras-chave ou você), as palavras-chave mais fortes e quantos documentos tem; o rótulo tem até 80 caracteres e não pode ficar vazio.
Salvar e aplicar grava só o que mudou no rotulos.yaml da pasta do projeto, sem perder os comentários do arquivo, e aplica os rótulos sem refazer os tópicos nem chamar o modelo: o mapa, os tópicos e as redes passam a mostrar os nomes novos. Se uma palavra parece ter perdido o acento ("coalizao", quando as palavras-chave do tópico têm "coalizão"), o editor avisa antes de aplicar: o arquivo já foi gravado, e você corrige e salva de novo ou aplica assim mesmo. Tirar a correção à mão tira a entrada do arquivo: até a etapa Tópicos rodar inteira de novo, o tópico fica com as palavras-chave, e só então volta o rótulo do modelo. O botão de salvar e as mensagens ficam no pé da tela, e sair do editor com mudanças não salvas pergunta antes. Um macrotema de um tópico só leva o nome dele; o de vários tópicos, escrito pelo modelo, só muda quando a etapa Tópicos rodar inteira. Quando o rotulos.yaml tem rótulos ainda não aplicados (editados no arquivo, por exemplo), a estação Tópicos avisa e oferece Aplicar os rótulos editados.
Na CLI, o mesmo é mapa topicos --aplicar-rotulos depois de editar o rotulos.yaml (veja Gerar os tópicos).
Na CLI, as mesmas etapas são mapa coletar, mapa topicos, mapa geografia, mapa redes e mapa classificar, e o que uma faz a outra enxerga: uma etapa rodada no terminal aparece em dia no painel.
Como funciona¶
O mapa painel sobe um servidor local (FastAPI) que entrega a interface compilada, os arquivos do contrato de dados do projeto e uma API para o que só faz sentido localmente: rodar as etapas, editar o projeto e codificar a amostra de validação. As etapas rodam uma de cada vez numa fila do servidor, e o progresso chega ao navegador por Server-Sent Events, que se reconectam sozinhos se a conexão cair. O site publicado com mapa publicar é a mesma interface lendo os mesmos arquivos, só que sem a API: por isso ele é somente leitura.