6 Qualidade dos estudos e risco de viés
Depois da elegibilidade em texto completo, cada estudo incluído é lido com outra pergunta: não mais “este estudo responde à minha pergunta?”, e sim “quanto posso confiar neste resultado?”. Vieses de desenho e de execução costumam inflar efeitos, e uma revisão que soma estudos sem considerar isso herda o viés deles (Petticrew e Roberts 2006, 126, 154). A etapa exige decisões tomadas no protocolo: quais desenhos são elegíveis; qual ferramenta de risk of bias (risco de viés) cabe a cada desenho e a cada bloco da tipologia a1/a2/b1/b2; qual resultado é avaliado; quem avalia e com que papel para a IA; e como o julgamento entra na síntese e na certeza. O capítulo separa o que a literatura aplicada costuma fundir: o nível do desenho numa hierarquia, o risco de viés de um resultado e a qualidade do relato.
6.1 Decisões e regras
Perguntas diferentes, instrumentos diferentes
| Pergunta | Instrumento | Responde | Não responde |
|---|---|---|---|
| O desenho pode, em tese, responder à pergunta? | Hierarquia de evidência; Maryland Scientific Methods Scale (SMS); lista de desenhos elegíveis | Adequação do tipo de estudo; critério de elegibilidade e descritor | Se aquele resultado está enviesado |
| O resultado está sujeito a erro sistemático? | RoB 2, ROBINS-I, EPOC, ROBINS-E; CASP, JBI e MMAT | Julgamento por domínio, com justificativa e fonte | Imprecisão e generalização |
| O relato permite julgar? | Respostas “sem informação” ou “não é possível dizer” das ferramentas | Lacunas que pedem contato com autores | Se o estudo foi bem conduzido |
| Quanto confiar no conjunto de estudos de um desfecho? | GRADE e CERQual (Seção 10.1) | Certeza por desfecho ou achado | Nada sobre um estudo isolado |
Viés é erro sistemático, distinto da imprecisão e da validade externa (Boutron et al. 2024, sec. 7.1.1). Um estudo bem conduzido pode ser mal relatado (Petticrew e Roberts 2006, 127), e hierarquia de desenhos serve para julgar a adequação do tipo de estudo, não substitui a apreciação crítica (Petticrew e Roberts 2006, 129–30).
- Desenho não é risco de viés. Hierarquia e SMS entram como critério de elegibilidade e descritor; o risco de viés é julgado por domínio, com a ferramenta do desenho (Seção D.1, item 8).
- Julga-se o resultado, não o estudo. Um resultado ajustado e outro não ajustado do mesmo estudo podem ter riscos diferentes (Boutron et al. 2024, sec. 7.1.2; Sterne et al. 2025, 7).
- Nada de escore somado. Escalas diferentes aplicadas aos mesmos ensaios deram conclusões opostas (Petticrew e Roberts 2006, 129; Boutron et al. 2024, sec. 7.1.2); MMAT e AMSTAR 2 desaconselham escore global (Hong, Pluye, et al. 2018, 1; Shea et al. 2017).
- Duas pessoas independentes, com regra de desacordo definida antes (MECIR C53, obrigatório) (Boutron et al. 2024, sec. 7.3.2).
- Todo julgamento tem justificativa e fonte (citação com página, resumo do relato ou correspondência; MECIR C54 e C55) (Boutron et al. 2024, sec. 7.3.2).
- O uso do julgamento é pré-especificado (Boutron et al. 2024, sec. 7.6.2); excluir por qualidade só vale se a regra estiver nos critérios de inclusão (Waddington et al. 2017, 19, nota 22).
- Ausência de informação não é prova de viés nem de sua ausência. Não presuma o que os autores fizeram; busque outros relatos e contate autores (Critical Appraisal Skills Programme 2024, 1; Hong, Pluye, et al. 2018, 1; Cochrane Effective Practice and Organisation of Care (EPOC) 2017, 2).
- A IA só rascunha respostas às perguntas-sinalizadoras (signalling questions), com trecho e página; os julgamentos são humanos (Seção D.3; Seção 12.1).
Qual ferramenta para qual desenho
| Desenho do resultado | Ferramenta | Julgamentos | Fonte |
|---|---|---|---|
| Ensaio randomizado individual | RoB 2 (5 domínios) | Baixo; algumas preocupações; alto | Higgins, Savović, et al. (2024); Sterne et al. (2019) |
| Ensaio randomizado por cluster (escolas, turmas, municípios) | RoB 2 para cluster | Idem | Higgins, Eldridge, et al. (2024), sec. 23.1.2 |
| Seguimento não randomizado (coorte; painel de indivíduos ou firmas com ajuste ou pareamento) | ROBINS-I V2 (6 domínios) + perguntas de Waddington et al. para estratégias quase-experimentais | Baixo (no confundimento, “exceto por confundimento não controlado”); moderado; grave; crítico | Sterne et al. (2025), p. 3-4; Waddington et al. (2017), p. 18 |
| Antes-depois controlado (CBA, inclusive DiD com dados agregados) e série temporal interrompida (ITS) | Critérios EPOC (9 para CBA; 7 para ITS) ou variantes da versão 1 do ROBINS-I, escolhidas no protocolo | Baixo; alto; incerto (EPOC) | Cochrane Effective Practice and Organisation of Care (EPOC) (2017); Sterne et al. (2024), sec. 25.5-25.6 |
| Efeito de exposição não deliberada, em coorte | ROBINS-E (7 domínios) | Baixo; algumas preocupações; alto; muito alto | Higgins, Morgan, et al. (2024) |
| Qualitativo (a1, b1) | CASP qualitativo ou checklist JBI de pesquisa qualitativa (10 itens cada) | Sim; não; não é possível dizer ou incerto | Critical Appraisal Skills Programme (2024); JBI (2024) |
| Descritivo de prevalência ou cobertura (a2) | JBI para estudos de prevalência (9 itens) | Sim; não; incerto; não se aplica | Munn et al. (2015) |
| Transversal que estima associação (a2) | JBI revisado para transversais analíticos (8 perguntas) | Idem, por estudo, desfecho ou resultado | Barker et al. (2026) |
| Estudo primário misto | MMAT 2018, categoria 5 e categorias dos componentes | Sim; não; não é possível dizer | Hong, Pluye, et al. (2018), p. 2, 7 |
| Revisão sistemática (só em revisão de revisões) | AMSTAR 2 ou ROBIS | Confiança alta a criticamente baixa; risco de viés da revisão | Shea et al. (2017); Whiting et al. (2016) |
A especificação desta base indica ROBINS-I V2 com Waddington et al. para quase-experimentos e EPOC para ITS e CBA (Seção D.1, item 8). A fronteira precisa de regra: a V2 descreve só estudos de seguimento (Sterne et al. 2025, 1, 3), e o Handbook classifica a análise de diferença em diferenças (difference-in-differences, DiD) como análise de CBA (Sterne et al. 2024, sec. 25.6). Assim, DiD com unidades agregadas (municípios, escolas) vai para o bloco CBA; painel de indivíduos com diferenciação na unidade de análise pode ir para a V2. Declare a regra e aplique-a a todos os estudos do mesmo desenho.
Tipologia a1/a2/b1/b2 e ferramenta de cada bloco
O material didático classifica os estudos em qualitativo ou quantitativo e em interpretação/descrição ou teste/explicação, e aceita os quatro blocos no funil (Schaefer 2026a, 43, 50; 2026b, 26–30). As regras de fronteira estão na Seção 7.1.
| Bloco | Ferramenta | Descritores que acompanham |
|---|---|---|
| b2, quantitativo explicativo | RoB 2; ROBINS-I V2 + Waddington; EPOC para CBA/DiD agregado e ITS; ROBINS-E para exposição | Par SMS (método, implementação); hierarquia 0-6 da OQF |
| b1, qualitativo explicativo (QCA, comparação de casos, rastreamento de processos) | CASP ou JBI qualitativo | selecao_casos, mecanismo_identificado, limitacoes (Schaefer 2026c); nível de Daly et al. (Daly et al. 2007) |
| a1, qualitativo interpretativo | CASP ou JBI qualitativo | Nível de Daly et al. |
| a2, quantitativo descritivo | JBI prevalência ou JBI transversal analítico | amostragem, fonte_dados (Schaefer 2026c) |
| Estudo primário misto | MMAT categoria 5 e categorias dos componentes | Blocos dos componentes |
| Revisão ou meta-análise encontrada | Fora da síntese de estudos primários (Seção D.1, item 3) | Não se aplica |
O MMAT foi desenhado para revisões que misturam estudos qualitativos, quantitativos e mistos (Hong, Pluye, et al. 2018, 1); se o protocolo o adotar para todos os estudos, as categorias 1 e 4 substituem CASP/JBI em a1/b1 e a2. Um estudo pode ter resultados em mais de um bloco (um DiD com survey de percepção anexo); cada resultado vai para a ferramenta do seu desenho.
Como o julgamento entra na síntese
| Estratégia | Quando | Fonte |
|---|---|---|
| Análise primária restrita a resultados de baixo risco, com sensibilidade incluindo os demais | Há resultados de baixo risco suficientes e a perda de precisão é aceitável | Boutron et al. (2024), sec. 7.6.2 |
| Análises estratificadas por risco geral | O risco varia entre estudos; ausência de diferença entre estratos não prova ausência de viés, porque o poder é baixo | Boutron et al. (2024), sec. 7.6.2; limiares de k na Seção 8.1 |
| Todos os estudos, com discussão narrativa | Só se todos têm o mesmo risco; nos demais casos o risco some do resumo e das conclusões | Boutron et al. (2024), sec. 7.6.2 |
| Excluir resultados de risco crítico (ROBINS-I) | Pré-especificado; a ferramenta diz que eles “should generally be excluded from evidence syntheses” | Sterne et al. (2025), p. 4 |
| Ponderar por escore de qualidade ou ajustar por viés | Não: pesos sem base empírica; ajuste bayesiano com pressupostos fortes | Petticrew e Roberts (2006), p. 132; Waddington et al. (2017), p. 19; Boutron et al. (2024), sec. 7.6.2 |
| Domínio de risco de viés do GRADE | Sempre, por desfecho; com ROBINS-I, corpos não randomizados partem de certeza alta e em geral caem ao menos dois níveis | Schünemann et al. (2019); Seção 10.1 |
Duas leituras mostram usos pré-especificados. Thomas et al. dividiram as avaliações em alta qualidade, qualidade média (lacunas de relato) e “não sólidas”: as médias entraram na meta-análise marcadas para sensibilidade e as não sólidas ficaram fora (Thomas et al. 2003, 21, 49). García e Saavedra codificaram a qualidade em dupla independente pelos padrões do What Works Clearinghouse, mostraram que as estimativas não mudavam sem os estudos de menor qualidade e testaram a qualidade como covariável (García e Saavedra 2017, 929, 934, 939, 948).
Parâmetros que o protocolo fixa
| Parâmetro | Regra | Fonte |
|---|---|---|
| Desenhos elegíveis | Lista de desenhos ou nível SMS mínimo; o What Works Growth usa SMS 3 | Madaleno e Waights (2016), p. 18; What Works Centre for Local Economic Growth (2015) |
| Ferramenta e versão | Nome, versão e data; a ROBINS-I V2 de 20/11/2025 ainda é rascunho sujeito a mudança | Risk of bias tools (2025) |
| Resultados avaliados | Os da tabela de síntese e da caixa de ferramentas; nunca escolhidos pelo julgamento provável | Higgins, Savović, et al. (2024), sec. 8.2.1 |
| Efeito de interesse | Atribuição (intenção de tratar) para decisões de política; a variante cluster do RoB 2 só trata esse efeito | Higgins, Savović, et al. (2024), sec. 8.2.2; Higgins, Eldridge, et al. (2024), sec. 23.1.2 |
| Confundidores importantes | Lista única no nível da pergunta, derivada do DAG (Seção 2.1) | Sterne et al. (2025), p. 6 |
| Dados faltantes | Não há limiar sensato de “pouco”: julga-se o mecanismo. Se a equipe fixar um valor (a literatura usa de 80% a 95% de dados completos), aplique a todos | Higgins, Savović, et al. (2024), sec. 8.5.2; Hong, Pluye, et al. (2018), p. 4 |
| Calibração | Piloto com três a seis artigos; desacordo por discussão e, sem consenso, terceiro avaliador | Boutron et al. (2024), sec. 7.3.2 |
| Informação ausente como exclusão | Só se constar dos critérios; caso contrário, entra no julgamento | Waddington et al. (2017), p. 19, nota 22 |
6.2 Hierarquias de evidência e a escala de Maryland
Hierarquias e suas críticas
A hierarquia reproduzida por Petticrew e Roberts ordena sete desenhos por validade interna: revisões sistemáticas e meta-análises; ensaios randomizados com resultados definitivos; ensaios com resultados não definitivos; coortes; caso-controle; inquéritos transversais; relatos de caso (Petticrew e Roberts 2006, 58). O material didático sobre extração de dados a apresenta ao lado dos níveis I a V de Bagshaw e Bellomo, do ensaio bem conduzido e com poder adequado à série de casos sem controles (Schaefer 2026b, 20), no mesmo quadro de Nutley, Powell e Davies (Nutley et al. 2013, 10). A proposta OQF traduz a ideia em três faixas (topo: revisões e RCT; meio: quase-experimentos, coorte e caso-controle; base: pré-pós, estudos de caso e opinião) (Schaefer, Borges, e De Freitas 2025, 17) e numa variável de 0 a 6: 0 estudos de caso e opiniões, 1 pré e pós-teste, 2 “estudos de caso controlados”, 3 coorte, 4 quase-experimentos, 5 RCT, 6 revisões sistemáticas, sem aplicação a pesquisas qualitativas (Schaefer, Borges, e De Freitas 2025, 89).
Quatro limites orientam o uso.
- Vale para perguntas de efetividade. Esse propósito original “is often forgotten” (Petticrew e Roberts 2006, 58); para processo, aceitabilidade ou implementação, pensa-se em tipologias que cruzam pergunta e desenho (Petticrew e Roberts 2006, 59–60), base da matriz do slide 21 do material sobre extração de dados (Schaefer 2026b, 21; Nutley et al. 2013, 15–16).
- Ordena desenhos, não estudos. Um ensaio pequeno ou com perdas sem seguimento não deve ficar acima de estudos bem conduzidos com desenho menos forte (Petticrew e Roberts 2006, 60). Hierarquias por desenho subestimam bons observacionais, desperdiçam evidência quando usadas como filtro, ignoram a teoria do programa e não bastam para recomendar uma política (Nutley et al. 2013, 11–13).
- Revisões não são degrau acima do RCT dentro de uma revisão. O lugar delas varia entre hierarquias (Nutley et al. 2013, 10); neste método, vão para a bola de neve e a validação da busca, ou para AMSTAR 2 e ROBIS numa revisão de revisões (Seção D.1, item 3).
- A rubrica 0-6 precisa de regras de codificação. “Estudos de caso controlados” pode ser lido como estudo de caso ou como caso-controle, o termo das hierarquias de origem (Petticrew e Roberts 2006, 58); e o nível 4 junta DiD, regressão descontínua, variáveis instrumentais e pareamento, desenhos com pressupostos distintos (Waddington et al. 2017, 5–10).
Para quase-experimentos, a ordenação útil é a de Waddington et al., pela capacidade teórica de lidar com confundimento não observado: randomizados; desenhos “como se randomizados” (experimentos naturais, regressão descontínua e ITS, variáveis instrumentais); diferenciação (DiD, efeitos fixos), que remove só não observáveis invariantes no tempo na unidade de análise; e diferença simples e pareamento por escore, que dependem de seleção em observáveis. Os autores esperam que muitos quase-experimentos caiam abaixo dessa categoria a priori porque os pressupostos não se sustentam na execução (Waddington et al. 2017, 5–8). Para pesquisa qualitativa, Daly et al. propõem quatro níveis de evidência para a prática: caso único, descritivo, conceitual e generalizável (Daly et al. 2007). O GRADE responde às críticas começando pelo desenho e ajustando por limitações, inconsistência, indireção, imprecisão e viés de relato (Nutley et al. 2013, 11–12); ver Seção 10.1.
O material didático apresenta hierarquias, a matriz pergunta × desenho e quatro ferramentas (RoB 2, ROBINS-I, CASP e MMAT) (Schaefer 2026a, 49; 2026b, 19–21), com a SMS e Thomas et al. entre as leituras indicadas para filtragem e controle de qualidade (Schaefer 2026d, 6). Não diz qual ferramenta cabe a cada bloco, quem aplica, que limiar usar nem como o resultado entra na análise, e a proposta OQF trata a hierarquia como medida da validade interna (Schaefer, Borges, e De Freitas 2025, 20). A variável continua útil como descritor, não como medida de risco de viés.
A Maryland Scientific Methods Scale
A SMS classifica avaliações de políticas de 1 a 5 pela capacidade do método, e da sua implementação, de lidar com o viés de seleção para o tratamento (Madaleno e Waights 2016, 1). O guia do What Works Centre for Local Economic Growth ajusta a escala de Sherman et al., tornando-a um pouco mais rígida para separar os níveis 3, 4 e 5, base das suas revisões (Madaleno e Waights 2016, 4–5). Em paráfrase:
| Nível | Desenho típico | Exigência central |
|---|---|---|
| 1 | Comparação transversal tratados × não tratados, ou antes-depois só dos tratados | Sem variáveis de controle |
| 2 | Os mesmos desenhos | Controles ou pareamento adequados |
| 3 | Antes-depois com grupo de comparação (ex.: DiD) | Comparador justificado e comparabilidade demonstrada; diferenças não observadas provavelmente persistem |
| 4 | Quase-aleatoriedade explorada (instrumento, descontinuidade) | Adequação do instrumento ou da descontinuidade demonstrada |
| 5 | Randomização explícita | Balanço entre grupos, controles sem mudar muito o resultado, atrito seletivo desprezível, pouca ou nenhuma contaminação |
Fonte: paráfrase de Madaleno e Waights (2016, 5).
Cada estudo recebe um par (método, implementação): o método fixa o teto e a implementação pode rebaixar. Pontuação rápida resumida (páginas de Madaleno e Waights (2016)):
| Método | Teto | Condições para manter o teto | Rebaixamento | p. |
|---|---|---|---|---|
| Ensaio randomizado | 5 | Randomização bem-sucedida (testes de balanço); atrito tratado; sem contaminação | 4 se um critério for gravemente violado; 3 se dois ou mais | 7, 30 |
| Variável instrumental | 4 | Instrumento relevante, exógeno e excluível | Inválido: nota do método subjacente (transversal 2; DiD 3) | 11, 30 |
| Regressão descontínua | 4 | Descontinuidade nítida (ou método fuzzy); só o tratamento muda no corte; sem manipulação | Condições violadas: método subjacente | 13-14, 30 |
| Hazard misto (MPH) | 4 | Sem antecipação; variação no momento do tratamento | 3 se um falha; 2 se ambos | 31, 34 |
| Heckman ou função de controle | 4 com instrumento válido; 3 com DiD ou painel; 2 transversal | Equação de seleção com instrumento válido ou observáveis relevantes | Método subjacente ou um nível abaixo | 31, 37 |
| Diferença em diferenças | 3 | Tendência comum crível; período de tratamento conhecido | 2 se um falha | 19, 30 |
| Painel com efeitos fixos | 3 | Efeito fixo na unidade de observação; efeitos de ano; controles variantes no tempo | 2 se algum falha | 21, 30 |
| Primeiras diferenças; Arellano-Bond | 3 | Efeitos de ano; controles variantes no tempo | 2 se algum falha | 21, 30, 39 |
| Pareamento com DiD ou painel | 3 | Variáveis de pareamento relevantes; suporte comum; critérios do DiD ou painel | 2 | 24, 31 |
| Pareamento transversal | 2 | Variáveis relevantes para a seleção; suporte comum amplo | 1 | 24, 31 |
| Regressão transversal; antes-depois | 2 | Controles adequados | 1 | 26, 31 |
| Efeitos declarados pelos participantes; modelagem de impacto | Não pontuável | Sem contrafactual observado | Não se aplica | 28-29, 32 |
Três observações. “Efeitos fixos” num corte transversal são só controles, e o teto continua 2 (Madaleno e Waights 2016, 23). Pontuar envolve julgamento (Madaleno e Waights 2016, 1), logo a nota precisa de justificativa escrita. E, fora dos ensaios, a escala não examina dados faltantes, medida do desfecho nem relato seletivo; nas revisões Campbell de prevenção do crime ela foi usada junto com taxa de resposta, atrito e validade da medida (Petticrew e Roberts 2006, 135).
Uso neste método. (i) Critério de elegibilidade para perguntas de efeito: “We define SMS 3 methods to be the minimum standard for our reviews” (Madaleno e Waights 2016, 18), e o centro pré-seleciona toda avaliação que possa atingir 3 ou mais (What Works Centre for Local Economic Growth 2015); na revisão brasileira sobre homicídios, Kopittke e Ramos exigiram “pelo menos o nível 3 da Escala Maryland” e excluíram por esse motivo 75 das 195 avaliações analisadas (Kopittke e Ramos 2021, 419, 423). (ii) Descritor na extração, em duas colunas (sms_metodo, sms_implementacao) com justificativa. (iii) Nunca substituto de RoB 2, ROBINS-I ou EPOC.
Na versão original, usada por Kopittke e Ramos, o nível 2 inclui antes-depois com grupo não equivalente e o nível 4 é o nível 3 com número “bastante elevado” de unidades (Kopittke e Ramos 2021, 421); na ajustada, o nível 4 exige quase-aleatoriedade (Madaleno e Waights 2016, 5). Declare a versão. O guia de 2016 tem inconsistências: antes-depois com controles inadequados vale “2, 2” no texto (Madaleno e Waights 2016, 27) e “2, 1” no apêndice (Madaleno e Waights 2016, 31); o texto sobre painel anuncia “two main criteria” e lista três (Madaleno e Waights 2016, 21); a tabela de RDD repete o exemplo do instrumento inválido (Madaleno e Waights 2016, 13). Fixe a regra no codebook (aqui: antes-depois sem controles adequados = 1).
6.3 Ferramentas de risco de viés por desenho
RoB 2 para ensaios randomizados
O RoB 2 avalia um resultado de um ensaio em cinco domínios obrigatórios: processo de randomização; desvios das intervenções pretendidas; dados de desfecho faltantes; medida do desfecho; seleção do resultado relatado (Higgins, Savović, et al. 2024, sec. 8.2.3; Sterne et al. 2019). As perguntas-sinalizadoras admitem sim, provavelmente sim, provavelmente não, não e sem informação; “sim” e “provavelmente sim” têm a mesma implicação, e “sem informação” só se usa quando não seria razoável responder “provavelmente” (Higgins, Savović, et al. 2024, sec. 8.2.3). O algoritmo propõe o julgamento de cada domínio, que pode ser alterado com justificativa, lendo “risco” como risco de viés material; a direção do viés é opcional e não deve ser chutada (Higgins, Savović, et al. 2024, sec. 8.2.3). O julgamento geral é baixo se todos os domínios forem baixos; algumas preocupações se houver ao menos uma e nenhum alto; alto se houver um domínio alto ou preocupações em vários domínios que reduzam substancialmente a confiança (Higgins, Savović, et al. 2024, sec. 8.2.4).
A revisão escolhe antes o efeito de interesse (atribuição ou adesão), porque isso muda o domínio de desvios (Higgins, Savović, et al. 2024, sec. 8.2.2). Em dados faltantes, a tradição de chamar menos de 5% de “pouco” e mais de 20% de “muito” não substitui o exame do mecanismo e da diferença entre grupos (Higgins, Savović, et al. 2024, sec. 8.5.2-8.5.3).
Em políticas públicas a randomização costuma ser por cluster. A variante acrescenta um domínio sobre o momento de identificação e recrutamento: se os indivíduos entram depois da alocação dos clusters, o conhecimento da alocação pode afetar quem entra, e desequilíbrios entre participantes (não entre clusters) sinalizam o problema; com poucos clusters, desequilíbrios ao acaso são comuns e não indicam viés (Higgins, Eldridge, et al. 2024, sec. 23.1.2). O erro de unidade de análise estreita intervalos de confiança e é tratado na extração e na síntese (Higgins, Eldridge, et al. 2024, sec. 23.1.3) (ver Seção 7.1).
Ferramentas clínicas aplicadas ao pé da letra punem avaliações sociais pela falta de duplo-cego, muitas vezes impossível (Petticrew e Roberts 2006, 128–29). A pergunta útil é se quem mediu o desfecho sabia a alocação: cegar avaliadores e analistas costuma ser viável, embora raro (Waddington et al. 2017, 16).
ROBINS-I V2 para estudos não randomizados de intervenções
A versão 2, publicada em 20 de novembro de 2025 como rascunho (Risk of bias tools 2025), avalia um resultado de um estudo de seguimento não randomizado (Sterne et al. 2025, 3) em quatro momentos.
- Planejamento. Lista única de confundidores importantes no nível da pergunta, com conhecimento substantivo (Sterne et al. 2025, 6).
- Considerações preliminares. Para cada resultado: o número avaliado (com tabela ou parágrafo), se vale prosseguir, o target trial (ensaio hipotético que o estudo emula), se a análise estima efeito de intenção de tratar ou por protocolo e as fontes consultadas; tudo combinado entre avaliadores antes do trabalho individual (Sterne et al. 2025, 3, 7–13). A triagem leva direto a risco crítico quando não houve controle de confundimento e o potencial de confundimento basta para descartar o resultado, ou quando a medida do desfecho é inadequada (Sterne et al. 2025, 9).
- Seis domínios: confundimento; classificação das intervenções; seleção de participantes (para o estudo ou a análise); dados faltantes; medida do desfecho; seleção do resultado relatado. O domínio de desvios das intervenções saiu e é tratado no confundimento quando o efeito é por protocolo (Sterne et al. 2025, 3). No confundimento, pergunta-se também se houve ajuste por variáveis afetadas pela intervenção (mediadores, colisores) e se controles negativos sugerem confundimento residual (Sterne et al. 2025, 19).
- Julgamento geral, pelo algoritmo abaixo, que pode ser sobreposto com justificativa (Sterne et al. 2025, 4).
As perguntas-sinalizadoras da V2 têm as respostas “sim”, “provavelmente sim”, “provavelmente não”, “não” e “sem informação” (Y, PY, PN, N, NI), e algumas ganham uma versão fraca e uma forte do sim ou do não para separar risco maior de menor (Sterne et al. 2025, 3). No confundimento, por exemplo, a pergunta sobre o controle dos confundidores importantes aceita WN (não, mas o descontrole provavelmente não é substancial) e SN (não, e provavelmente é) (Sterne et al. 2025, 17); em outras perguntas aparecem SY e WY (Sterne et al. 2025, 26). Os códigos fraco e forte levam a julgamentos diferentes no algoritmo e não se traduzem para o vocabulário do RoB 2.
| Julgamento | Regra do algoritmo |
|---|---|
| Baixo, exceto por confundimento não controlado | Esse julgamento no domínio 1 e baixo nos demais |
| Moderado | Ao menos um moderado e nenhum grave ou crítico |
| Grave | Ao menos um grave e nenhum crítico, ou vários moderados que somam grave |
| Crítico (resultado em geral fora da síntese) | Ao menos um crítico, ou vários graves que somam crítico |
Fonte: Sterne et al. (2025, 4, 49).
A ferramenta não trata modificação de efeito (Sterne et al. 2025, 6), assunto da Seção 8.1. A versão 1, descrita no capítulo 25 do Handbook, tinha sete domínios em outra ordem (Sterne et al. 2024, sec. 25.3.4): não misture formulários ou gráficos das duas.
Quase-experimentos: DiD, RDD, IV, pareamento e controle sintético
Waddington et al. mostraram que as ferramentas para não randomizados disponíveis até 2014, incluindo a precursora do ROBINS-I, cobriam mal os quase-experimentos: as perguntas de confundimento tratavam de ajuste por observáveis e não verificavam a exogeneidade da variável de identificação nem a especificação estatística (Waddington et al. 2017, 11–13). A V2 segue sem perguntas próprias para esses desenhos (Sterne et al. 2025, 17–19). Regra deste método: usar a estrutura de domínios da ferramenta escolhida, registrar no domínio de confundimento (e no de resultado relatado) as perguntas abaixo e sobrepor o algoritmo com justificativa quando preciso (Sterne et al. 2025, 4).
| Desenho | Pressupostos | Perguntas-sinalizadoras sugeridas | Rebaixamento na SMS |
|---|---|---|---|
| DiD e efeitos fixos | Diferenciação remove só confundimento invariante no tempo na unidade de análise; tendências iguais; suporte comum | Em que unidade ocorre a diferenciação? Há balanço na linha de base? Ajuste para covariáveis variantes no tempo? Atrito diferencial? Tendências prévias paralelas? | Tendência comum não crível ou data desconhecida: 3 → 2 |
| Regressão descontínua (regression discontinuity design, RDD) e ITS pela data | Variável de corte contínua ou ordinal com valores suficientes; não usada para outra intervenção; não antecipável nem manipulável | Pelo menos quatro valores únicos de cada lado do corte? Teste de manipulação? Covariáveis contínuas no corte? Banda e forma funcional justificadas? | Condições violadas: método subjacente |
| Variáveis instrumentais (instrumental variables, IV) e experimento natural | Relação monotônica e forte com o tratamento; exclusão; sem causas comuns com o desfecho; sem transbordamento (SUTVA) | Primeiro estágio forte? Instrumentos significativos? Teste de sobreidentificação? Exclusão defendida substantivamente? | Instrumento inválido: método subjacente |
| Pareamento por escore (propensity score matching, PSM) | Seleção só em observáveis; suporte comum | As variáveis explicam a seleção? Quantas observações ficaram fora do suporte? Houve diferenciação? | Transversal: teto 2; com DiD ou painel: 3 |
Fontes: Waddington et al. (2017, 7, 10, 18, nota 21); Madaleno e Waights (2016, 10–14, 18–19, 23–24). Para RDD, os padrões do What Works Clearinghouse acrescentam teste formal de densidade da variável de corte, atrito baixo e continuidade das covariáveis; nesses padrões, quase-experimentos chegam no máximo a “atende com ressalvas” (García e Saavedra 2017, 932).
Em avaliações retrospectivas com muitas especificações possíveis, o domínio de resultado relatado pesa mais, e um plano de análise prévio ajuda a julgar (Waddington et al. 2017, 16–17). A regra de modelo principal da extração (Seção 7.1) deve ser a mesma que escolhe o resultado avaliado.
O codebook OQF de exemplo, no bloco b2, prevê synthetic_control e event_study (Schaefer 2026c), mas nenhuma fonte lida traz perguntas-sinalizadoras próprias para esses desenhos. Até haver extensão verificada, declare no protocolo as perguntas usadas, avalie pela estrutura de domínios com julgamento justificado e registre a limitação no relato.
EPOC para antes-depois controlado e séries temporais interrompidas
O grupo Cochrane EPOC propõe nove critérios para estudos com grupo de controle separado: geração da sequência, ocultação da alocação, desfechos e características semelhantes na linha de base, dados incompletos, conhecimento da alocação, contaminação, relato seletivo e outros riscos; não randomizados e CBA recebem “alto risco” na geração da sequência, e CBA também na ocultação (Cochrane Effective Practice and Organisation of Care (EPOC) 2017, 1–3). Para ITS, sete: intervenção independente de outras mudanças, forma do efeito pré-especificada, intervenção sem efeito sobre a coleta, conhecimento da alocação, dados incompletos, relato seletivo e outros riscos, como sazonalidade. ITS que ignora a tendência e compara pré e pós com teste t simples não entra, salvo reanálise (Cochrane Effective Practice and Organisation of Care (EPOC) 2017, 3–4). Seguimento completo não se presume sem declaração explícita (Cochrane Effective Practice and Organisation of Care (EPOC) 2017, 2).
As variantes da versão 1 do ROBINS-I para antes-depois cobrem ameaças equivalentes: pontos pré-intervenção suficientes para caracterizar tendências, eventos simultâneos, ponto de interrupção escolhido para maximizar o efeito, antecipação da política antes da data formal, mudança na forma de registrar o desfecho e, nos CBA, regressão à média (Sterne et al. 2024, sec. 25.5-25.6). Antes-depois com uma medida em cada período costuma ficar em risco grave ou crítico (Sterne et al. 2024, sec. 25.5).
ROBINS-E para exposições
Quando o “X” é uma exposição, e não uma intervenção deliberada (por exemplo, violência no território), o ROBINS-E avalia coortes em sete domínios: confundimento, medida da exposição, seleção de participantes, intervenções pós-exposição, dados faltantes, medida do desfecho e seleção do resultado relatado (Higgins, Morgan, et al. 2024, sec. 5). Os julgamentos vão de baixo a muito alto; o geral, por padrão, é o do pior domínio, com direção do viés e ameaça às conclusões (Higgins, Morgan, et al. 2024, sec. 3, 6).
Estudos qualitativos (a1 e b1): CASP e JBI
Não há consenso sobre a melhor ferramenta qualitativa; checklists não garantem rigor, mas tornam transparente a verificação do básico (Petticrew e Roberts 2006, 150–53). O CASP qualitativo (2024) tem dez perguntas em três seções (os resultados são válidos? quais são? ajudam localmente?), respostas sim, não e não é possível dizer, e resumo em pontos positivos, negativos e desconhecidos; muitas respostas “não é possível dizer” pedem cautela (Critical Appraisal Skills Programme 2024, 1–5). O checklist JBI (2024) tem dez itens: congruência entre posição teórica, metodologia, pergunta, coleta, análise e interpretação; localização do pesquisador; influência do pesquisador; vozes dos participantes; ética; conclusões derivadas dos dados. Seu campo “incluir / excluir / buscar mais informação” só se usa se a exclusão estiver no protocolo (JBI 2024).
Para b1, as variáveis de qualidade do codebook de exemplo complementam a ferramenta (Schaefer 2026c). Nenhuma fonte lida traz ferramenta própria para QCA ou rastreamento de processos; a checagem da calibração em QCA está na Seção 9.1.
Estudos quantitativos descritivos (a2): JBI
Estudos a2 descrevem beneficiários, cobertura ou implementação sem estimar efeito causal (Schaefer 2026b, 29). Para prevalências, o checklist JBI tem nove itens: quadro amostral, amostragem, tamanho da amostra, descrição de sujeitos e contexto, cobertura da análise, validade da identificação da condição, padronização da medida, análise estatística e taxa de resposta (Munn et al. 2015). Para associações num corte transversal, a ferramenta JBI revisada tem oito perguntas (critérios de inclusão, medida da condição, da exposição e do desfecho, identificação de confundidores e estratégias para eles, análise estatística, descrição de sujeitos e contexto), agrupadas em validade interna com o domínio de viés de cada pergunta, validade de conclusão estatística e completude do relato (Barker et al. 2026).
Survey em que os participantes atribuem efeitos ao programa não mede efeito: a SMS o considera não pontuável (Madaleno e Waights 2016, 28), e o benefício declarado pode refletir lealdade a quem presta o serviço (Petticrew e Roberts 2006, 59). Trate como percepção.
Métodos mistos primários: MMAT 2018
O MMAT tem duas perguntas de triagem e cinco categorias com cinco critérios cada: qualitativo, ensaio randomizado, não randomizado, quantitativo descritivo e métodos mistos (Hong, Pluye, et al. 2018, 1–2; Hong, Fàbregues, et al. 2018). Um estudo misto é avaliado pela categoria 5 (justificativa do desenho, integração, interpretação da integração, tratamento das divergências) e, pelo critério 5.5, cada componente pela categoria do seu desenho; a qualidade geral não passa a do componente mais fraco (Hong, Pluye, et al. 2018, 2, 7). O guia recomenda dois revisores independentes, desaconselha escore global e afirma que “Excluding studies with low methodological quality is usually discouraged” (Hong, Pluye, et al. 2018, 1). Numa revisão OQF, o MMAT fica com estudos primários mistos (Seção D.1, item 8).
Revisões sistemáticas: AMSTAR 2 e ROBIS
Só se aplicam quando a unidade de análise é a revisão. O AMSTAR 2 tem 16 itens, sete críticos (registro prévio do protocolo, busca, justificativa das exclusões, risco de viés dos estudos, métodos meta-analíticos, risco de viés na interpretação, viés de publicação), e classifica a confiança em alta (nenhuma ou uma fraqueza não crítica), moderada (mais de uma não crítica), baixa (uma falha crítica) ou criticamente baixa (mais de uma), num esquema que os autores chamam de consultivo (Shea et al. 2017, box 1-2). O ROBIS tem três fases (relevância, opcional; preocupações em quatro domínios: elegibilidade, identificação e seleção, coleta e apreciação, síntese; julgamento do risco) (Whiting et al. 2016).
6.4 Quem avalia e o papel da IA
Avaliam pelo menos duas pessoas independentes, com conhecimento do conteúdo ou do método; treinamento padronizado melhora a confiabilidade (Boutron et al. 2024, sec. 7.3.2). Em quase-experimentos o julgamento depende mais de conhecimento estatístico e substantivo, o que torna a dupla avaliação ainda mais necessária (Waddington et al. 2017, 17). No ROBINS-I, as considerações preliminares são combinadas antes do trabalho individual (Sterne et al. 2025, 3).
Sobre concordância, o Handbook não recomenda kappa para descrever essas avaliações e prioriza explorar cada desacordo (Boutron et al. 2024, sec. 7.3.2); quem medir concordância nas perguntas do RoB 2 deve juntar “sim” com “provavelmente sim” e “não” com “provavelmente não” (Higgins, Savović, et al. 2024, sec. 8.2.3). Waddington et al. pedem avaliação da confiabilidade entre avaliadores (Waddington et al. 2017, 17). Este método registra os julgamentos originais de cada avaliador e os desacordos por domínio, com o modo de resolução, sem limiar de kappa como critério de aceitação para risco de viés. A concordância por domínio (proporção, κ e PABAK) pode ser calculada para descrever a confiabilidade e apontar domínios a discutir, mas não substitui o consenso nem o exame de cada desacordo.
A especificação desta base permite que um modelo de linguagem rascunhe respostas às perguntas-sinalizadoras com trecho literal e página; os julgamentos são humanos (Seção D.3). A regra segue três fatos: o Handbook exige a fonte de cada julgamento (MECIR C55) e relata concordância apenas leve a moderada entre ferramentas de aprendizado de máquina e revisores humanos no julgamento (Boutron et al. 2024, sec. 7.3.2); e o PRISMA 2020 pede detalhes das ferramentas de automação nessa etapa (Page et al. 2021, item 11). Validação e declaração de uso estão na Seção 12.1.
Não atribui julgamento de domínio nem geral; não responde “sim” sem trecho; não avalia pelo resumo; não substitui um dos avaliadores humanos. Rascunho com trecho ausente do PDF é rejeitado pelo gate de citação e refeito por outro subagente (Seção D.5).
6.5 Estudos brasileiros, teses e relatórios
Na revisão brasileira sobre homicídios, 11 dos 41 estudos incluídos eram dissertações ou teses e 3 eram relatórios (Kopittke e Ramos 2021, 424). Na planilha de decomposição do caso REFIS (base_decomposição.xlsx, aba Final, 20 registros), há 11 dissertações, uma tese, uma nota técnica e uma monografia (Schaefer 2026c). Daí cinco regras.
- Tipo de publicação não define risco de viés. A ferramenta segue o desenho do resultado; Kopittke e Ramos aplicaram o mesmo critério a estudos publicados e não publicados, em qualquer língua (Kopittke e Ramos 2021, 419).
- Avalie o estudo com todos os seus relatos. O ROBINS-I V2 pede o máximo de informação e lista tese não publicada entre as fontes (Sterne et al. 2025, 13); tese e artigo do mesmo estudo são ligados no texto completo (Seção 5.1).
- Falta de relato não é falha de método. Contatar autores evita confundir relato inadequado com estudo ruim (Petticrew e Roberts 2006, 127); o Handbook sugere perguntas abertas aos autores, como indagar que processo usaram para atribuir cada participante à intervenção (Boutron et al. 2024, sec. 7.3.1).
- Registre vínculo institucional. Relação institucional com a intervenção avaliada é indício de conflito de interesse não financeiro (Boutron et al. 2024, sec. 7.8.5), cujo registro é altamente desejável (MECIR C59) (Boutron et al. 2024, sec. 7.8.6). Nota técnica de órgão que gere o programa entra com esse registro, sem rebaixamento automático.
- Desconfie de avaliação sem contrafactual. Muitas avaliações patrocinadas por governos não usam estratégias críveis para estimar impacto (Madaleno e Waights 2016, 3); relatórios baseados em efeitos declarados ou modelagem de impacto não são pontuáveis na SMS (Madaleno e Waights 2016, 28–29).
6.6 Visualização
O PRISMA 2020 pede o risco de viés de cada estudo e dos estudos de cada síntese (Page et al. 2021, itens 18 e 20a). O Handbook recomenda forest plots com os julgamentos ao lado de cada estudo, tabelas completas disponíveis e, em gráficos de barras, regiões proporcionais ao peso na meta-análise, não ao número de estudos (Boutron et al. 2024, sec. 7.4).
O pacote R robvis produz o gráfico semáforo (traffic light plot) com rob_traffic_light() e o resumo em barras com rob_summary(), a partir de uma tabela com estudo, domínios, julgamento geral e peso (McGuinness e Higgins 2021). Cuidados verificados em teste local (setembro de 2026, versão 0.3.1 do CRAN): rob_tools() lista ROB2, ROBINS-I, QUADAS-2, ROB1 e ROBINS-I Online, e o modelo genérico falha (a versão de desenvolvimento 0.3.0.900 acrescenta ROB2-Cluster, só no semáforo, ROBINS-E, QUIPS e Generic); o modelo ROBINS-I rotula os domínios na ordem da versão 1 (D2 seleção, D3 classificação), enquanto a V2 inverte a ordem e tem seis domínios (Sterne et al. 2025, 3); e rob_summary() pondera por padrão e falha sem a coluna de pesos. Para CASP, JBI e MMAT, use tabela.
# Ilustrativo (não executado no livro)
library(robvis)
rob_tools() # modelos da versão instalada
rob2 <- read.csv("04-qualidade/rob2_resultados.csv")
rob_traffic_light(data = rob2, tool = "ROB2")
rob_summary(data = rob2, tool = "ROB2", weighted = TRUE)6.7 Passo a passo
- Protocolo (Seção 3.1): desenhos elegíveis e nível SMS mínimo, se usado; ferramenta e versão por desenho e bloco, com a regra de fronteira entre V2, EPOC e variantes antes-depois; efeito de interesse; confundidores e cointervenções derivados do DAG (Seção 2.1); regra de desacordo; uso na síntese; papel da IA.
- Formulários a partir das ferramentas oficiais: uma linha por resultado, com pergunta, resposta, trecho, página, fonte, julgamento, justificativa e direção.
- Piloto com três a seis estudos de desenhos diferentes, em dupla; ajuste o guia de decisão e versione o formulário.
- Classificação de cada estudo: bloco (Seção 7.1), desenho pelo fluxo de Waddington et al. (Waddington et al. 2017, 8) e par SMS justificado.
- Resultados a avaliar: os da tabela de síntese e da caixa de ferramentas, pelo modelo principal e desfecho, com tabela e linha anotadas.
- Relatos: reúna artigo, tese, relatório, apêndice e plano de análise; anote lacunas para contato com autores.
- Rascunho por IA (opcional) com trecho e página; o gate confere cada trecho no PDF.
- Avaliação independente por A e B: respostas, julgamentos por domínio (algoritmo como proposta) e julgamento geral.
- Consenso, com terceiro avaliador se previsto; registre julgamentos originais e finais, desacordos por domínio e quem resolveu cada um; aplique o algoritmo da ferramenta ao consenso e justifique toda sobreposição.
- Exclusões pré-especificadas (risco crítico no ROBINS-I; ITS com teste t sem reanálise), com motivo no ledger (Seção 5.1).
- Tabelas e gráficos, com asserção de que as contagens somam o número de resultados avaliados.
- Síntese e certeza: análises primária, estratificada e de sensibilidade (Seção 8.1, Seção 9.1) e domínio de risco de viés no GRADE (Seção 10.1).
- Relato conforme a Seção 6.12, com os formulários publicados (Page et al. 2021, item 27).
6.8 O que as diretrizes exigem
| Diretriz e item | Exigência |
|---|---|
| PRISMA 2020, item 11 | Ferramentas, avaliadores por estudo, independência e ferramentas de automação |
| PRISMA 2020, itens 13e e 13f | Métodos para explorar heterogeneidade e análises de sensibilidade |
| PRISMA 2020, itens 15 e 22 | Métodos e resultados da avaliação de certeza (Seção 10.1) |
| PRISMA 2020, item 18 | Risco de viés de cada estudo incluído |
| PRISMA 2020, itens 20a e 20d | Risco de viés dos estudos de cada síntese; resultados das análises de sensibilidade |
| PRISMA 2020, itens 23b e 24c | Limitações da evidência; emendas ao protocolo, inclusive troca de ferramenta ou versão |
| PRISMA 2020, item 27 | Formulários e dados extraídos disponíveis |
| PRISMA-ScR, itens 12 e 16 | Apreciação crítica opcional em revisões de escopo; se feita, justificar, descrever método e uso e apresentar os dados |
| MECIR C52 a C55 (obrigatórios) | Avaliar os resultados da tabela-resumo; dupla independente com regra prévia de desacordo; justificar; registrar a fonte |
| MECIR C56, C57, C59 (altamente desejáveis) | Resumir por desfecho-chave; tratar o risco na síntese (estratificar ou restringir); tratar conflitos de interesse |
| AMSTAR 2, itens 9 e 13 (críticos) | Quem avaliar a sua revisão vai checar se o risco de viés foi avaliado adequadamente e considerado na interpretação |
Fontes: Page et al. (2021); Tricco et al. (2018, itens 12 e 16); Boutron et al. (2024, sec. 7.1.2, 7.3.2, 7.5, 7.6.1, 7.8.6); Shea et al. (2017, box 1). O uso de IA segue também PRISMA-trAIce e RAISE (Seção 12.1).
6.9 Exemplo trabalhado
Proibição de celulares nas escolas
O que foi feito. A revisão selecionou trabalhos com “características mínimas de qualidade”: estudos empíricos revisados por pares, com foco na relação entre proibição e desempenho e com “descrição metodológica mínima” (Schaefer, Borges, e Gomes Filho 2025, 102). Codificou desenho, estratégia de identificação e validade interna (Schaefer, Borges, e Gomes Filho 2025, 103), medida na proposta OQF pela hierarquia 0-6 (Schaefer, Borges, e De Freitas 2025, 20, 89). Entre os oito estudos quantitativos causais, a identificação foi descrita como experimental em três, “seleção em observáveis em quatro casos (diferença em diferenças)” e meta-análise em um; sete apontaram efeito positivo e o g combinado foi 0,22 (Schaefer, Borges, e Gomes Filho 2025, 104). As limitações atribuem parte da variabilidade a diferenças de desenho e de forma de avaliação, inclusive testes aplicados pelos professores, sem avaliação de risco de viés por estudo (Schaefer, Borges, e Gomes Filho 2025, 109).
O que deveria ser feito.
- Protocolo. Declarar elegíveis resultados b2 com grupo de comparação (equivalente a SMS ≥ 3); fixar RoB 2 (variante cluster para turmas ou escolas), EPOC para DiD com escolas ou redes agregadas e ROBINS-I V2 para painéis de alunos; listar confundidores da adoção a partir do DAG (nível socioeconômico, desempenho prévio, mudanças simultâneas); efeito de interesse: atribuição da política.
- Retirar a meta-análise da síntese e mandar seus estudos para a bola de neve (Seção D.1, item 3). Como a revisão compara seu g com o de outra meta-análise (Schaefer, Borges, e Gomes Filho 2025, 105), essa revisão pode ser apreciada antes com AMSTAR 2 ou ROBIS.
- Corrigir a classificação. DiD não é seleção em observáveis: remove confundimento invariante no tempo e depende de tendências paralelas (Waddington et al. 2017, 7, 10), o que muda as perguntas de confundimento.
- Avaliar por resultado. Num estudo com prova externa e teste do professor, o domínio de medida pergunta se quem mediu sabia qual turma estava sob proibição (Higgins, Savović, et al. 2024, sec. 8.2.3; Waddington et al. 2017, 16); os dois resultados podem receber julgamentos diferentes.
- Usar o julgamento. Estratificar randomizados e não randomizados, repetir sem resultados de risco alto, grave ou crítico e levar o risco ao GRADE; a limitação passa a citar o risco de viés.
Formulário ilustrativo (estudo hipotético):
| Campo | Registro |
|---|---|
| Resultado | Nota padronizada de matemática; DiD entre escolas de uma rede com e sem proibição; tabela principal, coluna 2 |
| Bloco, desenho, ferramenta | b2; DiD agregado por escola, logo CBA; EPOC + perguntas de Waddington; SMS (3, 3) se tendência comum crível e data conhecida |
| Linha de base | Há gráfico de tendências prévias e ajuste para covariáveis variantes? Trecho e página; proposta da IA revista por A e B |
| Outras mudanças | A rede mudou o currículo no mesmo ano? Registrar a busca em documentos da secretaria |
| Dados incompletos | Quantas escolas ficaram sem nota no pós, e isso difere entre grupos? |
| Relato seletivo | Há plano de análise? O número do resumo é o da tabela principal? |
| Julgamento e fontes | Julgamentos de A, B e consenso; artigo e dissertação do mesmo estudo; e-mail aos autores sobre atrito |
REFIS
O que foi feito. O funil chegou a 21 trabalhos e aceitou os quatro blocos (Schaefer 2026a, 43, 48). O bloco b2 do codebook de exemplo marca como “Qualidade” controle_id, n_controles, controle_temporal, controle_espacial e teste_falsificacao (Schaefer 2026c); a planilha do caso não tem variável de risco de viés.
O que deveria ser feito. As dummies misturam desenho e execução e não cobrem dados faltantes, medida do desfecho nem relato seletivo, mas viram perguntas-sinalizadoras: controle_temporal corresponde aos efeitos de ano exigidos para painéis na SMS (Madaleno e Waights 2016, 21); teste_falsificacao informa as tendências prévias em DiD (Waddington et al. 2017, 18) e funciona como controle negativo no confundimento do ROBINS-I V2 (Sterne et al. 2025, 19). O confundimento é o problema central: o ingresso no Refis “dar-se-á por opção da pessoa jurídica” (Brasil 2000, art. 2º), e a autosseleção pode enviesar o efeito para cima ou para baixo, conforme adiram as firmas mais organizadas ou as mais endividadas (Madaleno e Waights 2016, 3–4). Consequências:
- Comparação de aderentes e não aderentes num único ano, com controles, tem teto SMS 2 (Madaleno e Waights 2016, 26) e fica fora de uma pergunta que exija SMS ≥ 3.
- Séries de arrecadação antes e depois de cada programa são ITS: antecipação da política (contribuintes mudando o comportamento antes da data formal) e outras mudanças tributárias no período entram nos domínios da variante antes-depois (Sterne et al. 2024, sec. 25.5) ou nos critérios EPOC (Cochrane Effective Practice and Organisation of Care (EPOC) 2017, 3).
- Nota técnica governamental e dissertação com o mesmo desenho recebem o mesmo tratamento, com registro de vínculo institucional (Seção 6.5).
6.10 Erros comuns e como evitá-los
| Erro | Por que é problema | Como evitar |
|---|---|---|
| Hierarquia 0-6 como medida de validade interna (Schaefer, Borges, e De Freitas 2025, 20, 89) | Ordena desenhos, não julga execução (Petticrew e Roberts 2006, 129–30) | Hierarquia e SMS como descritores; risco de viés por domínio |
| Meta-análise contada como estudo (“meta-análise em um” dos oito) (Schaefer, Borges, e Gomes Filho 2025, 104) | Dupla contagem e mistura de unidades | Revisões fora da síntese primária |
| “Descrição metodológica mínima” como filtro de qualidade (Schaefer, Borges, e Gomes Filho 2025, 102) | Mede relato, não viés (Petticrew e Roberts 2006, 127) | Ferramenta por desenho, depois da elegibilidade |
| DiD chamado de “seleção em observáveis” (Schaefer, Borges, e Gomes Filho 2025, 104) | Perguntas de confundimento erradas | Fluxo de Waddington et al. (Waddington et al. 2017, 7–8) |
| Rótulo “MMAT” para uma pergunta global Sim/Não/Parcialmente respondida por LLM: na revisão C conduzida pelo autor desta base (Seção 12.9), o prompt de sistema anunciava avaliação “segundo o” MMAT 2018, e o formulário usava uma versão simplificada | O MMAT tem triagem e cinco critérios por categoria (Hong, Pluye, et al. 2018, 1–2); julgamento deve ser humano | Critérios oficiais; LLM só rascunha; nomear o que foi feito |
| Não checar se a resposta do modelo veio completa (na mesma revisão, respostas truncadas perderam a avaliação em 5 de 13 artigos de um tema) | Campo faltante vira “não avaliado” em silêncio | Conferir o último campo e cada domínio antes de consolidar |
| Avaliar o estudo inteiro | Resultados do mesmo estudo têm riscos diferentes (Sterne et al. 2025, 7) | Uma linha por resultado |
| Excluir por “baixa qualidade” sem previsão, ou não usar a avaliação | Perde evidência (Nutley et al. 2013, 13) ou apaga o risco das conclusões (Boutron et al. 2024, sec. 7.6.2) | Uso pré-especificado |
| “O que funciona” por contagem de significativos, com p < 0,1 lido como “90%” de chance de repetição (Kopittke e Ramos 2021, 421–22) | Ignora magnitude e viés; leitura errada do valor p | Direção pelo estimador (Seção 8.1); risco como estrato |
| Misturar SMS original e ajustada (Kopittke e Ramos 2021, 421; Madaleno e Waights 2016, 5) | Notas não comparáveis | Declarar a versão |
| Descritores que não fecham (nível 4 = 5 e nível 3 = 35 somam 40 de 41 estudos) (Kopittke e Ramos 2021, 424) | Um estudo sem classificação | Contagens geradas da planilha, com asserção de soma |
Dados da ROBINS-I V2 no modelo ROBINS-I do robvis 0.3.1 |
Rótulos da versão 1, em outra ordem | Tabela própria ou legenda conferida |
| Limiares antigos do EPOC para ITS (20 pontos pré com ARIMA; concordância de 90% ou kappa ≥ 0,8) (Petticrew e Roberts 2006, 139–40) | Não constam dos critérios de 2017 (Cochrane Effective Practice and Organisation of Care (EPOC) 2017, 3–4) | Citar e datar a versão |
6.11 Na skill revisao-sistematica
A skill está em construção; este é o contrato planejado (Seção D.5).
- Portões. Ferramentas de risco de viés são congeladas no protocolo (G2); mudança posterior é emenda. O piloto de extração (G6) inclui dois a três estudos por bloco. Extração e risco de viés correm em paralelo na etapa 9 e fecham no G7, que, fora de revisões de escopo e mapas de evidências, só aprova com o risco de viés consolidado (evento
rob_consolidado) e com os arquivos da consolidação inalterados. No autopiloto, julgamentos pendentes virampendencias, e relatório e declaração de IA saem marcados “RASCUNHO NÃO VALIDADO”. - Consolidação em dupla.
rs.py qualidade consolidartem duas fases. Na primeira (--ae--b), lê as avaliações independentes de A e B (formato longo, largo ou o master do fichamento), mede a concordância por domínio (proporção, κ e PABAK, só descritivos) e grava o arquivo de consenso com os julgamentos de A e B, já preenchido onde eles concordam e vazio nos desacordos, que formam a fila humana. Na segunda (--consenso), exige um julgamento de consenso e o papel humano de quem resolveu cada desacordo e aplica o algoritmo da ferramenta: pior domínio no RoB 2 e no ROBINS-I V2 (com aviso quando o julgamento aditivo pode agravar o geral), pior critério no EPOC (incerto = moderado, convenção declarada no protocolo) e a linha geral nas checklists; um julgamento geral humano e justificado pode sobrepor o algoritmo, só para agravar. O resultado vai para04-qualidade/rob_geral.csv, com a marca de validação humana de cada resultado. - Pasta e referências. Formulários e julgamentos em
04-qualidade/; instrução emreferences/05-qualidade.md; junções porchaveouid_rs, nunca por título. - Codebooks em
assets/codebooks/(rob2,robins_i,epoc,casp_qualitativo,jbi_transversal,mmat,desenho_maryland), no formato defichamento-sistematico(dimensao, variavel, descricao, prompt, tipo, aplicavel_se), comtipo_estudoa1/a2/b1/b2 decidindo o que se aplica. O do ROBINS-I V2 usa os códigos de resposta oficiais (Y, PY, PN, N, NI, e WN/SN ou SY/WY onde o documento os prevê). - Agente
avaliador-rob. Rascunha respostas com trecho e página, sem julgamento; um PDF por vez (até três em paralelo, via fichador da skill irmã), leitura em faixas de até 20 páginas com cobertura registrada; resumo de subagente não é prova (só o gate de citação confirma) e saída rejeitada vai para novo subagente. - Síntese. A meta-análise inclui sensibilidade sem resultados de risco alto ou crítico; a exclusão de resultados de risco crítico da análise principal, quando prevista no protocolo, vale na meta-análise, na síntese sem meta-análise e nos testes combinados, sempre depois de escolhido o efeito, a direção ou o p de cada estudo e com a análise completa em sensibilidade; na caixa de ferramentas, “Positivo” sem meta-análise exige que os estudos não sejam só de risco alto (Seção D.4; Seção 9.1). A junção do
rob_geralcom os efeitos é feita por chave e construto, porque o julgamento é por resultado.robvisé dependência R opcional. - Estado.
rs.py statusaponta a tarefa pendente de extração e risco de viés e o portão G7; o rascunho das fichas passa pelo handoff parafichamento-sistematico, e a consolidação dos julgamentos humanos, porrs.py qualidade consolidar.
6.12 Como relatar
O relato mínimo informa ferramenta e versão por desenho e a regra de fronteira; resultados avaliados; avaliadores, independência e resolução de desacordos; uso de IA; critérios de desenho e de exclusão previstos; como o julgamento entrou nas análises; risco de viés de cada estudo e de cada síntese; limitação resultante (Page et al. 2021, itens 11, 18, 20a, 23b).
Métodos. A elegibilidade para as perguntas de efeito exigiu desenho com grupo de comparação (nível 3 ou superior na versão de 2016 da Maryland Scientific Methods Scale), registrado também como descritor. O risco de viés foi avaliado por resultado, para os desfechos da tabela de síntese: RoB 2 (variante cluster quando a randomização foi por escola); critérios EPOC (2017) para diferença em diferenças com dados agregados e séries temporais interrompidas; ROBINS-I V2 (rascunho de 20/11/2025) para painéis de alunos, com as perguntas de Waddington et al. (2017). Estudos qualitativos foram apreciados com o CASP (2024) e descritivos com o checklist JBI para prevalência. Dois avaliadores trabalharam de forma independente após piloto com cinco estudos; desacordos foram resolvidos por discussão ou por terceiro avaliador. Um modelo de linguagem [modelo, versão] rascunhou respostas às perguntas-sinalizadoras com trecho e página; todos os julgamentos foram humanos. Conforme o protocolo, resultados de risco crítico foram excluídos; a meta-análise foi estratificada por desenho e repetida sem resultados de risco alto, grave ou crítico.
Resultados. Dos [n] resultados de ensaios, [n] tiveram risco baixo, [n] algumas preocupações e [n] alto; dos [n] não randomizados, [n] moderado, [n] grave e [n] crítico (Figura X). O domínio mais vezes grave foi o confundimento. Sem os resultados de risco alto ou grave, a estimativa passou de [valor] para [valor]. Houve [n] desacordos antes do consenso, concentrados em [domínio].
6.13 Leituras
Normas e ferramentas
- Boutron et al. (2024): princípios gerais, dupla avaliação, fontes, uso na síntese e conflitos de interesse.
- Higgins, Savović, et al. (2024), Sterne et al. (2019) e Higgins, Eldridge, et al. (2024): RoB 2 e variante cluster.
- Sterne et al. (2025) e Risk of bias tools (2025): ROBINS-I V2; Sterne et al. (2024) para a versão 1 e as variantes antes-depois.
- Waddington et al. (2017): pressupostos e perguntas para DiD, RDD, IV e experimentos naturais.
- Cochrane Effective Practice and Organisation of Care (EPOC) (2017): critérios para CBA e ITS; Higgins, Morgan, et al. (2024): exposições.
- Critical Appraisal Skills Programme (2024), JBI (2024), Munn et al. (2015) e Barker et al. (2026): qualitativos e descritivos.
- Hong, Pluye, et al. (2018) e Hong, Fàbregues, et al. (2018): métodos mistos; Shea et al. (2017) e Whiting et al. (2016): revisões.
- McGuinness e Higgins (2021): visualização; Page et al. (2021) e Tricco et al. (2018): relato; Schünemann et al. (2019): ROBINS-I no GRADE.
Leituras de apoio
- Madaleno e Waights (2016) e What Works Centre for Local Economic Growth (2015): a SMS com critérios e exemplos por método.
- Thomas et al. (2003) (cap. 2 e 4): apreciação por tipo de estudo, com uso em sensibilidade.
- Petticrew e Roberts (2006) (cap. 3 e 5): hierarquias × tipologias, escores e ferramentas clínicas.
- Nutley et al. (2013) e Daly et al. (2007): críticas às hierarquias; hierarquia para pesquisa qualitativa.
- Kopittke e Ramos (2021) e García e Saavedra (2017): SMS como filtro numa revisão brasileira; qualidade em dupla com sensibilidade e meta-regressão.
- Schaefer, Borges, e De Freitas (2025) e Schaefer, Borges, e Gomes Filho (2025): a proposta OQF e o caso de referência.