Apêndice A — Leituras comentadas por etapa
Este apêndice organiza, por etapa da revisão, as leituras aplicadas e os materiais que os capítulos desta parte citam, reunidos a partir do programa de leituras e do repositório OSF do material didático do curso de revisão sistemática do MAPE/IESP-UERJ (Schaefer 2026k). Cada linha diz o que a obra ensina e onde ela é usada. As descrições resumem o uso feito nos capítulos, onde estão as páginas citadas e as ressalvas sobre cada obra. Normas internacionais e fontes externas a esse material ficam fora desta lista e aparecem nas seções “Leituras” dos capítulos.
Os capítulos são indicados pelo nome curto: Tipos, Pergunta, Protocolo, Busca, Triagem, Risco de viés, Decomposição, Síntese quantitativa, Síntese qualitativa, Certeza, Relato e IA.
A.1 Proposta OQF e material didático
| Material | O que ensina | Onde é usado |
|---|---|---|
| Schaefer, Borges, e De Freitas (2025) | Proposta metodológica “O que funciona?”: as seis dimensões da revisão, PICOC, busca e funil de filtragem, decomposição em três dimensões, análise mista e sequencial e caixa de ferramentas. É a âncora didática; os capítulos mostram onde as normas pedem mais | Todos os capítulos |
| Schaefer, Borges, e Gomes Filho (2025) | Aplicação publicada do método à proibição de celulares nas escolas e modelo de artigo no formato OQF. Serve de exemplo trabalhado e, em alguns pontos, de caso de erro (meta-análise contada como estudo, relato incompleto) | Tipos; Pergunta; Protocolo; Busca; Triagem; Risco de viés; Síntese quantitativa; Síntese qualitativa; Certeza; Relato |
| Schaefer (2026k) | Programa de leituras por módulo, com avaliação de política “no formato do OQF” | Protocolo; Risco de viés; Síntese quantitativa; Certeza; Relato; IA |
| Schaefer (2026d) | Tipos de revisão, escada de abstração, modelos de título e painel OQF com Intervenção, Efeito e Implementação | Tipos; Pergunta; Síntese qualitativa; Certeza; Relato |
| Schaefer (2026e) | Protocolo inicial: X, Y, M e Z definidos antes da busca e frameworks de pergunta | Pergunta; Protocolo |
| Schaefer (2026f) | Blocos de busca em três idiomas, bases por área, literatura cinzenta e a regra PICOC para “efeitos das causas” e CMMO para “causas dos efeitos” | Pergunta; Busca |
| Schaefer (2026g) | Busca exploratória, filtragem, triagem por LLMs e fluxograma no caso REFIS; tipos de estudo aceitos no funil | Pergunta; Protocolo; Busca; Triagem; Risco de viés; IA |
| Schaefer (2026h) | Decomposição em dimensões formal, metodológica e substantiva; tipologia a1, a2, b1 e b2; formulários de extração e confiabilidade entre codificadores | Triagem; Risco de viés; Decomposição; IA |
| Schaefer (2026i) | Quadro de métodos de síntese qualitativa, testes combinados e taxa de sucesso (exemplo do voto obrigatório) | Decomposição; Síntese quantitativa; Síntese qualitativa |
| Schaefer (2026j) | Pipeline em R do caso REFIS: esquema unificado, funil, triagem por IA com kappa, fluxograma e codebook a1/a2/b1/b2. Fonte dos exemplos de erro comum (dicionário sem fronteira de palavra, contagens que não fecham) | Pergunta; Busca; Triagem; Risco de viés; Decomposição; Síntese quantitativa; Relato; IA |
| Schaefer (2026c) | Script do protocolo ex ante do REFIS, em sete etapas | Protocolo |
| Schaefer (2026b) | Script com PICOC e CMO do REFIS | Certeza |
| Schaefer (2026a) | Script de análise do REFIS: descritivos, testes combinados e análise textual, sem meta-análise | Protocolo; Síntese quantitativa; Síntese qualitativa; Certeza |
A.2 Tipos de revisão e papel das revisões sistemáticas
| Leitura | O que ensina | Onde é usada |
|---|---|---|
| Xiao e Watson (2019) | Tipologia de revisões por propósito (descrever, testar, estender, criticar) e os passos de uma revisão de literatura sistemática, do planejamento ao relato | Tipos; Relato |
| Dacombe (2018) | O que a revisão sistemática acrescenta à ciência política: a unidade de análise são estudos existentes | Tipos |
| Sutton et al. (2019) | Famílias de revisões e o que cada tipo exige da busca | Tipos |
| Grant e Booth (2009) | Catorze tipos de revisão e o esquema SALSA (busca, avaliação, síntese e análise); lido por meio de Price (2022) | Tipos |
| Petticrew e Roberts (2006) | Manual de revisão sistemática nas ciências sociais: quando fazer uma revisão, formulação da pergunta, protocolo, busca de avaliações não experimentais e literatura cinzenta, triagem, hierarquias e apreciação de estudos | Tipos; Pergunta; Protocolo; Busca; Triagem; Risco de viés |
| Haddaway e Pullin (2014) | Papel das revisões sistemáticas em políticas e produtos de uma revisão, como os mapas sistemáticos | Tipos; Relato |
| Grizenti (2024) | O que uma revisão sistemática é e não é, e sua contribuição para a ciência política brasileira | Tipos |
| Glass (1976) | Definição de meta-análise como “análise das análises” | Tipos |
| O’Rourke (2007) | História da combinação quantitativa de resultados, dos estudos de inoculação aos experimentos agrícolas | Tipos |
| Kopittke e Ramos (2021) | Revisão brasileira sobre programas para reduzir homicídios: efetividade sem meta-análise e nível 3 da Escala de Maryland como critério de inclusão | Tipos; Risco de viés |
| Fisher et al. (2023) | Revisão Campbell com meta-análise, protocolo registrado e seção de diferenças entre protocolo e revisão | Tipos |
| Juliano et al. (2023) | Revisão de escopo sobre a política de combate à pobreza de Cardoso a Lula; exemplo de tipo e de quadro de extração | Tipos; Decomposição |
| Daker-White et al. (2015) | Meta-síntese por meta-etnografia, com o valor dos achados refutacionais | Tipos; Síntese qualitativa |
| Schaefer et al. (2019) | Revisão sobre WhatsApp e eleições; quadro de extração usado como exemplo no material didático | Tipos; Decomposição |
A.3 Pergunta, teoria do programa e desenho de políticas
| Leitura | O que ensina | Onde é usada |
|---|---|---|
| Rogers (2008) | Teoria do programa para aspectos complicados e complexos de intervenções: quando simplificar e quando detalhar a cadeia causal | Pergunta |
| Córdoba-Vieira et al. (2023) | Revisão integrativa sobre teoria da mudança em políticas públicas: componentes, construção participativa e limites | Pergunta |
| Pawson et al. (2005) | Revisão realista: intervenções como teorias, efeitos não intencionais em cada elo, teorias rivais e conclusão como refinamento da teoria | Pergunta; Síntese qualitativa; Certeza |
| Lassance (2021) | Definições operacionais de política e de programa, usadas para delimitar a intervenção | Pergunta |
| Aguiar et al. (2025) | Guia de desenho de políticas: causalidade do problema, causa crítica, coerência e modelo lógico | Pergunta |
| Lima e Souza (2025) | Guia CLEAR de monitoramento e avaliação: teoria da mudança, riscos e hipóteses, falhas de teoria e de implementação | Pergunta |
| Lima et al. (2022) | Coerência, consistência e congruência aplicadas a políticas municipais | Pergunta |
| Pires e Gomide (2016) | Arranjos institucionais e capacidades estatais como condições de resultado de programas federais | Pergunta |
| Campbell et al. (2024) | Revisão de escopo sobre proibir celulares nas escolas: revisão prévia do caso de referência e comparação entre registro e artigo | Pergunta; Protocolo; Busca |
A.4 Protocolo e busca
| Leitura | O que ensina | Onde é usada |
|---|---|---|
| Carrera-Rivera et al. (2022) | Guia rápido de revisão com lista de conferência de planejamento; usado com ressalvas, porque admite critérios que excluem literatura cinzenta e textos inacessíveis | Protocolo |
| Whitehead e Maude (2016) | Introdução operacional à busca: palavras-chave, truncamento, filtros e registro | Busca |
| Lycarião et al. (2025) | Evidência de que a produção lusófona é pouco visível nas bases mais usadas; argumento para incluir fontes brasileiras | Busca |
| Aguiar et al. (2023) | Revisão sobre desenho de políticas feita com uma base, um idioma e um termo; caso para discutir limitações de estratégia | Busca |
| Eck e Waltman (2010) | VOSviewer para mapas de coocorrência e cocitação, como apoio exploratório | Busca |
| Aria e Cuccurullo (2017) | Pacote bibliometrix, que faz análises bibliométricas semelhantes no R | Busca |
| Arruda et al. (2022) | VOSviewer e bibliometrix como ferramentas de bibliometria exploratória | Busca |
A.5 Seleção e qualidade dos estudos
| Leitura | O que ensina | Onde é usada |
|---|---|---|
| Thomas et al. (2003) | Revisão do EPPI-Centre sobre alimentação saudável de crianças: critérios de exclusão numerados, fluxo de relatos e estudos que fecha, apreciação por tipo de estudo com uso em sensibilidade e matriz que integra visões e ensaios | Triagem; Risco de viés; Síntese qualitativa |
| Madaleno e Waights (2016) | Guia de pontuação da Escala de Maryland, com critérios e exemplos por método | Risco de viés |
| Nutley et al. (2013) | O que conta como boa evidência e críticas às hierarquias de evidência | Risco de viés |
| Daly et al. (2007) | Hierarquia de evidência para pesquisa qualitativa | Risco de viés |
| García e Saavedra (2017) | Meta-análise de transferências condicionais: qualidade avaliada em dupla e usada em sensibilidade e meta-regressão, variância robusta e moderadores guiados por teoria | Risco de viés; Síntese quantitativa |
A.6 Decomposição: desenhos, mecanismos e efeitos
| Leitura | O que ensina | Onde é usada |
|---|---|---|
| Keele (2015) | Inferência causal a partir das hipóteses de identificação; referência da proposta OQF para classificar a estratégia | Decomposição |
| Castro et al. (2024) | Manual CLEAR de avaliação de impacto: hipóteses de identificação e estimando de cada desenho | Decomposição |
| Hedström e Ylikoski (2010) | O que é um mecanismo causal nas ciências sociais e por que não se reduz a uma variável interveniente | Decomposição |
| Kaidesoja (2021) | Três conceitos de mecanismo, com pressupostos incompatíveis, que convém não misturar | Decomposição |
| Dalkin et al. (2015) | Mecanismo na avaliação realista, separado em recurso e raciocínio | Decomposição; Síntese qualitativa |
| Cintron et al. (2022) | Como estudos de políticas sociais estimam e relatam efeitos heterogêneos | Decomposição |
| Zidar (2017) | Efeitos de cortes de impostos por grupo de renda; exemplo de subgrupo que vira linha de extração | Decomposição |
| Gerring et al. (2022) | Extração por análise (estudo, desfecho e indicador) numa revisão sobre efeitos da democracia sem meta-análise tradicional | Decomposição; Síntese quantitativa |
| Cancela e Geys (2016) | Meta-análise de comparecimento eleitoral por “testes”: taxa de sucesso e o peso extra de estudos com muitos modelos | Decomposição; Síntese quantitativa |
| Bia et al. (2026) | Protocolo JBI para evidência textual sobre políticas de instituições de longa permanência | Decomposição |
| Brydges (2019) | Referências empíricas de tamanho de efeito de um campo, em lugar das convenções genéricas de Cohen | Decomposição; Síntese quantitativa |
A.7 Síntese quantitativa
| Leitura | O que ensina | Onde é usada |
|---|---|---|
| Figueiredo Filho et al. (2014) | Introdução à meta-análise para cientistas políticos e fórmulas dos testes combinados usados na proposta OQF | Síntese quantitativa |
| Glass e Smith (1979) | Meta-análise sobre tamanho de turma com várias comparações por estudo; caso antigo do problema de dependência, resolvido deixando de lado intervalos e testes | Síntese quantitativa |
| Vaessen et al. (2014) | Revisão Campbell sobre microcrédito: comparabilidade, separação por desenho, efeito sintético e funil com contornos | Síntese quantitativa |
| Harrer et al. (2021) | Guia prático de meta-análise em R: modelos, heterogeneidade, viés de publicação e variância robusta | Decomposição; Síntese quantitativa |
| Slough e Tyson (2023) | Validade externa e meta-análise: estudos só miram o mesmo alvo quando harmonizados em contraste e mensuração | Síntese quantitativa; Certeza |
A.8 Síntese qualitativa e integração
| Leitura | O que ensina | Onde é usada |
|---|---|---|
| Dixon-Woods et al. (2006) | Tensões ao incorporar pesquisa qualitativa em revisões; síntese agregativa e interpretativa | Síntese qualitativa |
| Thomas e Harden (2008) | Passo a passo da síntese temática | Síntese qualitativa |
| Kahwati et al. (2016) | QCA dentro de uma revisão sistemática de intervenção complexa e os problemas de calibração | Síntese qualitativa; Certeza |
| El Sherif et al. (2024) | Guia introdutório de QCA como síntese em revisões de métodos mistos | Síntese qualitativa |
| Small (2011) | Desenhos mistos sequenciais e concorrentes, e a diferença entre misturar coleta e misturar análise | Síntese qualitativa |
| Sampaio e Paula (2024) | Manual em português de técnicas qualitativas em ciência política, com análise de conteúdo e QCA | Síntese qualitativa |
| Santos et al. (2019) | Revisão sobre Bolsa Família e indicadores educacionais: síntese tabular e relato de estimativas | Síntese qualitativa; Relato |
| Fonseca et al. (2023) | Revisão integrativa sobre burocracia de nível de rua na pandemia, com leitura dedutiva por categorias analíticas | Síntese qualitativa |
A.9 Certeza, uso da evidência e divulgação
| Leitura | O que ensina | Onde é usada |
|---|---|---|
| Barreto e Lewin (2019) | Uso de evidência qualitativa e de GRADE-CERQual para decisões no Brasil e na América Latina | Certeza |
| Bilotta et al. (2014) | Revisões sistemáticas em política ambiental; exemplo de confusão entre avaliação de estudos e GRADE | Certeza |
| Gough e Tripney (2016) | Revisões sistemáticas feitas para informar políticas | Certeza |
| Lavis (2009) | Como apoiar o uso de revisões por decisores: arranjos sensíveis ao contexto, mensagens-chave e produtos derivados | Certeza; Relato |
| Koga et al. (2020) | Uso de evidências pela burocracia federal brasileira, inclusive o uso simbólico | Certeza |
| Faria (2022) | Crítica ao movimento de políticas públicas baseadas em evidências | Certeza |
| Corduneanu-Huci et al. (2021) | Experimentos aleatorizados são mais prováveis em jurisdições politicamente competitivas, o que limita a transferibilidade | Certeza |
| Hjort et al. (2021) | Experimento com 2.150 municípios brasileiros sobre como a pesquisa afeta a política: prefeitos valorizam amostras maiores, mas não distinguem onde o estudo foi feito | Certeza; Relato |
| Toma e Bell (2024) | Formuladores ficam mais sensíveis ao impacto com comparações lado a lado e métrica única | Certeza; Relato |
| Mehmood et al. (2024) | Experimento em que o treinamento em inferência causal aumentou a demanda de formuladores paquistaneses por evidência causal | Relato |
| Costa (2021) | Síntese de Evidências CLEAR nº 11, molde de síntese para decisores distribuído no material didático | Relato |
| Chalmers e Fox (2016) | Como aumentar a incidência e a influência de revisões sistemáticas em políticas, com resultados novos apresentados no contexto de revisões atualizadas | Relato |
| Andrade e Pereira (2020) | Tradução do conhecimento na saúde pública brasileira: difusão, disseminação e métodos ativos | Relato |
| Andrade et al. (2024) | Sínteses de evidências sob demanda no Ministério da Saúde durante a pandemia, com perguntas cocriadas e versões atualizadas | Relato |
A.10 Leituras do programa não usadas nesta parte
As leituras abaixo estão no programa de leituras, mas nenhum capítulo desta parte se apoia nelas: Klenowski et al. (2010), Peters (2025), Gustafsson e Hagström (2018), Al Noman et al. (2024), Ludwig et al. (2011), Jin et al. (2024), Hunter e Sugiyama (2014), Twist et al. (2023), Bamberger (2012), Batista e Domingos (2017), Sousa et al. (2019), Vieira et al. (2020), Silva (2022), Baron (2018) e Faria (2005).
Aguiar, Rafael Barbosa de, Luciana Leite Lima, e Júlia Gabriele Lima da Rosa. 2025. Desenho de políticas públicas: guia prático. 1º ed. Jacarta.
Aguiar, Rafael Barbosa de, Fabiano Jorge Soares, e Luciana Leite Lima. 2023. “Mapeando a pesquisa de desenho de políticas públicas: uma revisão sistemática da literatura”. Cadernos Gestão Pública e Cidadania 28: e85619. https://doi.org/10.12660/cgpc.v28.85619.
Al Noman, Abdullah, Onusree Sarkar, Tanzia Mohsin Mita, Khadiza Siddika, e Fahmida Afrose. 2024. “Simplifying the concept of level of evidence in lay language for all aspects of learners: in brief review”. Intelligent Pharmacy 2 (2): 270–73. https://doi.org/10.1016/j.ipha.2023.11.002.
Andrade, Keitty Regina Cordeiro de, Viviane Karoline da Silva Carvalho, Roberta Borges Silva, et al. 2024. “Sínteses de evidências para apoio à tomada de decisões relacionadas à pandemia de COVID-19”. Revista de Saúde Pública 58: 16. https://doi.org/10.11606/s1518-8787.2024058005226.
Andrade, Keitty Regina Cordeiro de, e Maurício Gomes Pereira. 2020. “Tradução do conhecimento na realidade da saúde pública brasileira”. Revista de Saúde Pública 54: 72. https://doi.org/10.11606/s1518-8787.2020054002073.
Aria, Massimo, e Corrado Cuccurullo. 2017. “bibliometrix: an R-tool for comprehensive science mapping analysis”. Journal of Informetrics 11 (4): 959–75. https://doi.org/10.1016/j.joi.2017.08.007.
Arruda, Humberto, Edison Renato Silva, Marcus Lessa, Domício Proença Jr., e Roberto Bartholo. 2022. “VOSviewer and bibliometrix”. Journal of the Medical Library Association 110 (3): 392–95. https://doi.org/10.5195/jmla.2022.1434.
Bamberger, Michael. 2012. Introduction to mixed methods in impact evaluation. Impact Evaluation Notes N. 3. InterAction; The Rockefeller Foundation.
Baron, Jon. 2018. “A brief history of evidence-based policy”. The Annals of the American Academy of Political and Social Science 678 (1): 40–50. https://doi.org/10.1177/0002716218763128.
Barreto, Jorge Otávio Maia, e Simon Lewin. 2019. “Uso da evidência qualitativa para informar decisões no Brasil e na região da América Latina”. BIS. Boletim do Instituto de Saúde 20 (2): 23–36. https://doi.org/10.52753/bis.2019.v20.34469.
Batista, Mariana, e Amanda Domingos. 2017. “Mais que boas intenções: técnicas quantitativas e qualitativas na avaliação de impacto de políticas públicas”. Revista Brasileira de Ciências Sociais 32 (94): e329414. https://doi.org/10.17666/329414/2017.
Bia, Florbela, Matheus Kirton dos Anjos, Zaida Charepe, e Cristina Marques-Vieira. 2026. “Health policies in long-term care facilities for older adults: a systematic review of textual evidence”. MethodsX 16: 103798. https://doi.org/10.1016/j.mex.2026.103798.
Bilotta, Gary S., Alice M. Milner, e Ian Boyd. 2014. “On the use of systematic reviews to inform environmental policies”. Environmental Science & Policy 42: 67–77. https://doi.org/10.1016/j.envsci.2014.05.010.
Brydges, Christopher R. 2019. “Effect size guidelines, sample size calculations, and statistical power in gerontology”. Innovation in Aging 3 (4): igz036. https://doi.org/10.1093/geroni/igz036.
Campbell, Marilyn, Elizabeth J. Edwards, Donna Pennell, et al. 2024. “Evidence for and against banning mobile phones in schools: a scoping review”. Journal of Psychologists and Counsellors in Schools 34 (3): 242–65. https://doi.org/10.1177/20556365241270394.
Cancela, João, e Benny Geys. 2016. “Explaining voter turnout: A meta-analysis of national and subnational elections”. Electoral Studies 42: 264–75. https://doi.org/10.1016/j.electstud.2016.03.005.
Carrera-Rivera, Angela, William Ochoa, Felix Larrinaga, e Ganix Lasa. 2022. “How-to conduct a systematic literature review: a quick guide for computer science research”. MethodsX 9: 101895. https://doi.org/10.1016/j.mex.2022.101895.
Castro, Caio de Souza, Gabriel Weber Costa, e Lucas Finamor. 2024. Avaliação de Impacto. FGV.
Chalmers, Iain, e Daniel M. Fox. 2016. “Increasing the Incidence and Influence of Systematic Reviews on Health Policy and Practice”. American Journal of Public Health 106 (1): 11–13. https://doi.org/10.2105/AJPH.2015.302915.
Cintron, Dakota W., Nancy E. Adler, Laura M. Gottlieb, et al. 2022. “Heterogeneous treatment effects in social policy studies: an assessment of contemporary articles in the health and social sciences”. Annals of Epidemiology 70: 79–88. https://doi.org/10.1016/j.annepidem.2022.04.009.
Córdoba-Vieira, Julia Elena, Mayra Antonelli-Ponti, Fabiana Maris Versuti, Luiz Guilherme Dácar da Silva Scorzafave, e Daniel Domingues dos Santos. 2023. “Teoria da mudança e políticas públicas: uma revisão integrativa”. Estudos em Avaliação Educacional 34: e10019. https://doi.org/10.18222/eae.v34.10019.
Corduneanu-Huci, Cristina, Michael T. Dorsch, e Paul Maarek. 2021. “The politics of experimentation: Political competition and randomized controlled trials”. Journal of Comparative Economics 49 (1): 1–21. https://doi.org/10.1016/j.jce.2020.09.002.
Costa, Gabriel Weber. 2021. Programas de promoção à higiene em escolas e o absenteísmo escolar: evidências de países em desenvolvimento. Síntese de Evidências Clear N. 11. Centro de Aprendizagem em Avaliação e Resultados para a África Lusófona e o Brasil (FGV EESP Clear). https://www.fgvclear.org.
Dacombe, Rod. 2018. “Systematic reviews in political science: what can the approach contribute to political research?” Political Studies Review 16 (2): 148–57. https://doi.org/10.1177/1478929916680641.
Daker-White, Gavin, Rebecca Hays, Jennifer McSharry, et al. 2015. “Blame the patient, blame the doctor or blame the system? A meta-synthesis of qualitative studies of patient safety in primary care”. PLoS One 10 (8): e0128329. https://doi.org/10.1371/journal.pone.0128329.
Dalkin, Sonia Michelle, Joanne Greenhalgh, Diana Jones, Bill Cunningham, e Monique Lhussier. 2015. “What’s in a mechanism? Development of a key concept in realist evaluation”. Implementation Science 10 (1): 49. https://doi.org/10.1186/s13012-015-0237-x.
Daly, Jeanne, Karen Willis, Rhonda Small, et al. 2007. “A hierarchy of evidence for assessing qualitative health research”. Journal of Clinical Epidemiology 60 (1): 43–49. https://doi.org/10.1016/j.jclinepi.2006.03.014.
Dixon-Woods, Mary, Sheila Bonas, Andrew Booth, et al. 2006. “How can systematic reviews incorporate qualitative research? A critical perspective”. Qualitative Research 6 (1): 27–44. https://doi.org/10.1177/1468794106058867.
Eck, Nees Jan van, e Ludo Waltman. 2010. “Software survey: VOSviewer, a computer program for bibliometric mapping”. Scientometrics 84 (2): 523–38. https://doi.org/10.1007/s11192-009-0146-3.
El Sherif, Reem, Pierre Pluye, Quan Nha Hong, e Benoît Rihoux. 2024. “Using qualitative comparative analysis as a mixed methods synthesis in systematic mixed studies reviews: guidance and a worked example”. Research Synthesis Methods 15 (3): 450–65. https://doi.org/10.1002/jrsm.1698.
Faria, Carlos Aurélio Pimenta de. 2005. “A política da avaliação de políticas públicas”. Revista Brasileira de Ciências Sociais 20 (59): 97–110. https://doi.org/10.1590/S0102-69092005000300007.
Faria, Carlos Aurélio Pimenta de. 2022. “O Movimento das Políticas Públicas Baseadas em Evidências: uma radiografia crítica”. BIB – Revista Brasileira de Informação Bibliográfica em Ciências Sociais 1 (97): 1–14. https://doi.org/10.17666/bib9707/2022.
Figueiredo Filho, Dalson Britto, Ranulfo Paranhos, José Alexandre da Silva Júnior, Enivaldo Carvalho da Rocha, e Dáfni Priscila Alves. 2014. “O que é, para que serve e como se faz uma meta-análise?” Teoria e Pesquisa: Revista de Ciência Política 23 (2): 205–28. https://doi.org/10.4322/tp.2014.018.
Fisher, Benjamin W., Anthony Petrosino, Hannah Sutherland, et al. 2023. “School-based law enforcement strategies to reduce crime, increase perceptions of safety, and improve learning outcomes in primary and secondary schools: A systematic review”. Campbell Systematic Reviews 19 (4): e1360. https://doi.org/10.1002/cl2.1360.
Fonseca, Carlos Eduardo Guilarducci, Magnus Luiz Emmendoerfer, e Josiel Lopes Valadares. 2023. “A agenda de pesquisa da burocracia de nível de rua no contexto da pandemia: uma revisão integrativa”. Cadernos Gestão Pública e Cidadania 28: e85447. https://doi.org/10.12660/cgpc.v28.85447.
García, Sandra, e Juan E. Saavedra. 2017. “Educational impacts and cost-effectiveness of conditional cash transfer programs in developing countries: a meta-analysis”. Review of Educational Research 87 (5): 921–65. https://doi.org/10.3102/0034654317723008.
Gerring, John, Carl Henrik Knutsen, e Jonas Berge. 2022. “Does democracy matter?” Annual Review of Political Science 25: 357–75. https://doi.org/10.1146/annurev-polisci-060820-060910.
Glass, Gene V. 1976. “Primary, Secondary, and Meta-Analysis of Research”. Educational Researcher 5 (10): 3–8. https://doi.org/10.3102/0013189X005010003.
Glass, Gene V., e Mary Lee Smith. 1979. “Meta-analysis of research on class size and achievement”. Educational Evaluation and Policy Analysis 1 (1): 2–16. https://doi.org/10.3102/01623737001001002.
Gough, David, e Janice Tripney. 2016. “Systematic reviews for policy”. Em Evidence-Based Policy Making in the Social Sciences: Methods that Matter, organizado por Gerry Stoker e Mark Evans. Policy Press. https://doi.org/10.1332/policypress/9781447329367.003.0004.
Grant, Maria J., e Andrew Booth. 2009. “A typology of reviews: an analysis of 14 review types and associated methodologies”. Health Information and Libraries Journal 26 (2): 91–108. https://doi.org/10.1111/j.1471-1842.2009.00848.x.
Grizenti, Eduardo. 2024. “Revisão sistemática: o que não é, para que serve, como fazer e sua contribuição para a Ciência Política”. Revista Prelúdios 12: e120082407.
Gustafsson, Karl, e Linus Hagström. 2018. “What is the point? Teaching graduate students how to construct political science research puzzles”. European Political Science 17 (4): 634–48. https://doi.org/10.1057/s41304-017-0130-y.
Haddaway, Neal R., e Andrew S. Pullin. 2014. “The policy role of systematic reviews: past, present and future”. Springer Science Reviews 2 (1-2): 179–83. https://doi.org/10.1007/s40362-014-0023-1.
Harrer, Mathias, Pim Cuijpers, Toshi A. Furukawa, e David D. Ebert. 2021. Doing Meta-Analysis with R: A Hands-On Guide. Chapman; Hall/CRC. https://doi.org/10.1201/9781003107347.
Hedström, Peter, e Petri Ylikoski. 2010. “Causal mechanisms in the social sciences”. Annual Review of Sociology 36 (1): 49–67. https://doi.org/10.1146/annurev.soc.012809.102632.
Hjort, Jonas, Diana Moreira, Gautam Rao, e Juan Francisco Santini. 2021. “How research affects policy: experimental evidence from 2,150 Brazilian municipalities”. American Economic Review 111 (5): 1442–80. https://doi.org/10.1257/aer.20190830.
Hunter, Wendy, e Natasha Borges Sugiyama. 2014. “Transforming subjects into citizens: insights from Brazil’s Bolsa Família”. Perspectives on Politics 12 (4): 829–45. https://doi.org/10.1017/S1537592714002151.
Jin, Xin, Guanghua Sun, e Min Zhang. 2024. “Policy for whom? The heterogeneous effects of innovation policy on urban economy”. Cities 153: 105193. https://doi.org/10.1016/j.cities.2024.105193.
Juliano, Maíra Cabral, Augusto Junior Clemente, e Lígia Mori Madeira. 2023. “Mudança ou continuidade na política de combate à pobreza de Cardoso a Lula: uma revisão de escopo”. Revista de Sociologia e Política 31: e005. https://doi.org/10.1590/1678-98732331e005.
Kahwati, Leila, Sara Jacobs, Heather Kane, Megan Lewis, Meera Viswanathan, e Carol E. Golin. 2016. “Using qualitative comparative analysis in a systematic review of a complex intervention”. Systematic Reviews 5 (1): 82. https://doi.org/10.1186/s13643-016-0256-y.
Kaidesoja, Tuukka. 2021. “Three concepts of causal mechanism in the social sciences”. Em Norms, Social Structures and Policy Changes: Essays in Honor of Hannu Ruonavaara, organizado por Jani Erola, Päivi Naumanen, Hanna Kettunen, e Vesa-Matti Paasivaara. Uppsala Housing e Urban Studies. Uppsala universitet. https://researchportal.helsinki.fi/en/publications/three-concepts-of-causal-mechanism-in-the-social-sciences/.
Keele, Luke. 2015. “The statistics of causal inference: a view from political methodology”. Political Analysis 23 (3): 313–35. https://doi.org/10.1093/pan/mpv007.
Klenowski, Paul M., Keith J. Bell, e Kimberly D. Dodson. 2010. “An empirical evaluation of juvenile awareness programs in the United States: can juveniles be ‘scared straight’?” Journal of Offender Rehabilitation 49 (4): 254–72. https://doi.org/10.1080/10509671003716068.
Koga, Natália Massaco, Pedro Lucas de Moura Palotti, Maricilene Isaira Baia do Nascimento, e Bruno Gontyjo do Couto. 2020. “Análise de políticas públicas e uso de evidências pelas burocracias: proposta de um modelo analítico para exploração das fontes que informam as políticas públicas no caso brasileiro”. Boletim de Análise Político-Institucional, n. 24: 29–40. https://doi.org/10.38116/bapi24art2.
Kopittke, Alberto L. W., e Marília Patta Ramos. 2021. “O que funciona e o que não funciona para reduzir homicídios no Brasil: uma revisão sistemática”. Revista de Administração Pública 55 (2): 414–37. https://doi.org/10.1590/0034-761220190168.
Lassance, Antonio. 2021. “O que é uma política e o que é um programa: uma pergunta simples e até hoje sem resposta clara”. Boletim de Análise Político-Institucional, n. 27: 59–67. https://doi.org/10.38116/bapi27art7.
Lavis, John N. 2009. “How can we support the use of systematic reviews in policymaking?” PLoS Medicine 6 (11): e1000141. https://doi.org/10.1371/journal.pmed.1000141.
Lima, Luciana Leite, Rafael Barbosa de Aguiar, e Lizandro Lui. 2022. “Desenho de políticas públicas: análise da robustez das políticas de desenvolvimento das capitais brasileiras”. Teoria & Pesquisa: Revista de Ciência Política 31 (3): 24–49.
Lima, Lycia, e André Portela Souza. 2025. Guia CLEAR monitoramento e avaliação de políticas públicas: do diagnóstico à decisão. Avaliação na Prática. FGV CLEAR.
Ludwig, Jens, Jeffrey R. Kling, e Sendhil Mullainathan. 2011. “Mechanism experiments and policy evaluations”. Journal of Economic Perspectives 25 (3): 17–38. https://doi.org/10.1257/jep.25.3.17.
Lycarião, Diógenes, Thaiane Oliveira, Rafael Cardoso Sampaio, Francisco Robson Roque, e Débora Silva Costa. 2025. “Uma comunidade científica invisível para si mesma? Os principais sistemas de busca acadêmica das revisões sistemáticas lusófonas na Comunicação e Informação”. AtoZ: Novas Práticas em Informação e Conhecimento 14: 1–11. https://doi.org/10.5380/atoz.v14.93993.
Madaleno, Margarida, e Sevrin Waights. 2016. Guide to scoring evidence using the Maryland Scientific Methods Scale. What Works Centre for Local Economic Growth. https://whatworksgrowth.org/resource-library/guide-to-scoring-the-evidence/.
Mehmood, Sultan, Shaheen Naseer, e Daniel L. Chen. 2024. “Training Policymakers in Econometrics”. janeiro. http://users.nber.org/~dlchen/papers/Training_Policy_Makers_in_Econometrics.pdf.
Nutley, Sandra Margaret, Alison Elizabeth Powell, e Huw Talfryn Oakley Davies. 2013. What Counts as Good Evidence? Provocation Paper for the Alliance for Useful Evidence. Alliance for Useful Evidence. https://media.nesta.org.uk/documents/What-Counts-as-Good-Evidence-WEB.pdf.
O’Rourke, Keith. 2007. “An historical perspective on meta-analysis: dealing quantitatively with varying study results”. Journal of the Royal Society of Medicine 100 (12): 579–82. https://doi.org/10.1177/0141076807100012020.
Pawson, Ray, Trisha Greenhalgh, Gill Harvey, e Kieran Walshe. 2005. “Realist review — a new method of systematic review designed for complex policy interventions”. Journal of Health Services Research and Policy 10 (1 suppl): 21–34. https://doi.org/10.1258/1355819054308530.
Peters, Megan A. K. 2025. “How to develop good research questions”. Nature Human Behaviour 9 (9): 1759–61. https://doi.org/10.1038/s41562-025-02292-5.
Petticrew, Mark, e Helen Roberts. 2006. Systematic Reviews in the Social Sciences: A Practical Guide. Blackwell Publishing. https://doi.org/10.1002/9780470754887.
Pires, Roberto Rocha Coelho, e Alexandre de Ávila Gomide. 2016. “Governança e capacidades estatais: uma análise comparativa de programas federais”. Revista de Sociologia e Política 24 (58): 121–43. https://doi.org/10.1590/1678-987316245806.
Price, Carrie. 2022. “Syntheses Synthesized: A Look Back at Grant and Booth’s Review Typology”. Evidence Based Library and Information Practice 17 (2): 132–38. https://doi.org/10.18438/eblip30093.
Rogers, Patricia J. 2008. “Using programme theory to evaluate complicated and complex aspects of interventions”. Evaluation 14 (1): 29–48. https://doi.org/10.1177/1356389007084674.
Sampaio, Rafael Cardoso, e Carolina de Paula, org. 2024. Manual de introdução às técnicas de pesquisa qualitativa em Ciência Política. Escola Nacional de Administração Pública (Enap).
Santos, Mariana Cristina Silva, Lucas Rocha Delatorre, Maria das Graças Braga Ceccato, e Palmira de Fátima Bonolo. 2019. “Programa Bolsa Família e indicadores educacionais em crianças, adolescentes e escolas no Brasil: revisão sistemática”. Ciência e Saúde Coletiva 24 (6): 2233–47. https://doi.org/10.1590/1413-81232018246.19582017.
Schaefer, Bruno Marques. 2026a. 10 Análise de Dados.R: análise descritiva e testes combinados do caso REFIS. Script R da disciplina Revisão sistemática e avaliação de políticas públicas (PPGCP/IESP-UERJ e MAPE). https://osf.io/zs6h4/.
Schaefer, Bruno Marques. 2026b. 2 Framework – PICOC_CMO.R: PICOC e CMO do caso REFIS (script R). Códigos R da disciplina Revisão Sistemática e Avaliação de Políticas Públicas, IESP-UERJ; arquivo OSF, pasta 11 (Atualizado e Consolidado).
Schaefer, Bruno Marques. 2026c. 3 Protocolo ex ante.R: protocolo ex ante do caso REFIS. Script R do curso Revisão sistemática e avaliação de políticas públicas (pasta 11 Códigos R - Atualizado e Consolidado). https://osf.io/zs6h4/.
Schaefer, Bruno Marques. 2026d. Aula 1: Tipos de revisão sistemática. Slides da disciplina Revisão sistemática e avaliação de políticas públicas (PPGCP/IESP-UERJ e MAPE), aula de 27 mar. 2026. https://osf.io/zs6h4/.
Schaefer, Bruno Marques. 2026e. Aula 2: Definição do protocolo inicial. Slides da disciplina Revisão sistemática e avaliação de políticas públicas (PPGCP/IESP-UERJ e MAPE), aula de 10 abr. 2026. https://osf.io/zs6h4/.
Schaefer, Bruno Marques. 2026f. Aula 3: Busca do material. Slides da disciplina Revisão sistemática e avaliação de políticas públicas (PPGCP/IESP-UERJ e MAPE), aula de 24 abr. 2026. https://osf.io/zs6h4/.
Schaefer, Bruno Marques. 2026g. Aula 4: Filtragem e controle de qualidade. Slides da disciplina Revisão sistemática e avaliação de políticas públicas (PPGCP/IESP-UERJ e MAPE), aula de 11 maio 2026. https://osf.io/zs6h4/.
Schaefer, Bruno Marques. 2026h. Aula 5: Extração de dados, decomposição (data extraction). Slides da disciplina Revisão sistemática e avaliação de políticas públicas (PPGCP/IESP-UERJ e MAPE), aula de 22 maio 2026. https://osf.io/zs6h4/.
Schaefer, Bruno Marques. 2026i. Aula 6: Análise de dados: perspectivas quali, quanti e mista. Slides da disciplina Revisão sistemática e avaliação de políticas públicas (PPGCP/IESP-UERJ e MAPE), aula de 5 jun. 2026. https://osf.io/zs6h4/.
Schaefer, Bruno Marques. 2026j. Códigos R e bases de dados do curso: pipeline da revisão sobre o REFIS. Material da disciplina Revisão sistemática e avaliação de políticas públicas (PPGCP/IESP-UERJ e MAPE). https://osf.io/zs6h4/.
Schaefer, Bruno Marques. 2026k. Revisão sistemática e avaliação de políticas públicas: ementa, 2026.1. Programa de Pós-Graduação em Ciência Política (PPGCP), IESP-UERJ. https://osf.io/zs6h4/.
Schaefer, Bruno Marques, Tiago Alexandre Leme Barbosa, Sara de Sousa Fernandes Epitácio, e Roberta Carnelos Resende. 2019. “Qual o impacto do WhatsApp em eleições? Uma revisão sistemática (2010–2019)”. Revista Debates 13 (3): 58–88. https://doi.org/10.22456/1982-5269.96255.
Schaefer, Bruno Marques, Tomás Paixão Borges, e Carlos Barros Barreto Martins De Freitas. 2025. O que funciona? Proposta metodológica para avaliação de políticas públicas através de revisão sistemática. Preprint, OSF Preprints. https://doi.org/10.31219/osf.io/aht4j_v1.
Schaefer, Bruno Marques, Tomás Paixão Borges, e Frederico Augusto Auad de Gomes Filho. 2025. “A proibição do uso de celulares melhora o desempenho acadêmico dos estudantes? Evidências a partir de uma revisão sistemática mista e sequencial”. Journal of Public Policy and Government 1 (2): e97–113. https://periodicos.fgv.br/jppg/article/view/94723.
Silva, Mariana Batista da. 2022. Políticas Públicas Baseadas em Evidências: mapeamento e direções.
Slough, Tara, e Scott A. Tyson. 2023. “External validity and meta-analysis”. American Journal of Political Science 67 (2): 440–55. https://doi.org/10.1111/ajps.12742.
Small, Mario Luis. 2011. “How to conduct a mixed methods study: recent trends in a rapidly growing literature”. Annual Review of Sociology 37 (1): 57–86. https://doi.org/10.1146/annurev.soc.012809.102657.
Sousa, Maria Sharmila A. de, Megan Wainwright, e Cassia Baldini Soares. 2019. “Sínteses de Evidências Qualitativas: guia introdutório”. Boletim do Instituto de Saúde 20 (2): 7–22. https://doi.org/10.52753/bis.2019.v20.34465.
Sutton, Anthea, Mark Clowes, Louise Preston, e Andrew Booth. 2019. “Meeting the review family: exploring review types and associated information retrieval requirements”. Health Information and Libraries Journal 36 (3): 202–22. https://doi.org/10.1111/hir.12276.
Thomas, James, e Angela Harden. 2008. “Methods for the thematic synthesis of qualitative research in systematic reviews”. BMC Medical Research Methodology 8 (1): 45. https://doi.org/10.1186/1471-2288-8-45.
Thomas, James, Katy Sutcliffe, Angela Harden, et al. 2003. Children and Healthy Eating: A Systematic Review of Barriers and Facilitators. EPPI-Centre, Social Science Research Unit, Institute of Education, University of London. https://eppi.ioe.ac.uk/cms/Default.aspx?tabid=246.
Toma, Mattie, e Elizabeth Bell. 2024. “Understanding and increasing policymakers’ sensitivity to program impact”. Journal of Public Economics 234: 105096. https://doi.org/10.1016/j.jpubeco.2024.105096.
Twist, Anouk van, Erna Ruijer, e Albert Meijer. 2023. “Smart cities and citizen discontent: a systematic review of the literature”. Government Information Quarterly 40 (2): 101799. https://doi.org/10.1016/j.giq.2022.101799.
Vaessen, Jos, Ana Rivas, Maren Duvendack, et al. 2014. “The effects of microcredit on women’s control over household spending in developing countries: A systematic review and meta-analysis”. Campbell Systematic Reviews 10 (1): 1–205. https://doi.org/10.4073/csr.2014.8.
Vieira, Ana Cláudia Garcia, Denise Gastaldo, e Denise Harrison. 2020. “Como traduzir o conhecimento científico à prática? Conceitos, modelos e aplicação”. Revista Brasileira de Enfermagem 73 (5): e20190179. https://doi.org/10.1590/0034-7167-2019-0179.
Whitehead, Dean, e Phillip Maude. 2016. “Searching and reviewing the research literature”. Em Nursing and Midwifery Research: Methods and Appraisal for Evidence-Based Practice, 5º ed., organizado por Zevia Schneider, Dean Whitehead, Geri LoBiondo-Wood, e Judith Haber. Elsevier Australia.
Xiao, Yu, e Maria Watson. 2019. “Guidance on conducting a systematic literature review”. Journal of Planning Education and Research 39 (1): 93–112. https://doi.org/10.1177/0739456X17723971.
Zidar, Owen M. 2017. Tax Cuts for Whom? Heterogeneous Effects of Income Tax Changes on Growth and Employment. NBER Working Paper N. 21035. National Bureau of Economic Research. https://doi.org/10.3386/w21035.