Três ferramentas para aumentar o uso de evidências na prática
Nos últimos anos, as diversas avaliações de impacto realizadas permitiram ampliar o conhecimento sobre a eficácia de programas ou políticas públicas implementados nas mais variadas regiões do mundo. No entanto, à medida que aumenta a disponibilidade de estudos primários, também cresce o custo de consolidação, análise e extração das informações mais relevantes para a tomada de decisão do setor público.
Diante desse dilema, diferentes formas de apresentação e sistematização dos estudos foram desenvolvidas para que possam ser facilmente utilizados pelos tomadores de decisão. Esse processo de consolidação também nos aproxima de conclusões mais generalizadas sobre a efetividade de intervenções específicas. A seguir estão três ferramentas que buscam atingir esses objetivos:
Revisões sistemáticas
São revisões abrangentes e de alta qualidade das avaliações de impacto disponíveis, associadas a uma determinada questão de avaliação. Ocasionalmente, as revisões sistemáticas incluem estimativas estatísticas que, ao agrupar os efeitos dos estudos primários, permitem calcular o nível médio de eficácia, a fim de alcançar conclusões gerais sobre a questão de pesquisa. Essa análise estatística é conhecida como “meta-análise”.
Uma revisão nasce de processos pré-definidos e sistemáticos para selecionar, avaliar e sintetizar avaliações de impacto relevantes, a fim de garantir o mais alto nível de transparência, replicabilidade e confiabilidade dos resultados.
Qual é a desvantagem? Revisões sistemáticas tendem a ser documentos extremamente longos e técnicos, o que limita seu uso na prática. Diante disso, parceiros do CAF – banco de desenvolvimento da América Latina – têm fomentado a elaboração de resumos com linguagem simples, mais fáceis de entender que as revisões sistemáticas completas. O CAF disponibiliza em espanhol várias dezenas desse tipo de resumo em sua Scioteca.
Por outro lado, a generalização dos resultados limita-se aos contextos que foram analisados no âmbito da revisão, de modo que a possibilidade de haver variação significativa na implementação de programas semelhantes em contextos diferentes daqueles estudados não pode ser eliminada.
Mapas de evidências
São apresentações sistemáticas das evidências disponíveis para um determinado setor (como, por exemplo, ensino primário e secundário). Em termos de sua apresentação, um mapa de evidências é uma matriz em que as linhas representam os diferentes tipos de intervenções possíveis, enquanto as colunas representam as variáveis de impacto. As tabelas resultantes são preenchidas de acordo com a evidência disponível. Alguns mapas até mesmo incluem filtros que permitem identificar a metodologia da avaliação, a localização e também a qualidade geral das evidências.
A ferramenta cumpre uma função diferente das demais. Por um lado, permite orientar os usuários para as evidências disponíveis para informar a implementação das políticas públicas. Além disso, seu desenho facilita a identificação de quadrantes com pouca evidência, ou, ao contrário, setores em que há uma quantidade de estudos primários que poderiam ser utilizados para realizar uma revisão sistemática. Ou seja, mapas de evidências não só informam os tomadores de decisão, mas representam uma ferramenta fundamental para direcionar agendas de pesquisa acadêmica.
Qual é a desvantagem? Para mapear informações de forma padronizada e resumida, é inevitável deixar de fora detalhes sobre as intervenções como seus componentes, barreiras à implementação e características do contexto.
Portais de evidências
Os portais de evidências fornecem acesso seguro, personalizado e integrado a evidências de diferentes ferramentas. Em termos práticos, são sites que sintetizam e apresentam as evidências disponíveis de um determinado tema (como, por exemplo, educação infantil e capacitação) de uma forma acessível e interativa aos implementadores e criadores de políticas. Os portais incluem informações concisas sobre intervenções, efeitos em diferentes variáveis de impacto e até mesmo a relação custo-benefício dos programas.