Como extrair ou aprender com um resultado “não expressivo”?

Determinar os efeitos de um programa por meio de uma avaliação de impacto inclui a realização de uma prova estatística para calcular a probabilidade de que o efeito observado, ou sua diferença entre os grupos de tratamento e controle, seja mero resultado do acaso. Sendo a probabilidade baixa o suficiente, a diferença entre os grupos será real (ou estatisticamente significativa). O impacto do programa, portanto, terá sido positivo – ou negativo. Quando a probabilidade não se enquadra nesse molde, o resultado do programa é nulo, ou seja, não há diferença estatisticamente relevante entre os grupos de tratamento e controle.

Os resultados nulos, por si só, não geram uma resposta concreta. É possível que a intervenção, de fato, não tenha provocado nenhum efeito. No entanto, a possibilidade de a avaliação de impacto não ter o poder estatístico necessário para detectá-lo também não pode ser descartada. Qualquer que seja o caso, um resultado nulo esconde informações (associadas à qualidade da implementação, à aceitação dos beneficiários, ao poder estatístico etc.) que podem gerar um aprendizado valioso para a tomada de decisões na gestão pública, sempre e quando sejam fornecidos os insumos necessários para extraí-los. Para obter essas informações, é útil realizar algumas atividades que complementam a avaliação de impacto e ajudam a explicar os resultados nulos, caso haja:

• Realização de uma avaliação de projeto: um resultado nulo pode ser consequência de uma intervenção não alinhada ao contexto ou à teoria de mudança por meio da qual se espera que os impactos sejam gerados. A realização de uma avaliação de projeto antes de iniciar a implementação do programa garantirá que as premissas e mecanismos nos quais a teoria de mudança se baseia sejam apropriados e se ajustem ao contexto, a fim de gerar os impactos desejados na população-alvo.
• Obtenção das informações relacionadas à implementação: a má qualidade da implementação e/ou o nível limitado de participação dos beneficiários também podem resultar em impacto nulo, porque, diante dessas barreiras, as atividades e os mecanismos definidos na teoria de mudança não são concluídos. O monitoramento da implementação, por meio da coleta de informações, é essencial para verificar se todas as atividades estão sendo realizadas e os beneficiários que o programa está oferecendo. Complementar essas informações com uma avaliação qualitativa também pode agregar valor e ajudar a explicar os resultados por trás do impacto. Os dados obtidos de ambas as fontes ajudarão a verificar a implementação e oferecer respostas contra resultados nulos.
• Cálculo do poder estatístico antes e após a intervenção: o poder estatístico permite definir o efeito mínimo que pode ser detectado em uma determinada amostra. Esses cálculos geralmente são realizados antes de iniciar a avaliação para verificar o efeito que pode ser detectado, considerando um número de unidades beneficiárias. É útil executar o exercício novamente ao término da implementação, usando os dados reais da população-alvo, para ajustar os cálculos iniciais de poder. Se o efeito obtido for menor que o efeito detectável mínimo do referido exercício, é possível concluir que não foi possível constatar o impacto devido ao baixo poder estatístico. Além disso, o efeito de um programa pode variar entre os grupos dentro da amostra (por exemplo, entre mulheres e homens). Portanto, verificar os cálculos para esses grupos também pode lançar luz sobre os efeitos heterogêneos da intervenção.

Às vezes, sem saber, profissionais que realizam avaliações de impacto são influenciados pelos resultados nulos e, portanto, esperam que os programas avaliados gerem os impactos desejados. Com isso, acabam subestimando as informações e respostas que podem ser extraídas de resultados não tão expressivos – situação que exige maior reflexão sobre a intervenção, os mecanismos e os resultados que estavam em jogo. Fato é que as ações mencionadas acima requerem tempo, recursos e esforços adicionais, mas também garantirão que, seja qual for o resultado, será possível obter contribuições úteis e informativas para a gestão pública.