Cinco respostas a cinco barreiras para a realização de uma avaliação de impacto

Embora as raízes de tais barreiras costumem ser legítimas, muitas vezes não levam em conta a grande contribuição da ferramenta para a gestão pública.

Abaixo encontram-se listadas as barreiras mais frequentes e, também, algumas respostas a elas:

1. Não é necessário promover nenhuma avaliação, porque é evidente que o programa está funcionando. Muitas vezes, acredita-se que um programa tem impactos positivos por, aparentemente, ser uma solução bastante razoável para um problema, há segurança de que tenha sido elaborado com o devido rigor ou os dados dão a impressão de que essa seja a realidade. Mesmo sendo este o caso, a avaliação de impacto gera conhecimentos adicionais para a comprovação objetiva da funcionalidade de um programa. Por exemplo, permite determinar sua relação custo-eficácia (qual é o efeito do programa por cada unidade monetária investida). Assim, realizar avaliações de impacto permite comparar alternativas diferentes que procuram atacar o mesmo problema, para que recursos sejam priorizados na direção da que seja mais eficaz, bem como para que haja argumentos objetivos para ampliar ou encerrar os programas de acordo com seus resultados.
   
   
2. As avaliações de impacto são muito dispendiosas. Os maiores custos monetários associados a uma avaliação de impacto estão relacionados ao levantamento de informações que ainda não estão disponíveis. Consequentemente, todo programa que inclua nos seus processos o estabelecimento e a coleta sistemática de dados, terá custos de avaliação consideravelmente reduzidos. Se isso não for possível, existem instituições comprometidas que oferecem financiamento para esse fim. Por exemplo, a fundação britânica Nesta conta com o Centre for Social Action Innovation Fund para financiar avaliações de impacto que investiguem a eficácia de programas inovadores. Por outro lado, o custo de oportunidade de não avaliar um programa tende a aumentar em função de sua duração e tamanho. Assim, no longo prazo sempre será mais caro financiar um programa abrangente com resultados negativos ou inferiores aos esperados do que investir recursos no presente para avaliar seu impacto e tomar decisões baseadas em seus resultados.
   
   
3. Fazer uma avaliação de impacto demora demais. A duração das avaliações de impacto depende, em grande parte, da natureza da intervenção e das variáveis que se deseja medir. Existem variáveis cujas mudanças tardam mais a serem observadas (estatura e competências socioemocionais em crianças, produtividade empresarial etc.), enquanto outras alteram-se em prazos mais curtos (consumo de calorias, arrecadação fiscal, frequência escolar etc.). Independentemente do prazo, os resultados podem levar a mudanças duradouras derivadas da aprendizagem, fazendo com que valha a pena esperar. É preciso lembrar que não apenas melhoraria o programa avaliado se esses ajustes fossem incorporados, mas que a evidência gerada poderia ser disponibilizada como aporte valioso para programas similares no futuro.
   
   
4. As avaliações de impacto não são éticas quando as alocações são feitas aleatoriamente. Quando um programa enfrenta excesso de demanda (a quantidade de elegíveis supera o número de vagas disponíveis), a alocação aleatória é um critério justo para distribuir a participação no programa, já que garante que cada beneficiário potencial tenha a mesma probabilidade de ser selecionado. Esse ponto ganha ainda mais força quando existem dificuldades para estabelecer e medir os critérios que determinariam quem são os beneficiários que mais precisam do programa. Além disso, em um grande número de casos, não é necessário randomizar estritamente a participação no programa, mas o momento de entrar nele, o que pode ser considerado uma solução para esse dilema e se adapta adequadamente à realidade do setor público, em que os recursos costumam ser mais restritos que as demandas.
   
   Finalmente, não devemos esquecer que a randomização é a forma mais rigorosa de identificar os impactos do programa, pelo que é válido o argumento de que sempre será mais ético maximizar a qualidade da avaliação na busca de respostas para alocar recursos de forma mais eficiente (ampliar um programa com efeitos positivos ou descontinuá-lo) e gerar aprendizagem duradoura e transferível a outras instituições.
   
   
5. As avaliações de impacto são muito complicadas. É verdade que seu rigor científico, maior que em outros tipos de avaliação, exige conhecimentos técnicos e estatísticos especializados. No entanto, a falta de especialistas em avaliação de impacto dentro da instituição não deveria ser uma restrição vinculativa. Isso porque existem organismos como o CAF que oferecem oportunidades de apoio técnico e assessoria especializada nesta área, visando a ajudar a instituição a responder questões relevantes. Além disso, algumas instituições oferecem seminários e cursos (alguns gratuitos) que permitem entender as noções e conceitos básicos de uma avaliação de impacto. 

Existe um tipo de medição de impacto que, muitas vezes, vai de encontro aos argumentos apresentados neste comunicado: a que permite avaliar as formas de melhorar um processo institucional ou a implementação de uma política. Tais iniciativas concentram-se em dar respostas a “como” e não a “qual”. No CAF, são chamadas “avaliações de gestão”. Provaram fornecer resultados relativamente rápidos a um custo político muito baixo e representam um aporte especialmente importante para aumentar a eficiência de nossas instituições.