Lesbia Maris
Ejecutiva de evaluación de impacto en CAF
Um dos desafios que enfrentamos quando desenhamos avaliações de impacto é conseguir que a participação no programa a ser avaliado (ou randomizado) seja atribuída aleatoriamente. Constantemente nos deparamos com respostas como: "Ninguém pode ser excluído do programa" ou "Temos a capacidade de tratar todos os que precisarem ser tratados" ou alguma variação delas. Isso certamente significa: "Queremos avaliar o impacto, mas não há como fazê-lo com um experimento." Uma parte importante do nosso trabalho é usar a criatividade para realizar a avaliação diante de diversas barreiras para randomizar.
Alguns comentários anteriores. Não queremos transmitir a ideia de que devemos sempre randomizar, só sugerimos não descartar tão depressa a oportunidade de fazê-lo. Em segundo lugar, em muitas ocasiões há de fato limitações para fazer uma alocação aleatória, e aqui argumentamos que às vezes essas limitações podem ser superadas com criatividade. Em terceiro lugar, parece-nos que só faz sentido considerar as alternativas que propomos se a necessidade de conhecimento que a instituição tem está realmente relacionada ao impacto de um programa ou de uma atividade.
Poderíamos classificar obstáculos para randomizar em obstáculos”políticos ou éticos” e “logísticos”. Os obstáculos “políticos ou éticos” são fundamentalmente um questionamento sobre a exclusão de uma parcela da população com o fim de avaliar o impacto da política. Os “logísticos” referem-se às restrições impostas pelo desenho do programa que se quer avaliar: tamanho da amostra, demanda por potenciais usuários ou logística de implementação do programa.
Vamos começar pelo comum “Ninguém pode ser excluído do programa”, que é um obstáculo do tipo “político ou ético”. A realidade é que geralmente devemos excluir alguém e normalmente são usados critérios específicos para esse fim, especialmente por causa da limitação de recursos para atender a toda a população. Um programa de formação em habilidades cidadãs para professores poderia ser implementado apenas em escolas localizadas em cidades do Pós-conflito na Colômbia (quase 16% de todos as cidades do país). Esse critério de focalização exclui por desenho todos os professores que trabalham em cidades que não fazem parte do Pós-conflito e, portanto, tanto eles como seus alunos seriam excluídos dos benefícios potenciais da formação.
Nesses casos já está sendo explicitamente decidido deixar uma parcela da população de fora, por isso devemos ser capazes de falar abertamente com o nosso interlocutor sobre o medo da exclusão, e explicitar o fato de que já existe um grupo populacional que estamos excluindo graças à focalização. A partir daqui talvez pudéssemos identificar qual é realmente a restrição para atribuir aleatoriamente e como poderíamos encontrar uma maneira de randomizar dentro das margens dos critérios de focalização. No nosso exemplo, a realidade é que, além de focalizar em cidades Pós-conflito, os recursos só permitem atender a professores de 80 escolas. Portanto, poderíamos armar um grupo de pelo menos 200 escolas localizadas em áreas Pós-conflito e escolher as 80 tratadas de forma aleatória. Se todas as 200 escolas cumprem os critérios mínimos e só podemos atender a 80 escolas, por que não as selecionamos aleatoriamente?
O segundo obstáculo é uma variante do anterior, e, portanto, é também “político ou ético”. Refere-se ao fato de que às vezes são usados critérios que respondem a uma crença sobre qual é a população com maiores benefícios potenciais para decidir quem participa no programa: poderíamos implementar o programa de formação de professores nas escolas mais afetadas pelo conflito sob a crença (certa ou não) de que é nelas que a formação será mais eficaz. Nessas circunstâncias, a seleção aleatória pode significar que as escolas com alto potencial para se beneficiar com o programa acabam não recebendo benefícios. Aqui há um questionamento sobre os benefícios da avaliação versus o custo de não beneficiar a população que mais precisa do programa.
Embora este argumento seja difícil de rebater, nestes casos não devemos deixar de questionar se temos certeza de quem são os que mais precisam do programa (temos realmente certeza de que as escolas mais afetadas pelo conflito são as que mais se beneficiarão?). Essas perguntas são úteis para nos basearmos nas evidências existentes e refletirmos, lado a lado com o nosso interlocutor, sobre os mecanismos de focalização e os possíveis impactos. Essa reflexão também pode proporcionar uma oportunidade para medir a eficácia os próprios mecanismos de focalização (poderíamos responder precisamente à pergunta: as escolas mais ou menos afetadas são as que mais se beneficiariam do programa?).
Outras vezes, o obstáculo é que há capacidade de atender a todos que precisam. Ou seja, não há excesso de demanda, o que poderia ser considerado como um obstáculo do tipo “logístico” porque está relacionado ao desenho do programa.
Por um lado, se estamos limitando a população beneficiária usando um mecanismo de inscrição através do qual algumas pessoas demonstram interesse no programa, então devemos pensar precisamente em como aumentar o interesse em participar para gerar o excesso de demanda que precisamos para randomizar. Por exemplo, poderíamos oferecer o programa de formação de professores nas escolas cujos diretores tenham demonstrado interesse em participar. Aqui, o interesse dos diretores pode aumentar se for implementada uma campanha para difundir o programa, o que criaria o excesso de demanda.
Por outro lado, também é possível que não tenhamos excesso de demanda. Aqui podemos tentar determinar a capacidade de atender a toda a população em um mesmo momento no tempo, pois podemos precisar de vários meses (ou anos) para conseguir isso. Por exemplo, devemos chegar a todas as 35 seccionais com uma capacitação para funcionários, mas só podemos atender a duas seccionais por mês com a equipe de capacitadores, por isso, no curtíssimo prazo, temos um excesso de demanda. Isto pode funcionar a nosso favor quando pensamos na avaliação: poderíamos randomizar a ordem em que as seccionais são capacitadas. Neste caso, a partir de um tratamento escalonado/em>, toda a população é tratada, mas podemos avaliar o impacto se conseguirmos que a ordem em que o tratamento ocorre para cada unidade seja decidida aleatoriamente.
Por fim, em alguns casos é possível que a instituição implementadora possa ter interesse em atingir uma população específica, que não é grande o suficiente para ocupar todas as cotas disponíveis para o programa. Aqui há algumas cotas adicionais que podem ser usadas para realizar a avaliação. Queremos certificar as competências das pessoas empregadas no cuidado dos idosos, e o principal interesse está em pessoas cadastradas no sistema nacional de cuidados. Acontece que temos capacidade para certificar 250 e há apenas 100 cadastrados no sistema. Isso nos deixa com uma cota de 150 pessoas que poderíamos preencher através de uma seleção aleatória. O truque é determinar com a instituição quantas "realmente precisam" receber o programa e se há cotas que não são preenchidas por essa população, então estas poderiam ser usadas para a avaliação.
Estas são algumas alternativas às quais se pode recorrer quando a randomização parece complicada. Se nenhuma alternativa estiver de acordo com os recursos do programa que queremos avaliar, talvez precisemos considerar opções não experimentais ou esperar o momento certo para avaliar.
Existe algum obstáculo não mencionado aqui que queira compartilhar conosco? Escreva-nos a impacto@caf.com.
