Quatro riscos que podem afetar a validade de avaliações de impacto

Em seguida, descrevemos algumas situações que podem influenciar negativamente a validade de uma avaliação de impacto, suas consequências e algumas recomendações para enfrentá-las.

1. Cumprimento imperfeito do tratamento: quando projetamos uma avaliação de impacto, supomos que todas as unidades atribuídas ao grupo de tratamento realmente o recebem e que nenhuma unidade do grupo de controle é tratada. No entanto, na prática, é possível que as unidades atribuídas ao grupo de tratamento decidam não participar do programa ou que, por algum motivo, seja oferecida participação no programa às pessoas que fazem parte do grupo de controle.
   
   O que podemos fazer:em primeiro lugar, é importante identificar as pessoas atribuídas ao grupo de controle que foram tratadas e as que, apesar de serem atribuídas ao grupo de tratamento, não o receberam. Quando alguma dessas situações acontece, uma das possibilidades é calcular o impacto do programa sobre a proporção de pessoas “cumpridoras”, ou seja, aquelas que, independentemente do grupo ao qual foram atribuídas, receberam o tratamento. Por exemplo, com o Serviço de Administração Tributária do Município Sucre, enviamos e-mails para promover o pagamento do imposto sobre veículos e imóveis, no entanto, alguns contribuintes atribuídos ao grupo de tratamento não receberam a notificação de cobrança pelo fato de que o e-mail era inválido. Para calcular o efeito sobre a probabilidade de pagar o imposto, foram considerados os contribuintes que de fato abriram o e-mail, ou seja, os que foram tratados.
   
   
2. Efeitos comportamentais indesejados: quando as pessoas sabem que foram atribuídas ao grupo de tratamento ou de controle, podem modificar seu comportamento e afetar a validade dos resultados da avaliação, esses efeitos são conhecidos como o efeito Hawthorne e o efeito John Henry. O primeiro ocorre quando as pessoas atribuídas ao grupo de tratamento sabem que fazem parte de um experimento e que estão sendo observadas e, consequentemente, modificam seu comportamento. Por exemplo, no CAF - banco de desenvolvimento da América Latina -, estamos avaliando o impacto do patrulhamento em escolas sobre a incidência de crime em Campo Grande, Brasil. Se a polícia sabe que faz parte de um experimento, poderíamos esperar que os que foram atribuídos ao programa se esforcem mais pelo simples fato de se sentir observados ou fazer parte da iniciativa. Pelo contrário, o efeito John Henry ocorre quando as pessoas que fazem parte do grupo de controle se esforçam mais pelo fato de não serem tratadas. Diante desse efeito, o impacto real do programa poderia ser subestimado.
   
   O que podemos fazer: para reduzir esse risco, é importante evitar que as pessoas tenham informações sobre a implementação do experimento para que não modifiquem seu comportamento.
   
   
3. Efeito derramamento: acontece quando o programa afeta, negativa ou positivamente, uma unidade que faz parte do grupo de controle. Quando isso acontece, a comparação entre os grupo não representa corretamente o que teria ocorrido com os participantes de um determinado programa se não tivesse recebido a intervenção, ou seja, diminui a validade do grupo de controle. Por exemplo, um programa de vacinação contra a malária em uma comunidade pode diminuir a probabilidade de infecção nas comunidades adjacentes. Se essas últimas forem usadas como grupo de controle para estimar o impacto do programa, estaríamos subestimando seu efeito.
   
   O que podemos fazer: Quando há suspeita de que podem existir efeitos derramamentos em uma determinada intervenção, recomenda-se escolher unidades de intervenção mais agregadas ou projetar avaliações de impacto que levem em conta os possíveis efeitos indiretos sobre os grupos não tratados. No segundo caso, devem ser estabelecidos dois grupos de controle, um que será potencialmente afetado pelo efeito transbordamento e outro que não será. Por exemplo, na Colômbia foi realizada uma avaliação do patrulhamento focalizado em pontos quentes com um desenho experimental que considerou os possíveis efeitos transbordamento da intervenção em áreas adjacentes. De acordo com os resultados, o crime diminuiu nas ruas tratadas, mas aumentou nas ruas próximas. Esse tipo de desenhos permite estimar o efeito real e entender melhor os mecanismos através dos quais determinados resultados são gerados, bem como suas implicações para o desenho de políticas públicas.
   
   
4. Desgaste da amostra: ocorre quando não é possível chegar a certas unidades que faziam parte da amostra de avaliação e não podemos obter informações sobre elas para estimar os impactos do programa. Esse risco apresentou-se com certa frequência nas avaliações dos programas de futebol para o desenvolvimento que realizamos. Como esses programas estão dirigidos a populações vulneráveis que tendem a se deslocar com frequência, no final da intervenção não foi possível entrevistar uma determinada proporção de famílias alocadas ao grupo de controle.
   
   O que podemos fazer: Existem dois tipos de medidas para esse caso, preventivas e reativas. Entre as medidas preventivas, recomenda-se solicitar informações adicionais ao realizar levantamentos primários como, por exemplo, o número de telefone de parentes ou amigos próximos que possam ser contatados no caso de que não seja localizada alguma unidade incluída na amostra, bem como estimar ex ante alguma taxa de desgaste e levá-la em conta na hora de definir o tamanho da amostra. Por outro lado, as medidas reativas consistem em identificar as unidades perdidas e verificar que as características de linha de base sejam estatisticamente iguais às das unidades que permaneceram na amostra. Da mesma forma, deve-se verificar que a proporção, ou “taxa de desgaste”, seja similar em ambos os grupos. Se essas condições não forem cumpridas, recomenda-se usar outros métodos estatísticos para estimar os resultados. 

É importante levar em conta esses riscos na hora de desenhar uma avaliação e estimar os impactos, já que poderiam ser obtidos resultados tendenciosos ou inválidos que não captem o impacto real da intervenção.