3 aspectos essenciais para fazer uma avaliação rigorosa do impacto

Para uma avaliação de impacto, o ideal é que todas as unidades cumpram a atribuição inicial; ou seja, que todas aquelas atribuídas ao grupo de tratamento sejam efetivamente tratadas, ao mesmo tempo em que nenhuma do grupo de controle seja. Nesses casos, diz-se que a avaliação obteve "cumprimento perfeito", o que significa, desde que a atribuição dos grupos tenha sido aleatória, que a diferença na variável de interesse observada entre os dois grupos após a intervenção será o impacto atribuível ao programa ou à política avaliada.    

No entanto, diferentemente de outras áreas de estudo, nos programas sociais, isso tende a ser difícil de se conseguir. Por um lado, isso se deve ao fato de que os implementadores da política costumam ter capacidade apenas para propor (não obrigar) a participação em um programa, motivo pelo qual a decisão final de participar, ou não, dependerá da necessidade e da motivação de cada unidade. Da mesma forma, pode ser que parte do grupo de controle consiga participar do programa porque tem algum tipo de relação com o implementador, como resultado de pressões políticas, devido a um erro etc. Em suma, o cumprimento imperfeito ocorre quando as unidades atribuídas ao tratamento não recebem o programa ou as unidades de controle finalmente o recebem.

Portanto, o descumprimento é um fator recorrente, e é importante levar isso em conta ao avaliar o impacto de qualquer iniciativa, a fim de evitar obter resultados ou conclusões errados sobre sua eficácia. Nesse sentido, a seguir, apresentamos três aspectos que devem ser levados em conta sobre essa problemática ao se realizar uma análise de impacto:

1. O cumprimento imperfeito altera a interpretação do estimador de diferença simples de médias entre os grupos de tratamento e de controle
   
   No caso do cumprimento imperfeito, essa diferença não pode ser considerada o efeito médio do tratamento, estimador comumente conhecido como “average treatment effect” (ATE), já que não estão sendo comparadas apenas unidades que receberam o programa em comparação com outros que não o receberam. Por outro lado, esse indicador passa a ser conhecido como a intenção de tratar", ou “intention to treat” (ITT), e é interpretada como o impacto de oferecer a participação em um programa.
   
   No entanto, esse estimador pode ser informativo, especialmente quando o cumprimento imperfeito se concentra no grupo de tratamento, cenário mais comum quando uma avaliação conta com essa condição. Nesse caso específico, a ITT leva em conta que o sucesso de um programa não depende apenas da qualidade da sua aplicação, mas também da sua capacidade para incentivar a participação e a adesão ao programa.
   
   
2. Excluir os descumprimentos da análise de impacto alteraria os resultados da avaliação
   
   Considerar apenas os cumpridores; ou seja, aquelas unidades do tratamento que foram tratadas e aquelas unidades de controle que não foram tratadas não é recomendado, já que provavelmente isso levaria a comparar dois grupos que deixaram de ser equivalentes, o que poderia levar a resultados pouco confiáveis.
   
   Por exemplo, pensando em um programa de bolsas de estudo universitárias destinado a jovens de baixos recursos, poderia acontecer de os membros do grupo de tratamento que aceitam as bolsas (os cumpridores) sejam aqueles deste grupo que tenham mais motivação para estudar, talvez porque sejam oriundos de famílias que valorizem mais a formação acadêmica. Portanto, comparar os níveis de matrícula considerando apenas esse subconjunto (pessoas motivadas) como grupo de tratamento e todo o grupo de controle (que inclui tanto jovens motivados quanto não motivados) faria com que o impacto dessa intervenção fosse superestimado.
   
   
3. Mesmo com o cumprimento imperfeito, é possível aproximar o impacto médio da intervenção
   
   Parte-se da referência da ITT, impacto médio da oferta de participação em um programa. Embora haja certeza de que este estimador não representa o impacto médio de participação no programa no que diz respeito ao descumprimento perfeito, esse é tomado como um valor mínimo esperado, levando-se em conta que o descumprimento tenderá a diluir o efeito médio pelo simples fato de que alguns tratados não foram afetados ou, por outro lado, alguns controles foram afetados. Em outras palavras, considera-se que, caso se espere que a variável de impacto aumente de valor em virtude do programa, na ausência de descumprimento, o valor médio no grupo de tratamento deveria ser maior, e o valor médio no grupo de controle deveria ser menor.
   
   Dessa forma, para que seja possível se aproximar do impacto médio, é necessário conseguir um número maior ao obtido com o ITT que mantenha a comparabilidade dos grupos (ver ponto 2). Para isso, juntam-se as taxas de cumprimento do grupo de tratamento e de descumprimento do grupo de controle. Dessa forma, se o descumprimento se concentrar apenas no grupo de tratamento, divide-se o ITT entre a taxa de cumprimento, estimador conhecido como “tratamento nos tratados” ou treatment on the treated (TOT). Além disso, se houver descumprimento tanto no grupo de tratamento quanto no de controle, divide-se o ITT pela subtração da taxa de cumprimento do grupo de tratamento e de descumprimento do grupo de controle, indicador conhecido como “efeito médio do tratamento local” ou local average treatment effect (LATE). Esses cálculos permitem atender aos dois propósitos: considerar o descumprimento e preservar a conformação original da amostra.

O cumprimento imperfeito é um fenômeno bastante frequente nas avaliações de impacto de programas sociais e surge como consequência das dificuldades inerentes ao utilizar uma metodologia experimental fora de um laboratório, onde é muito mais complicado manter o controle das condições sob as quais uma experimentação é realizada. No entanto, isso não deve ser visto como um impedimento que invalide os resultados de uma avaliação e impeça a aprendizagem. Pelo contrário, o descumprimento deve ser simplesmente incorporado à análise, a fim de obter melhores estimadores que ajudem a tomar melhores decisões.