3 aspectos imprescindibles para hacer una evaluación de impacto rigurosa

Lo ideal para una evaluación de impacto es que todas las unidades cumplan con su asignación inicial, es decir, que todas aquellas asignadas al grupo de tratamiento sean efectivamente tratadas a la vez que ninguna del control lo sea. En estos casos, se dice que la evaluación contó con “cumplimiento perfecto”, lo cual implica, siempre y cuando la asignación de los grupos haya sido aleatoria, que la diferencia en la variable de interés observada entre ambos grupos luego de la intervención será el impacto atribuible al programa o política evaluada.    

No obstante, a diferencia de otras ramas de estudio, en los programas sociales esto suele ser complicado de lograr. Por un lado, lo anterior se debe a que los implementadores de la política suelen tener solamente la capacidad de proponer (no obligar) la participación en un programa, motivo por el cual la decisión final de participar dependerá de la necesidad y la motivación de cada unidad. De igual manera, puede que parte del grupo de control logre acceder al programa por tener algún tipo de relación con el implementador, como consecuencia de presiones políticas, debido a un error, etc. En resumen, el cumplimiento imperfecto ocurre cuando las unidades asignadas al tratamiento no reciben el programa o las unidades del control finalmente lo reciben.

Por lo tanto, el incumplimiento es un factor recurrente y es importante tomarlo en cuenta a la hora de evaluar el impacto de alguna iniciativa para evitar caer en resultados o conclusiones erradas sobre su efectividad. En este sentido, a continuación se presentan tres aspectos sobre esta problemática al realizar el análisis de impacto:

1. El cumplimiento imperfecto cambia la interpretación del estimador de diferencia simple de medias entre tratamiento y control
   
   Bajo cumplimiento imperfecto esta diferencia no puede tomarse como el impacto promedio de la intervención, estimador conocido comúnmente como “average treatment effect” (ATE), ya que no se están comparando exclusivamente unidades que recibieron el programa contra otras que no lo recibieron. En cambio, este indicador pasa a ser conocido como la intención a tratar o “intention to treat” (ITT) y se interpreta como el impacto de ofrecer la participación a un programa.
   
   No obstante, este estimador puede ser informativo, especialmente cuando el cumplimiento imperfecto se concentra en el grupo de tratamiento, escenario más común cuando una evaluación cuenta con esta condición. En ese caso particular, el ITT toma en cuenta que el éxito de un programa no depende únicamente de la calidad de su implementación, sino también de la capacidad que se tenga para incentivar a la participación y adherencia dentro del mismo.
   
   
2. Excluir a los incumplidores del análisis de impacto sesgaría los resultados de la evaluación
   
   Quedarse únicamente con los cumplidores, es decir, con aquellas unidades del tratamiento que fueron tratadas y aquellas unidades del control que no lo fueron no es recomendable, puesto que ello conduciría muy probablemente a comparar dos grupos que dejaron de ser equivalentes, lo cual ocasionaría que se obtengan resultados poco confiables.
   
   Por ejemplo, pensando en un programa de becas universitarias dirigido a jóvenes de escasos recursos, podría ser que los integrantes del grupo de tratamiento que acepten las becas (los cumplidores) sean aquellos dentro de este grupo que tengan una mayor motivación por estudiar, quizás porque provienen de familias que valoran más la formación académica. Así pues, comparar los niveles de matriculación, tomando solamente a este subconjunto (personas motivadas) como grupo de tratamiento y a todo el grupo de control (que incluye tanto a jóvenes motivados como no motivados), conduciría a sobre-estimar el impacto de esta intervención.
   
   
3. Aún con cumplimiento imperfecto es posible aproximarse al impacto promedio de la intervención
   
   Se parte de la referencia del ITT, impacto promedio de ofrecer la participación a un programa. Si bien se tiene certeza de que este estimador no representa el impacto promedio de participar en el programa bajo incumplimiento perfecto, éste se toma como un valor mínimo esperado, tomando en cuenta que el incumplimiento tenderá a diluir el efecto promedio por el mero hecho de que algunos tratados no se vieron afectados o algunos controles sí lo hicieron. En otras palabras, se considera que, si se espera que la variable de impacto aumente de valor gracias al programa, en ausencia de incumplimiento el valor promedio en el grupo de tratamiento debería ser mayor y que el valor promedio en el control debería ser menor.
   
   En concordancia con lo anterior, la aproximación al impacto promedio pasa por conseguir un número mayor al obtenido con el ITT que mantenga la comparabilidad de los grupos (ver punto 2). Para ello, se incorpora las tasas de cumplimiento del tratamiento e incumplimiento del control. De esta manera, si el incumplimiento se concentra solamente en el tratamiento, se divide el ITT entre la tasa de cumplimiento, estimador conocido como el “tratamiento en los tratados” o treatment on the treated (TOT). Asimismo, si se cuenta con incumplimiento tanto en el tratamiento como en el control, se divide el ITT por la resta de la tasa de cumplimiento del tratamiento e incumplimiento del control, indicador denominado como el “efecto promedio local” o local average treatment effect (LATE). Estos cálculos permiten cumplir los dos cometidos: tomar en cuenta el incumplimiento y preservar la conformación original de la muestra.

El cumplimiento imperfecto es un fenómeno bastante frecuente en las evaluaciones de impacto de programas sociales y surge como consecuencia de las dificultades inherentes al utilizar una metodología experimental fuera de un laboratorio, donde es mucho más complicado mantener el control de las condiciones bajo las cuales sucede un experimento. Sin embargo, éste no debe tomarse como un impedimento que invalide los resultados de una evaluación e impida el aprendizaje. Por el contrario, el incumplimiento debe, simplemente, incorporarse al análisis con el fin de obtener mejores estimadores que contribuyan a tomar mejores decisiones.