Nota metodológica: ¿cómo implementar Diferencias en Diferencias para medir impacto?

A la hora de evaluar el impacto de un programa público, puede no resultar viable una aleatorización ya sea por dificultades logísticas, cuestiones éticas o políticas, o bien porque la intervención ya ocurrió.

Cuando esto ocurre, es muy probable que los grupos de tratamiento (aquellos que reciben el programa) y de control (aquellos que no reciben el programa) sean muy distintos entre sí.

Este problema se puede subsanar si se cuenta con datos de las variables de interés para varios puntos en el tiempo, especialmente datos de antes y de después de la intervención. Con esta información se podría medir el impacto del programa a través de la implementación de la denominada metodología de Diferencias en Diferencias.

Esta metodología consiste en aplicar una doble diferencia, es decir busca comparar los cambios en el tiempo en la variable de interés entre el grupo de tratamiento y el grupo de control.

Para que esta metodología tenga validez no se requiere que los grupos de tratamiento y de control sean similares entre sí en sus características observables. A diferencia del experimento aleatorio, donde la condición de balance es imprescindible a la hora de medir impacto, en el método de diferencias en diferencias la condición necesaria para evaluar el impacto, es el denominado supuesto de tendencias paralelas. Mediante este supuesto se asume que, en ausencia de tratamiento, los dos grupos hubiesen seguido la misma trayectoria en los resultados de interés.

Supongamos que tenemos un grupo de empresas que recibe un subsidio para promoción de innovación (tratamiento) y otro grupo que no lo recibe (control). Al promediar las variables observables para cada grupo, a saber: antigüedad, número de empleados y nivel de facturación, las medias de ambos grupos, previo a la intervención, no deben ser estadísticamente iguales. No obstante, sí resulta particularmente relevante que la tendencia de cada una de estas variables de resultado hubiese seguido una trayectoria similar de no haber ocurrido el tratamiento. Como este supuesto no se puede demostrar, dado que el tratamiento ya ocurrió, sí podemos determinar si en los años previos a la intervención la tendencia de ambos grupos de comportó de manera similar.

Una vez comprobado este supuesto, estamos en condiciones de medir el impacto aplicando esta metodología. En primer lugar, se debe calcular la diferencia (cambio), tanto para el grupo de tratamiento como para el grupo de control, entre el valor de la variable de interés en la línea de seguimiento (por ej. un año posterior al programa) y la línea de base (por ej. un año anterior al programa). En segundo lugar, dado que el cambio en la variable de interés del grupo de control representa el cambio que esta hubiese experimentado en el grupo de tratamiento en ausencia del programa, la segunda diferencia se realiza entre los cambios estimados para el grupo de tratamiento y de control. De esta manera se obtiene el efecto medio del tratamiento. (ver Gráfico 1)

Gráfico 1. Modelo de Diferencias en Diferencias

La metodología de diferencias en diferencias ha sido aplicada en múltiples tópicos de investigación.

• Di Tella y Schargrodsky (2004) utilizan, entre otros modelos, el de diferencias en diferencias para medir el impacto de mayor presencia policial en los edificios públicos judíos y musulmanes de Argentina luego del ataque terrorista al edificio de la Amia en 1994. Los autores encuentran que las calles que se ven beneficiadas de la presencia policial en estos edificios experimentan menos robos de autos por mes (-75%) respecto de aquellas calles que no cuentan con esta protección.
• Lichand et al. (2016) emplean esta metodología para medir el impacto de un programa de anticorrupción en Brasil, que busca hacer cumplir las normas sobre transferencias asignadas a los municipios. Entre sus hallazgos encuentran que en los municipios que fueron auditados por el programa de anticorrupción se redujeron notablemente los casos de sobrefacturación y pagos extraoficiales, y también la manipulación en la obtención de las transferencias de salud, respecto de aquellos municipios no auditados. No obstante, el mayor control se tradujo en un deterioro de los indicadores de salud, a saber: infraestructura, disponibilidad de medicamentos, dificultad para atender necesidades locales, entre otros.
• Gertler y Boyce (2003) miden el impacto de PROGRESA, un programa de trasferencias condicionadas a salud y educación de los niños en México. Estos autores utilizan diferencias en diferencias para medir el impacto de este programa en resultados en salud: encuentran que en las áreas donde viven familias beneficiarias de PROGRESA se evidencia un mayor número de visitas por cuidado preventivo en las clínicas públicas de salud (hasta +60%) respecto de aquellas áreas donde no hay beneficiarios de este programa.

Si estás interesada/o en aprender más sobre esta metodología, teoría y aplicaciones, así como también sobre otras metodologías cuasi experimentales de medición de impacto, te invitamos a realizar uno de nuestros MOOC gratuitos.

Te invitamos a tomar nuestro MOOC Evaluación de impacto para gestión pública (intermedio) (2° ed)que estará disponible a partir de este 16 de abril. ¡Regístrate!

Algunas fuentes consultadas:

Angrist, J., & Pischke, J.-S. (2015). Mastering 'Metrics. New Jersey: Princeton University Press.

Gertler, P., Martínez, S., Premand, P., Rawlings, L., & Vermeersch, C. (2011). La evaluación de impacto en la práctica. Washington DC: Banco Mundial.