¿Cómo implementar Regresión Discontinua para medir impacto?

Ana, es colombiana, tiene 17 años y ha concluido el 11° escolar. Vive en un hogar de escasos recursos económicos donde la educación es un gran valor. Este año rendirá la prueba estandarizada SABER 11 y espera obtener una calificación superior a 342, si lo hace podrá acceder a las becas de créditos para educación superior que ofrece el Gobierno colombiano.

Ricardo y Adriana son pareja y tienen una bebé. Están pensando dejar de alquilar y comprar una vivienda en Argentina. Entre ambos los ingresos del hogar equivalen a 4 salarios mínimos, tienen ahorros y necesitan de un crédito hipotecario para cubrir parte del valor del inmueble. Se postularán para ser beneficiarios del programa ProCreAr, si su puntaje -calculado con base en información del hogar- supera el punto de corte serán beneficiarios con un crédito más un subsidio estatal.

En muchos programas públicos, la decisión sobre quién recibe el programa –y quién no– se toma en función de algún puntaje o variable continua, como lo puede ser el puntaje en una prueba o el nivel de ingresos de una familia. En estos casos resulta imposible implementar una selección aleatoria para medir el impacto del programa y el analista deberá recurrir a técnicas cuasi experimentales.

Cuando el acceso al beneficio de un programa ocurre solo para quienes tengan un puntaje que sobrepase algún umbral, la metodología por excelencia para evaluar impacto es el diseño de Regresión Discontinua (RD).

EL RD se caracteriza por 4 componentes:

1. Cada unidad de análisis tiene un puntaje: en nuestros ejemplos serían el puntaje en la prueba SABER 11 y el puntaje de acceso al crédito de vivienda.
2. Una regla de asignación objetiva (que no pueda ser manipulada ni predicha por los postulantes). Por ejemplo, solo reciben la beca aquellos cuyo puntaje supere 342.
3. El punto de corte o umbral: un puntaje de 342 en la prueba SABER 11.
4. La intervención: el otorgamiento de la beca crediticia para los seleccionados de Ser Pilo Paga y el otorgamiento del crédito hipotecario y subsidio para los elegidos de ProCreAr.

Además, para implementar el diseño de RD necesitamos que se cumplan 3 requisitos:

• El comportamiento de otras características diferentes al tratamiento debe ser continuo alrededor del punto de corte. Se debe corroborar que lo único que cambia alrededor del punto de corte es la probabilidad de ser tratado. Las demás dimensiones que caracterizan a los estudiantes que rindieron SABER 11 y los hogares que se postularon a ProCreAr se comportan de manera continua. A saber, la edad promedio de quienes obtuvieron 342 o más de puntaje no debiera ser diferente a la de quienes obtuvieron menos de 342; mientras que los ingresos promedio de los hogares que obtuvieron un puntaje superior al punto de corte de ProCreAr no debieran diferir de aquellos con puntaje inferior a dicho umbral. Si fuera así, entonces no se podría atribuir de manera convincente el cambio en la matriculación a la beca, ni el cambio de acceso a la vivienda al crédito hipotecario (y subsidio), pues no sería la beca ni el crédito-subsidio, respectivamente, lo único diferente entre el grupo de tratamiento y el grupo de control.
• No debe existir manipulación de la asignación al tratamiento alrededor del punto de corte. Se debe verificar que lo que determina quién recibe la beca (crédito-subsidio) y quién no, es únicamente la regla de obtener un puntaje mayor a 342 (umbral de ProCreAr); y no el esfuerzo de los estudiantes (familias) de manipular la regla de asignación y de mover selectivamente su puntaje por encima o por debajo del punto de corte. Si hubiese alguna irregularidad en la asignación del tratamiento, aquellos que están alrededor del punto de corte, por encima y por debajo, no necesariamente serán iguales, lo que impediría atribuir causalidad a las becas (crédito subsidio) en caso de encontrar, posteriormente, que la matriculación (acceso a la vivienda) es diferente entre ambos grupos.
• La probabilidad de recibir el tratamiento aumenta de manera drástica en el punto de corte. La probabilidad de recibir la beca (crédito-subsidio) se incrementa sensiblemente a partir de obtener 342 o un puntaje superior (punto de corte de ProCreAr).

Finalmente, una vez verificadas estas condiciones, vamos a querer medir el impacto de estos programas. Para esto necesitaremos:

1. Definir variables de resultado: estaremos interesados en conocer cuál es el impacto de SPP en la tasa de matriculación en universidades, mientras que en los beneficiarios de ProCreAr podremos medir la diferencia promedio de la tasa de acceso a crédito entre aquellos que conforman el grupo de control y tratamiento.
2. Definir ponderación de observaciones: en general, suele asignarse mayor ponderación a aquellas observaciones más cercanas al punto de corte, ya que aquellos que se localizan en la vecindad del umbral, por encima y por debajo, suelen ser más parecidos entre sí.
3. Seleccionar ancho de banda: se debe seleccionar qué puntaje (por encima y por debajo del punto de corte) se utilizará para medir impacto. Cabe mencionar que existe un “trade-off” sesgo-variabilidad: mientas más ancho mejor porque utilizaremos más observaciones, no obstante, la estimación del impacto será de menor calidad pues menos parecidos serán los grupos entre sí.
4. Finalmente, en términos simplificados, estimar impacto por medio de un RD equivale a realizar una diferencia de medias en los resultados de la variable de interés para aquellas observaciones por encima y por debajo del punto de corte. En términos más sofisticados, implica realizar dos regresiones y calcular la diferencia de los coeficientes que acompañan a la variable de impacto en cuestión.

Si estás interesada/o en aprender más sobre esta metodología, teoría y aplicaciones, así como también sobre otras metodologías cuasi experimentales de medición de impacto, te invitamos a realizar nuestro MOOC intermedio gratuito que estará disponible a partir de agosto en nuestro micrositio.