3 herramientas para diseñar una evaluación de impacto

Para que exista un aprendizaje efectivo, es necesario que la selección de las variables de impacto, la construcción del grupo de control o la definición de un tamaño de muestra sean adecuados. A continuación, se exponen una serie de herramientas que pueden ser útiles en este proceso:  

• Teoría del cambio
  La teoría del cambio consiste en un ejercicio reflexivo sobre la cadena causal de una intervención, y debe realizarse al inicio del diseño de una evaluación. Por una parte, tiene gran utilidad para determinar las potenciales variables de impacto, ya que permite pensar estructuradamente en los potenciales resultados (outcomes o fines) en función a las acciones o componentes que incluya la política. Asimismo, esta práctica permite diferenciar y separar estos resultados de los productos (outputs o medios) generados por el programa, que si bien son una consecuencia directa, no son las dimensiones que realmente reflejan los cambios relevantes derivados del tratamiento. Por ejemplo, a la hora de evaluar el impacto de una política basada en la contratación de profesores para escuelas situadas en entornos violentos, tiene más sentido utilizar como variable de impacto el desempeño de los alumnos (outcomes) que la cantidad de profesores contratados (output) para obtener una noción más acertada de cuál fue el efecto de esta intervención.
  
  De igual manera, este ejercicio permite tener una idea de los mecanismos o canales de transmisión, que son los procesos mediante los cuales la intervención se traduce en cambios sobre las variables de impacto. Así pues, a través de estos factores es posible ir más allá del cálculo del impacto, para entender realmente cómo fue posible llegar a ellos. Por lo tanto, es recomendable dedicar un tiempo durante el diseño para pensar detenidamente no solo en las variables de impacto, sino también en los posibles mecanismos que operan detrás de ellas, para incluir dentro del plan de levantamiento o recolección de información un listado de variables relacionadas a ellos.
  
  Siguiendo el mismo ejemplo, un potencial mecanismo que podría explicar el impacto de la política es la mejora en el contenido curricular de las asignaturas o algún cambio en la estrategia pedagógica implementada por los nuevos docentes. Si bien este ejercicio puede realizar en papel, existen sitios web que facilitan su elaboración.

• Calculadora de poder
  Una vez clara la cadena causal de la intervención y sus potenciales resultados, es importante tener una noción de la factibilidad efectiva de la evaluación. En este sentido, los cálculos de poder son una práctica que permite determinar la potencia estadística de una evaluación, es decir, la capacidad que ésta tenga para detectar impactos, en caso de efectivamente haberlos. Partiendo de la misma concepción, esta actividad se puede realizar desde dos perspectivas. Por una parte, se puede concebir desde el efecto mínimo detectable (EMD), que es el menor cambio en la variable de interés, dado un tamaño de muestra definido y un nivel de confianza determinado, que podría ser atribuible a la intervención y no a otros factores exógenos. Por lo tanto, toda variación menor a este valor podría no ser considerado como un impacto, sino como algo causado por otros factores ajenos a la intervención. De igual forma, se puede definir el tamaño de muestra óptimo (TMO), en otras palabras, la cantidad mínima requerida de unidades a intervenir para poder observar un efecto mínimo detectable fijado por el evaluador.
  
  El enfoque más ideal dependerá en gran medida de la capacidad que se tenga para alterar el número de unidades tratadas. Cuando se tengan restricciones (físicas, financieras, políticas, etc.) para alterar la cantidad de unidades tratadas, calcular el EMD permitirá hacer una comparación con otros impactos encontrados en evaluaciones similares y así determinar si efectivamente tendría sentido seguir con la evaluación. Si, en cambio, existe la posibilidad de modificar la cantidad de unidades a tratar, calcular el TMO es útil para determinar hasta qué punto esto es en realidad factible y, en caso de serlo, construir una justificación más robusta que respalde la necesidad de recursos adicionales.
  
  Si bien este cálculo puede realizarse de manera manual, es aconsejable utilizar herramientas como la calculadora de poder elaborada por la institución International Initiative for Impact Evaluation (3ie).

• Sistema de información geográfica (SIG)
  La georreferenciación es beneficiosa para una evaluación de impacto. En la fase de diseño, esta información es útil para determinar el grupo de unidades que más se adecúen como contrafactual de las unidades tratadas, es decir, el grupo de control. Para ello, es necesario contar con algún software que permita procesar información geográfica y, por supuesto, disponer de bases de datos con información georreferenciada. En referencia a esto último, algunos países han destinado esfuerzos para georrefenciar fuentes importantes de información, como censos o encuestas de hogares, e inclusive algunas instituciones públicas han procurado tomar acciones similares para unidades de observación relevantes como crímenes, accidentes, hogares, barrios, escuelas, etc.
  
  Por ejemplo, si queremos evaluar el impacto de una política que consiste en la modernización de las unidades de transporte de una línea de metro sobre el uso del mismo, podríamos construir buffers con un radio específico para vincular información relacionada a las estaciones (frecuencia de viajes, tasa de retrasos, afluencia de pasajeros, etc.) con otra respectiva a los hogares o barrios (nivel socioeconómico, tamaño, uso actual del sistema, etc.) que se encuentran alrededor de ellas. De esta manera, ambas fuentes de información se complementarían para construir, mediante técnicas cuasi-experimentales, grupos estadísticamente más comparables, ya no solo en lo que respecta a la operatividad de las líneas de metro, sino también en cuanto a las características de sus usuarios potenciales.