5 consejos para identificar una oportunidad de evaluación de impacto

Una buena evaluación de impacto pretende aprender algo nuevo a través de la ciencia y ponerlo al servicio del desarrollo. Pero son muchos los problemas que solemos encontrar en el camino y que dificultan llevarlas a cabo de manera eficiente. 

Por este motivo, a continuación presentamos 5 condiciones que, de existir, hacen que la viabilidad de realizar una evaluación de impacto aumente considerablemente:

1. Disponibilidad de datos administrativos: ¿Se generan constantemente datos sobre las variables que busca mejorar la política? ¿Estos datos se almacenan ordenadamente y son de confiar? Si este es el caso, puede existir una excelente oportunidad de hacer una evaluación de impacto, dado que el levantamiento de información antes y después de la intervención suele ser costoso y es clave para la medición.
   
   Ejemplo: El Servicio Público de Empleo de Colombia tiene un sistema automatizado con el que gestionan su intermediación entre oferentes de empleo (ciudadanos) y demandantes (empresas). El hecho de que toda la información quede registrada y sea fácilmente descargable, ha facilitado 2 evaluaciones de impacto en las que CAF está trabajando actualmente, a un costo muy bajo.
    
2. Posibilidad de hacer mejoras en la política: Independientemente, si la política actual cumple con sus objetivos o no, siempre hay espacio para mejorarla. Si se revisa el proceso de implementación, es posible se identificar cambios que potencialmente podrían mejorar los resultados. Si probar estas alternativas no implica grandes costos, ¿por qué no evaluar el impacto de las diferentes alternativas de implementación para así saber cuál es la más efectiva? Cuando en una política es posible logísticamente introducir un cambio, realizar una evaluación de impacto es más viable, además, políticamente puede ser aun más factible hacer la evaluación, ya que si el cambio es menor habrá menos resistencia.
   
   Ejemplo: Cada año, la Dirección de Impuestos y Aduanas Nacionales (DIAN) de Colombia enviaba funcionarios físicamente a cobrar deudas pendientes. En conjunto con CAF, se halló en este experimento que para ciertos casos enviar un correo electrónico era igual de efectivo, tomando en cuenta la diferencia en costos de implementación de cada opción.
    
3. Posibilidad de agregar, a bajo costo, actividades innovadoras complementarias: En la cadena de eventos que tienen que ocurrir para que una política cumpla con su objetivo, usualmente se pueden identificar algunas actividades innovadoras de bajo costo que podrían aumentar la efectividad de la política. Esta es una excelente oportunidad para realizar una evaluación de impacto, dado que podría compararse el resultado de la política actual versus el resultado de la política reforzada con la actividad innovadora que la complementa y refuerza, sin que esto suponga un cambio drástico en la forma en que ya se está implementando la política.
   
   Ejemplo:El BIT del Reino Unido halló en este estudio que enviar un SMS de recordatorio a pacientes con citas médicas disminuía considerablemente la tasa de cancelación, dándole la oportunidad a la institución de atender a más ciudadanos gracias a los mensajes de texto.
    
4. Uso inteligente de recursos destinados a una nueva política: ¿Se han aprobado recursos para una política específica? A veces es difícil tener la certezaa priorique dicha política cumple con sus objetivos. Esto representa un excelente argumento para promover la realización de una evaluación de impacto de un piloto, de manera de conocer la efectividad de la misma antes de invertir la totalidad de los recursos asignados. Los resultados de este proyecto piloto permitirán, posteriormente, asignar recursos a aquello que se ha comprobado que funciona correctamente.
   
   Ejemplo: Progresa era un programa Mexicano de trasferencias condicionadas que en el año 1997 cubría aproximadamente 2,6 millones de familias rurales. Gracias a sus excelentes resultados medidos a través de evaluaciones de impacto rigurosas, el Gobierno Mexicano decidió ampliar el alcance del programa. Hoy en día Prospera, la evolución de Progresa, tiene cobertura nacional.
    
5. El mecanismo de selección es (casi) aleatorio o aleatorio: Por temas de capacidad, es común que una institución no pueda atender a todo su público objetivo en un mismo período de tiempo, por lo que debe elegir a quiénes atender primero. Cuando esto ocurre, existen algunos mecanismos de selección que generan una excelente oportunidad para realizar una evaluación de impacto comparando a aquellas unidades atendidas con aquellas que serán atendidas en el siguiente período. Dos de estos mecanismos son cuando los beneficiarios se seleccionan de manera aleatoria (al azar), por orden numérico o alfabético.
   
   Ejemplo: CAF realizó una evaluación de impacto del Programa sobre uso de la fuerza y empleo de armas de fuego destinado a funcionarios de la Policía Federal Argentina. Dado que no había capacidad para que todos los funcionarios realizaran el taller, se capacitó primero a todos aquellos cuyo apellido comenzara de la letra G en adelante, creando dos grupos prácticamente idénticos que luego fueron comparados.

Estos son algunos consejos para identificar políticas para las que hacer una evaluación de impacto es más viable. Si se tiene una pregunta relevante sobre una política y la misma presenta una o varias de estas condiciones, es muy probable que exista una excelente oportunidad para realizar una evaluación de impacto donde los costos serán mucho menores a los beneficios.