Lesbia Maris
Ejecutiva de evaluación de impacto en CAF
Uno de los retos que enfrentamos cuando diseñamos evaluaciones de impacto es lograr que se asigne aleatoriamente la participación en el programa a evaluar (o aleatorizar). Constantemente nos encontramos con respuestas como: “Nadie puede quedar excluido del programa” o “Tenemos capacidad para tratar a todo el que lo necesite” o alguna variante de ellas. Esto significa desde luego, “Queremos evaluar el impacto, pero no hay forma de hacerlo con un experimento”. Parte importante de nuestra labor es recurrir a la creatividad para lograr realizar la evaluación ante la presencia de distintas barreras para aleatorizar.
Unos comentarios previos. No queremos transmitir la idea de que siempre debemos aleatorizar, solo invitamos a no desechar tan rápido la oportunidad de aleatorizar. En segundo lugar, en muchas ocasiones efectivamente hay limitaciones para realizar una asignación aleatoria, y aquí argumentamos que algunas veces con creatividad se pueden superar. Tercero, nos parece que solo tiene sentido considerar las alternativas que proponemos si la necesidad de conocimiento que tiene la institución está relacionada efectivamente con el impacto de un programa o de una actividad.
Podríamos clasificar los obstáculos para aleatorizar en obstáculos “políticos o éticos” y “logísticos”. Los obstáculos “políticos o éticos” son fundamentalmente un cuestionamiento sobre la exclusión de una parte de la población con el fin de evaluar el impacto de la política. Los “logísticos” se refieren más bien a restricciones impuestas por el diseño del programa que se quiere evaluar: tamaño de muestra, demanda de potenciales usuarios o logística de implementación del programa.
Empecemos por el tan común “Nadie puede quedar excluido del programa”, que es un obstáculo de tipo “político o ético”. La realidad es que por lo general debemos excluir a alguien y comúnmente se utilizan criterios específicos para este fin, especialmente por la limitación de recursos para atender a toda la población. Un programa de formación en habilidades ciudadanas para docentes podría implementarse solamente en colegios ubicados en municipios del post-conflicto en Colombia (casi 16% de todos los municipios del país). Este criterio de focalización excluye por diseño a todos aquellos docentes que estén laborando en municipios que no son parte del post-conflicto, por lo que tanto ellos como sus alumnos quedarían excluidos de los potenciales beneficios de la formación.
En estos casos ya se está decidiendo explícitamente dejar a una parte de la población fuera, por lo que debemos entonces ser capaces de conversar abiertamente con nuestro interlocutor sobre el miedo a la exclusión, y hacer explícito el hecho de que ya hay un grupo poblacional que estamos excluyendo gracias a la focalización. A partir de aquí quizás podríamos identificar cuál es realmente la restricción para asignar aleatoriamente y cómo dentro de los márgenes de los criterios de focalización, podríamos encontrar una forma de aleatorizar. En nuestro ejemplo, la realidad es que además de la focalización en municipios del post-conflicto, los recursos solo permiten atender a los docentes de 80 escuelas, por lo que pudiéramos construir un grupo de al menos 200 escuelas ubicadas en zonas del post-conflicto, y escoger las 80 tratadas de manera aleatoria. Si todas las 200 escuelas cumplen con el criterio mínimo y solo podemos atender a 80 escuelas, ¿por qué no las seleccionamos aleatoriamente?
El segundo obstáculo es una variante del anterior, y por lo tanto es también “político o ético”. Se refiere a que en algunas ocasiones para decidir quién participa en el programa se utilizan criterios que responden a una creencia sobre cuál es la población con beneficios potenciales más grandes: podríamos implementar el programa de formación docente en las escuelas más afectadas por el conflicto bajo la creencia (cierta o no) de que es en ellas donde la formación será más efectiva. En estas circunstancias, seleccionar aleatoriamente pudiera implicar que escuelas con mucho potencial de beneficiarse del programa terminen no recibiéndolo. Aquí hay un cuestionamiento sobre los beneficios de la evaluación versus el costo de no beneficiar a la población que más necesita el programa.
Si bien este argumento es difícil de rebatir, en estos casos no deberíamos dejar de cuestionarnos sobre si estamos realmente seguros de quiénes son los que más necesitan el programa (¿estamos realmente seguros de que las escuelas más afectadas por el conflicto son las que más se beneficiarán?). Estos cuestionamientos son útiles para que recurramos a la evidencia existente y reflexionemos, de la mano con nuestro interlocutor, sobre los mecanismos de focalización y los posibles impactos. Esta reflexión también puede generar una oportunidad para medir la efectividad de estos mismos mecanismos de focalización (podríamos responder precisamente a la pregunta sobre si los colegios que más se beneficiarían del programa son los más afectados o los menos afectados).
Otras veces, el obstáculo es que hay capacidad para atender a todo el que lo necesita. Es decir, no hay exceso de demanda, lo que podría considerarse como un obstáculo de tipo “logístico” porque está relacionado al diseño del programa.
Por un lado, si estamos acotando la población beneficiaria usando un mecanismo de inscripción a través del cual algunas personas demuestran interés en el programa, entonces debemos pensar justamente en cómo aumentar el interés en participar para generar el exceso de demanda que necesitamos para aleatorizar. Por ejemplo, podríamos ofrecer el programa de formación docente en los colegios cuyos directores hayan demostrado interés en participar. Aquí, el interés de los directores puede aumentar si se implementa una campaña de difusión del programa, lo que generaría el exceso de demanda.
Por otro lado, también es posible que no tengamos exceso de demanda. Aquí podemos tratar de determinar la capacidad de atender a toda la población en un mismo momento del tiempo, pues es posible que necesitemos varios meses (o años) para lograrlo. Por ejemplo, debemos llegar a todas las 35 direcciones seccionales con una capacitación a funcionarios, pero con el equipo de capacitadores solo podemos atender a dos seccionales por mes, por lo que en el cortísimo plazo sí tenemos un exceso de demanda. Esto puede funcionar a nuestro favor cuando pensamos en la evaluación: podríamos aleatorizar el orden en que las seccionales son capacitadas. En este caso, de tratamiento escalonado, toda la población es tratada, pero podemos evaluar el impacto si logramos que el orden en que el tratamiento ocurre para cada unidad se decida de manera aleatoria.
Por último, en algunos casos es posible que la institución implementadora tenga interés en llegar a una población específica, que no es lo suficientemente grande como para copar todos los cupos disponibles para el programa. Aquí hay unos cupos adicionales que pueden utilizarse para realizar la evaluación. Se quiere certificar las competencias de personas ocupadas en el cuidado de ancianos, y el interés principal está en personas registradas en el sistema nacional de cuidados. Sucede que tenemos capacidad para certificar a 250 y solo hay 100 registrados en el sistema. Esto nos deja con un cupo de 150 personas que podríamos llenar a través de una selección aleatoria. El truco es determinar con la institución cuántos “realmente necesitan” recibir el programa y si hay cupos que no son llenados por esta población, entonces estos se podrían utilizar para la evaluación.
Estas son algunas alternativas a las que recurrir cuando la aleatorización parece complicada. Si ninguna alternativa se ajusta a las características del programa que queremos evaluar, quizás habría que considerar opciones no experimentales o esperar el momento adecuado para evaluar.
¿Tienes algún obstáculo no mencionado aquí que quieras compartir con nosotros? Escríbenos a impacto@caf.com.
