Una mirada hacia el futuro de los gobiernos: La transparencia algorítmica y sus implicaciones

La automatización de ciertos procesos en la gestión pública a través de algoritmos tiene potencial como herramienta de integridad, puesto que la ejecución de decisiones deja de ser discrecional de un funcionario y la ciudadanía puede tener una mejor interacción con los servicios de gobierno. Sin embargo, existe el riesgo de que la automatización afecte, en formas aún por explorar, los derechos de los ciudadanos. Por ejemplo, en 2014 la compañía Palantir Technologies construyó para el gobierno Americano un repositorio que permitiera a las autoridades migratorias acceder a perfiles digitales de personas sospechosas de violar las leyes de inmigración y organizar registros sobre ellos en una sola plataforma. A partir de la aplicación de algoritmos predictivos, el repositorio podía identificar migrantes ilegales; sin embargo, en 2019 la compañía fue acusada de separar a las familias de inmigrantes indocumentados y ejercer sobre éstas, prácticas discriminatorias.

Lo anterior abre la discusión sobre qué se puede hacer para regular los algoritmos y cómo mejorar la transparencia en su uso para toma de decisiones que afectan al público. Según el informe “Uso responsable de la inteligencia artificial en el sector público” de CAF- Banco de Desarrollo de América Latina, el potencial de esta tecnología está en automatizar decisiones que afectan a las personas como decidir a quién contratar en una empresa, determinar la elegibilidad para subsidios  o parar licitaciones en caso de detectar anomalías en el proceso.  

 En particular, los pronósticos y decisiones algorítmicos son difíciles de entender y explicar; hay una naturaleza de "caja negra" en algunas técnicas de la inteligencia artificial que ha suscitado preocupación. En ese sentido, ¿puede la tecnología algorítmica ajustarse a los principios legales de transparencia gubernamental?

La transparencia algorítmica busca que dichas innovaciones programadas para tomar decisiones en la gestión pública tengan mecanismos de rendición de cuentas y responsabilidad pública. Por ello, es necesario evaluar las implicaciones éticas que están asociadas con la ejecución de servicios digitales y decisiones automatizadas de gobierno, pues conllevan una serie de responsabilidades frente a los ciudadanos. Los algoritmos no son infalibles. La calidad de sus decisiones depende en gran medida de la calidad de los datos con los que son alimentados y la manera en que están programados. (Zejnilovic, Engin, Yeung and Maffeo, 2022). Por ejemplo, existen en el mercado plataformas que sugieren a las fuerzas de policía en dónde desplegar oficiales según los datos de criminalidad por zonas geográficas; sin embargo, si los datos se alimentan principalmente de hechos ocurridos en áreas densamente pobladas por minorías raciales, se puede incurrir en prácticas discriminatorias.

Las condiciones habilitantes para implementar un modelo exitoso de gobernanza y transparencia algorítmicas incluyen varios aspectos, comenzando por una buena capacidad de cómputo. Para aprovecharla, se debe contar con capital humano que posea los conocimientos técnicos necesarios para administrar las plataformas, pero también con altos grados de empatía para entender a los beneficios finales del servicio que dependen del buen funcionamiento de dichas plataformas y que puedan adaptarse rápidamente a los cambios de la vida social.

Adicionalmente, se necesita de un grado alto de institucionalidad que sea capaz de coordinar a los actores involucrados en la consolidación de las políticas públicas que regulen o pretendan usar algoritmos. Además, una cultura de transparencia e integración con la sociedad civil es necesaria para evitar escenarios de discriminación o corrupción. (Mejía & Páez, 2020) Desarrollar mecanismos de transparencia y publicidad a lo largo del ciclo de creación e implementación de este tipo de herramientas es crucial para que en el futuro se pueda impulsar un sector público más innovador. (Mejía & Páez, 2020) Entre más actores estén implicados en el proceso, mejor, pues se reducen la probabilidad de que se hagan decisiones sesgadas y evita procesos “de caja negra”, por ejemplo, con el código abierto.

Riesgos asociados

Hoy en día se vive un entorno donde la legitimidad de los funcionarios públicos recae en su posibilidad de actuar con ética e integridad dentro de su trabajo, pero con los sistemas de gobernanza algorítmica esto no será así. ¿a quién se le va a adjudicar la responsabilidad de los potenciales errores en la toma automatizada de decisiones que afectan a los ciudadanos?

Ahora bien, el uso de datos siempre trae consigo una serie de debates sobre la privacidad y la vigilancia; esto se hizo más evidente con el uso de apps de los gobiernos para controlar aglomeraciones durante la pandemia. ¿Qué tan dispuestos estamos a que el Estado tenga una base de datos con información sensible que revela preferencias, hábitos de transporte o hábitos de consumo? Incluso, si llega a haber fugas de información, ésta puede ser utilizada para el robo de identidad, el fraude y la manipulación. La transparencia algorítmica también exige contar con medidas de mitigación de riesgos tecnológicos.

Recomendaciones

Debatir con diversos actores sociales para definir cuáles serán los ámbitos en que se considere necesaria la presencia de sistemas automatizados será vital para aumentar la confianza y evitar la captura por intereses particulares en determinados asuntos públicos. Se debe mantener la transparencia para que los ciudadanos sean conscientes de cómo se ha llegado a tomar ciertas decisiones. América Latina debe buscar medidas que estén alineadas con este tipo de gobernanza para garantizar el acceso a los servicios de gobierno sin discriminaciones, sin negligencia y con integridad.

La transparencia algorítmica es un área de política pública naciente, por lo que necesita pruebas piloto o esquemas tipo sandbox regulatorios, con el fin de definir reglas de juego que faciliten su aplicación.  Por otro lado, aumentar las investigaciones de gobernanza algorítmica puede llevar a descubrir más vínculos entre las disciplinas de las ciencias sociales y las disciplinas STEM. Con prácticas responsables, los funcionarios gubernamentales pueden aprovechar la capacidad predictiva del aprendizaje automático sin dejar de ser fieles a los principios de gobierno abierto. La transparencia algorítmica puede satisfacer las demandas en materia de integridad sin dejar de mejorar la eficacia, la eficiencia e incluso la legitimidad del gobierno.