Este es el tercer y último blog de una serie sobre un experimento de minería de texto que realizamos en el Laboratorio de Aceleración del PNUD en México para asimilar de forma colectiva los principales aprendizajes a los que llegan las personas que están en primera fila de la implementación de programas públicos. El primero lo puedes consultar aquí  y el segundo acá. En esta entrada te contamos cómo poner a trabajar los principios de inteligencia colectiva para refinar este ejercicio con el tiempo y el potencial que tiene para convertirse en una fuente inagotable de aprendizajes para la mejora continua.

Esto es solo un punto de partida

La inteligencia colectiva es la capacidad ampliada para el aprendizaje, toma de decisiones y resolución de problemas que las sociedades pueden alcanzar cuando utilizan de forma adecuada la tecnología. Se da cuando se logra crear una arquitectura tecnológica que ayude a la sociedad a asimilar más perspectivas y utilizarlas para tomar decisiones de forma más participativa y plural, a favor de un bien común.

El ejercicio que proponemos ayuda a tener una reflexión colectiva sobre las causas que están detrás de que algunos programas no alcancen sus metas. Es colectiva porque está informada por los miles de registros de texto que escriben las personas que trabajan en la primera línea de la implementación de Programas presupuestales. Lo anterior, a pesar de que cada uno se refiere estrictamente al programa que le toca operar.

El punto de partida son las nueve causas contenidas en la GUIA desarrollada por la Unidad de Evaluación del Desempeño. Sin embargo, no deben entenderse como una lista final de todas las causas posibles que explican por qué los programas presupuestarios no alcanzan las metas que se proponen. Son solo un punto de arranque para que el algoritmo tenga algo con qué comparar los textos y nosotros una forma de agrupar la información de forma que tenga sentido para el colectivo.

De hecho, tras analizar con detalle los resultados de este primer ejercicio, se pueden comenzar a extraer conclusiones sobre las limitaciones de esta primera lista, así como ideas para su refinamiento. La invitación es que, ciclo tras ciclo, esta lista se pueda ir refinando para hacer el ejercicio cada vez más preciso y relevante. Este ejercicio recursivo es el propósito central de crear una inteligencia colectiva que permita un diálogo ordenado entre miles de personas y del que se extraigan conclusiones cada vez más precisas y valiosas.

¿Cómo refinar el ejercicio para un próximo ciclo?

Comencemos por la causa presente entre el 60 y 80 por ciento de los textos: la causa 6 “Incumplimiento o inconformidades de proveedores y contratistas, así como por oposición de grupos sociales”. Esta, por ejemplo, podría estar mezclando dos fenómenos distintos. Por un lado está la oposición de grupos sociales, que podría ser una causa por la que algunas personas contratistas no pueden cumplir con sus compromisos, sobre todo si enfrentan paros y bloqueos, pero no es la única razón imaginable por la que un contratista incumpla. Por ejemplo, podría deberse al tipo de contratistas con los que se tiende a trabajar.

Dada la elevada frecuencia con la que esta causa es recogida por el algoritmo vale la pena poner sobre la mesa en el seno del Sistema de Evaluación de Desempeño si debiera ser dividida en dos. Esto ayudaría a realizar un análisis más fino. Por un lado, distinguir cuando el incumplimiento se debe a la oposición de grupo sociales y, por otro, cuando se relaciona con el tipo de contratistas con los que se trabaja. Ya que ahora, tal y como está redactada, no permite discriminar entre una u otra situación y las acciones orientadas a solucionar cada una de estas dos situaciones son distintas.

En el otro lado del espectro, el análisis nos permite ver que hay causas cuya prevalencia es tan baja que merece la pena discutir si vale la pena incluirlas en la GUIA que genera la Unidad de Evaluación del Desempeño a todas las dependencias. Por ejemplo, la causa 2 “Emergencias provocadas por accidentes y/o fenómenos naturales adversos” presente de manera consistente en aproximadamente 4 por ciento de los textos a lo largo del periodo de análisis.

Vale la pena reflexionar si esta u otras causas de las que el algoritmo recoge poca evidencia de su mención en la base de datos deberían tener un espacio en la lista, sin que ello implique que solo por su poca ocurrencia deban eliminarse. Sin duda, su monitoreo puede resultar estratégico, pues dado el perfil de riesgos de desastres naturales que existe en el país, este bajo porcentaje de menciones podría ser un indicador de la resiliencia que tienen los programas públicos. Aunque para validar este tipo de conclusiones se necesita más evidencia además de la que aquí se presenta.

¿Dónde encontrar nuevas causas?

Por último, vale la pena hablar de aquellos factores que podrían explicar por qué en ocasiones las cosas no salen bien, pero que no están contenidos en la lista de causas que alimentan al algoritmo para que encuentre conincidencias. El análisis es ciego a dichos factores. Si una causa no está en la lista, después no es posible realizar ningún tipo de análisis al respecto.

Como dijimos antes, es solo un primer punto de partida. Para encontrar aquello de lo que hablan las personas pero que no está incluído en la lista original, hay una muestra de registros de texto que es crucial. Estos son registros que, de acuerdo con el algoritmo, no encuentran similitud con ninguna de las nueve causas predefinidas. Por ello, utilizando los diferentes filtros que ofrece la base, identificamos una muestra de 2,777 textos de justificación cuyos índices de similitud no alcanzaron un valor lo suficientemente alto para ser clasificados como “similares” a ninguna de las causas previamente definidas.

Tras ordenarlos utilizando el índice de complejidad, rápidamente comenzamos a ver patrones. No solo encontramos nuevas categorías de causas, también evidencia de fallas en la comprensión de las instrucciones de llenado de la plataforma, y hasta instancias en donde las personas usuarias responden a las justificaciones con términos incoherentes y sin sentido. Entre los elementos que encontramos para crear nuevas categorías destacan elementos como: ocasiones en que las personas mencionan que no cuentan con información suficiente para medir el avance o factores macroeconómicos y políticos externos que afectan el cumplimiento de sus metas.

¿Tienes experiencia en minería de texto, programación natural del lenguaje, inteligencia artificial o diseño de procesos de inteligencia colectiva”? ¿Conoces el Sistema de Evaluación del Desempeño o quieres compartir con nosotros ideas de cómo se puede innovar en este campo ¡Escríbenos, queremos escucharte!