Evaluación de políticas públicas
Introducción
¡Hola!
Me complace enormemente saber de ti, espero que compartas mi emoción y te sumes con una gran actitud y ánimo a esta clase.
Estamos en la recta final de nuestro curso. En esta sesión revisamos en particular la etapa de la evaluación, última de la idea del ciclo de políticas públicas. Primero enmarcamos la necesidad de la evaluación en un contexto de exigencia democrática. Tanto por la responsabilidad hacia con los ciudadanos, quienes tienen el derecho de tener información sobre el desempeño de los programas que utilizan recursos públicos y se presupone tienen la intención de ser en beneficio de la sociedad misma, por lo cual también debe ser demostrado, así mismo, la acción de evaluar la acción del gobierno es el insumo principal para el proceso de toma de decisiones públicas, pues solo con esa información será posible de forma racional redefinir, reformular o cambiar por completo las políticas públicas.
Revisamos los tipos de evaluación, lo cual es vital reconocer pues son muchas sus modalidades de acuerdo a los componentes que analiza o los propósitos para lo que se realiza, así mismo conectamos con la idea de teoría del cambio de los programas, pues teniendo claridad en ella, la evaluación puede arrojar información valiosa para la toma de decisiones.
Los resultados positivos de las políticas no se obtienen de manera automática (mucho menos mágica), sino que son producto de una formulación que utiliza las evidencias, entre ellas los datos que arrojan las evaluaciones, de la coherencia que puede producir una buena teoría del cambio de los programas y del seguimiento que puede hacerse de la operación de estos. Todo eso es posible con la evaluación de las políticas.
Temas
- Introducción: La importancia de la evaluación
- Tipos de evaluación y teoría del cambio
- Diferencias entre evaluación, control de la gestión y monitoreo
Con base en lo anterior, te invito a proseguir.
Desarrollo del tema
Introducción, La Importancia de la evaluación
La Nueva Gestión Pública (NGP) enfatiza las ventajas de promover una Administración Pública orientada a resultados y en la creación de valor público, a diferencia de la orientación tradicional que hace hincapié en los procedimientos y los procesos de gestión (Cunill y Ospina, 2003: 12). La construcción de una Administración Pública dirigida a resultados es uno de los pilares esenciales de la reforma del Estado. Uno de los presupuestos de tal idea consiste en que dirigir la gestión hacia resultados, genera dinámicas positivas que redundan en un mejor desempeño y una apertura hacia la sociedad. La orientación hacia los resultados va más allá del control de los recursos públicos y de la legalidad, pretende entender por qué las cosas han ocurrido de ese modo y por qué ha sido posible alcanzar lo que se buscaba.
A la evaluación se le concibe como instrumento político de modernización del Estado, de consolidación de la institucionalidad, de fortalecimiento de la democracia, todo ello en términos de responsabilización (responsiveness), control y transparencia de la gestión, así como de rendición de cuentas (accountability). Incluso, también se le ve como contribución a la generación de ciudadanía, sobre todo mediante procedimientos que involucren a la sociedad en la formulación de los objetivos, la operación de las políticas y en la evaluación de los resultados de las acciones del gobierno.
Derivado del latín valere, la evaluación es entendida como sinónimo de valorar, tasar o justificar. Hay una variedad considerable de concepciones en torno a lo que es la evaluación, entre ellas se encuentran las siguientes (Mejía Lira, 2003: 14):
- La estimación del mérito de un objeto.
- Aquella rama de la ciencia que se ocupa del análisis de la eficiencia.
- Es el examen de los efectos, resultados u outputs de un programa.
- Emitir un juicio sobre el valor de la acción pública.
- Es investigar si los medios jurídicos, administrativos o financieros puestos en ello (la acción pública) permiten producir los efectos esperados de tal política y de alcanzar los objetivos que le fueron asignados.
Una definición integral de la evaluación de políticas es la siguiente:
[…] una forma de investigación social aplicada, sistemática, planificada y dirigida; encaminada a identificar, obtener y proporcionar de manera válida y fiable, datos e información suficiente y relevante, en que apoyar un juicio acerca del mérito y el valor de los diferentes componentes de un programa (tanto en la fase de diagnóstico, programación y ejecución) o de un conjunto de actividades específicas que se realizan, han realizado o realizarán, con el propósito de producir efectos y resultados concretos, comprobando la extensión y el grado en que dichos logros se han dado, de forma tal, que sirva de base o guía para una toma de decisiones racional e inteligente entre cursos de acción, o para solucionar problemas o promover el conocimiento y la comprensión de los factores asociados al éxito o fracaso de sus resultados (Aguilar y Ander-Egg, 1992: 18).
Los fines y la utilidad de la evaluación pueden ser diversos dependiendo de la situación particular, pero su importancia no puede negarse en contextos como los actuales, en los que se exige que la acción pública responda a las expectativas sociales en un ambiente democrático. La evaluación de políticas públicas, según José Mejía Lira:
[…] clarifica la acción, permite el uso de recursos, transparenta su aplicación, orienta sobre la acción de los servidores públicos y permite detectar desviaciones, refuerza mecanismos de actuación, brinda la oportunidad de generar juicios sobre la actuación, establece niveles de desempeño, previene acciones de corrupción y en última instancia legitima la acción pública. (Lira, 2003)
Por otro lado, se debe estar consciente de que, en algunos momentos, la evaluación puede estar utilizada como “barniz modernizante de una racionalidad técnico-eficientista de cumplimiento de normas y requisitos impuestos desde afuera más que contribuir a formas de gestión más transparentes y responsables” (Mejía Lira, 2003). Por todo ello, la evaluación de las políticas públicas no debe ser vista sólo como una fachada de cambios a medias, sino que de verdad debe significar para ciudadanos, funcionarios y analistas el motor de cambio en la forma de hacer políticas más racionales, transparentes y, sobre todo, cercanas a la gente.
Tipos de evaluación y teoría del cambio
Existen varias formas, tipos, modalidades, perspectivas y expectativas de evaluación de políticas públicas (Jefatura de Gabinete de Ministros, 2016: 26). La vasta literatura sobre evaluación identifica varios tipos de evaluación, pues la práctica y utilidad misma de esta acción (la de valorar el desempeño de la política) ha derivado en utilidades, usos múltiples de acuerdo en la complejidad de actividades, procesos y momentos del (re) diseño y ejecución de las políticas.
Los tipos más conocidos deriva de los siguientes supuestos (Idem.):
- Según quién(es) evalúan, ya sea de manera interna o externa.
- Según el momento de la evaluación, lo cual puede ser ex-ante, durante, ex-post.
- Según el contenido de la propia evaluación, lo cual la clasifica de diseño, de procesos, de resultados o de impacto.
- Según los propósitos de la evaluación, lo cual hace que pueda ser formativa, sumativa o de resumen, descriptiva o explicativa.
La evaluación es interna cuando se realiza desde dentro de la propia dependencia que ejecuta la política, generalmente se trata de instancias organizacionales transversales al organigrama jerárquico, como puede ser un área de planificación, monitoreo y seguimiento de actividades centrales de la organización, un área de control interno, o incluso puede ser un área jerárquica superior derivada directa del ápice estratégico de la organización que no solo mandata la evaluación, sino que la instruye a realizar las actividades de evaluación. Incluso pueden ser los mismos ejecutores quienes se autoevalúan para obtener información para la toma de decisiones.
La evaluación externa es la que realiza una organización autónoma, independiente o contratada por la propia organización ejecutora o mandatada por otro “principal” (quien financia normalmente) para hacer rendir cuentas a la organización “agente” (quien ejerce el gasto). Este tipo es la evaluación que se sugiere, pues asegura además de objetividad, una mirada especializada y experta. Las agencias evaluadoras externas pueden ser empresas consultoras, órganos de fiscalización del propio Estado o universidades o centros de investigación.
Considerando la temporalidad de la evaluación, la evaluación ex ante tiene por objeto proporcionar información sobre la eficacia potencial de la política a ser ejecutada. La idea es saber si las soluciones propuestas son adecuadas a la realidad que se pretende intervenir y por lo tanto cambiar, en otras palabras, se busca identificar la coherencia interna en la relación entre recursos disponibles, objetivos, metas y las actividades consideradas en el diseño de la política.
La evaluación que se realiza “durante” es la que da seguimiento paralelo al desarrollo de las actividades, la utilización de los recursos, y trata de identificar datos de alerta temprana para evitar desvíos de actividades, mal manejo de recursos, incumplimientos de responsabilidades o cambios en el ambiente o contexto que obliguen a realizar ajustes para el cumplimiento de objetivos y metas de las políticas.
La evaluación ex post es la que nos permite medir resultados, comprar con la línea base que se había planteado desde el inicio, identificar las razones de esos resultados, reconocer fortalezas y debilidades, asignar responsabilidades, y en otros también nos permite identificar impactos de beneficio a más largo plazo cuando se hace en evaluaciones de más alcance y complejidad metodológica. La siguiente tabla resume la tipología de acuerdo al contenido de los que se evalúa, por un lado, así como del propósito de la propia evaluación.
Tabla 1. Tipología de evaluaciones de política según contenido y propósito. Tomado de Jefatura de Gabinete de Ministros (2016: 29-30).
Hay un tipo de evaluación especial no mencionada arriba que se refiere a la evaluación basada en la teoría. Este tipo de evaluación tiene como fin saber si el cambio social identificado como parte de cualquier evaluación de resultados o de impacto es o no atribuida al programa analizado. También resulta útil como complemento de las evaluaciones de diseño, pues nos permite proyectar si la cadena de los insumos, recursos, actividades, productos y resultados están conectados y podemos tener cierta claridad sobre si se ha elegido los componentes más pertinentes.
La llamada teoría del cambio es un enfoque crítico sobre el diseño, implementación y la propia valoración de resultados de las políticas, programas y proyectos que utiliza herramientas para mapear la secuencia lógica de una iniciativa desde los insumos hasta sus resultados. La idea es explicar el cómo y por qué el cambio puede darse producto de la iniciativa de intervención que está por ejecutarse o identificar retrospectivamente si el cambio verificado es producto de lo ya ejecutado.
Se trata de identificar la causalidad en forma de cadenas que conectan los objetivos de largo plazo, los resultados intermedios, los productos y los supuestos, además de actividades e insumos.
Una buena teoría del cambio es aquella que es plausible, factible y comprobable. En la lógica causal de todo programa (véase figura 2) es la atención prioritaria en los efecto directos, es decir, en los efectos posibles o logrados a corto y mediano plazo de los resultados de un programa o proyecto sobre los beneficiarios, los cuales deberían estar asociados al uso/beneficio de los bienes y servicios recibidos que son parte del programa, y que estos se materializan con las actividades y recursos (necesarios y suficientes) para producirlos en la estrategia general de operación.
La forma de observar la variación de todos estos componentes es con un buen sistema de indicadores de proceso, producto, resultado e impacto. La construcción de indicadores pertinentes es una técnica asertiva que todo proceso de evaluación, monitoreo y seguimiento tiene como elemento clave. Algunas consideraciones sobre la construcción de diferentes tipos de indicadores se explican en la siguiente sesión en forma de taller.
El análisis de la teoría del cambio presupone un encadenamiento causal de varios niveles que hay que observar el diseño y funcionamiento de toda política, programa y proyecto.
Este esquema analítico plantea varias interrogantes: ¿Cómo funciona un proyecto? ¿Cómo espera lograr sus objetivos y metas? ¿Cuál es su ruta de implementación y sus estándares de ejecución? ¿A qué se debe dar seguimiento y monitoreo? Para llegar a: ¿Cómo se dieron los resultados que finalmente se tienen? ¿Ocurrieron los cambios esperados? ¿Qué impidió o permitió que sucedieran los resultados?
Diferencias entre evaluación, control de gestión y monitoreo
Por último, en esta lección, mencionaremos la distinción entre otros tipos de actividades asociadas a la valoración del diseño, el curso y los resultados de los programas, proyectos y actividades que conforman las políticas públicas, en particular nos referimos al control de gestión, así como al seguimiento y monitoreo organizacional.
Según la profesora Belén Miranda-Escolar (2019) el control de la gestión es parte del proceso administrativo que por un lado es el puente entre la planeación estratégica y la planeación operativa. Es el acompañamiento y procuración por parte de los equipos de trabajo desde la línea media hasta los componentes operativos de la organización de que los recursos, las actividades y su desempeño vaya acorde con los objetivos y metas de mediano y largo plazo.
El seguimiento y monitoreo es el flujo de información regular que cierto periodo de tiempo (trimestral, semestral y anual) debe servir de diagnóstico a los equipos de trabajo, coordinados por el ápice estratégico de la organización, a través de las áreas de tecnoestructura (planeación, programación y finanzas) para hacer cortes de caja necesarios que sean el insumo principal de la toma de decisiones estratégicas que orienten la acción del conjunto de la organización.
Por último, también mencionaremos dos actividades esenciales que pueden servirse de la evaluación, por un lado, está el control interno y la auditoría. El control interno es la actividad preventiva de la gestión que ayuda a detectar potenciales actos que vayan en contra de la integridad o posibles faltas administrativas o de franca corrupción. La auditoría por su parte, en el sector público es aquella actividad de revisión específica del cumplimiento de lineamientos tanto de gasto, apego a las reglas de operación, así como del logro de objetivos y metas en la programación presupuestal que se realizan tanto por las áreas de control interno, como la que mandatan los órganos colegiados o legislativos que aprueban el gasto, los presupuestos y los programas mismos. Ambas actividades, control interno y auditoría, en los últimos años han pasado a solo concentrarse en la parte contable y del gasto, a incorporar revisiones de los resultados de las evaluaciones de política pública de todos los tipos que hemos mencionado en esta lección.
No sobra mencionar, que, en toda actividad de evaluación, desde el diseño, acompañamiento y conocimiento de los resultados, la participación ciudadana puede ser un factor que fortalezca y potencie los efectos positivos que busca en el mejoramiento de los programas, proyectos y actividades de las políticas públicas. La colaboración con la ciudadanía en materia de evaluación de políticas es esencial para asegurar el buen gobierno y materializar la idea de gobierno abierto y democrático.
Te invito a revisar el siguiente objeto de aprendizaje que sintetiza el tema en torno a:
- Utilidad de la evaluación en el marco de una gestión pública orientada a resultados y en contextos de exigencia democrática,
- Los tipos de evaluación y la lógica de la teoría del cambio.
- La diferencia de la evaluación con otras formas de seguimiento y control del desempeño y resultados de la acción pública.
Conclusión
La evaluación debe ser concebida sólo como una actividad al final del ciclo de los programas y proyectos que conforman las políticas, la actividad valorativa se hace de manera transversal en todo el ciclo, pues desde el diseño se consideran los criterios de cumplimiento tanto de insumos, procesos, como de los propios resultados esperados. El monitoreo durante la ejecución de los programas es esencial para evitar desvíos o insuficiencias, y los datos recabados después de un tiempo de la implementación deben servir de manera estratégica para ajustar la propia estrategia, y en un momento dado tomar decisiones de renovar, continuar o terminar las mismas políticas.
Los diferentes tipos de evaluaciones obedecen a una diversidad de actores intervinientes (internos y externos), al momento en que se realizan, la etapa de la ejecución de los programas, y los componentes que se decida revisar para un buen desempeño de las políticas, así como la medición de los resultados y los impactos, tratando de resolver los problemas públicos a los que obedece su existencia.
La teoría del cambio que todos los programas públicos deben contar, es una herramienta analítica útil en varios de los tipos de evaluaciones que ayuda a identificar el encadenamiento causal entre insumos, actividades, productos y objetivos mediatos (es decir, resultados) y a largo plazo (es decir, impactos).
La información recabada de la evaluación no solo sirve a los gestores de los proyectos, sino para el control democrático de otros actores relevantes del proceso democrático tanto de la propia lógica de contrapesos institucionales dentro del Estado, como de la rendición de cuentas hacía con la sociedad en su conjunto, en este último sentido es que se hace necesario considerar la participación social en todos los tipos de acciones evaluativas de la gestión pública de las políticas.
¡Te felicito por tu logro! Te invito a continuar con tu proceso formativo realizando y mandando la actividad asignada a esta clase. “Perseverar es sinónimo de tenacidad, no decaigas sigue perseverando en tu educación” Te encuentro en la siguiente clase. Hasta luego.
Fuentes de información
- Aguilar, M. A. y Ander-Egg, E. (1992). Evaluación de servicios y programas sociales. España: Siglo XXI Editores.
- Bouzas Lorenzo, R. (2005). Los caminos de la evaluación de políticas públicas: una revisión del enfoque. En RIPS: Revista de Investigaciones Políticas y Sociológicas, vol. 4, núm. 2, 2005, pp. 69-86, Universidad de Santiago de Compostela. Disponible en: https://www.redalyc.org/pdf/380/38040205.pdf
- Caldera Ortega, A. R. (2012). De la administración pública a las políticas públicas: ensayos desde la ciencia política. México: Porrúa. Recuperado de https://elibro-net.e-revistas.ugto.mx/es/ereader/ugto/38543?page=45
- Cardozo Brum, M. (2013a). Políticas públicas: los debates de su análisis y evaluación. En Andamios. Revista de Investigación Social, vol. 10, núm. 21, enero-abril, 2013, pp. 39-59. Universidad Autónoma de la Ciudad de México. Disponible en: https://www.redalyc.org/pdf/628/62828836003.pdf
- Cardozo Brum, M. (2013b). De la evaluación a la reformulación de políticas públicas. En Política y Cultura, núm. 40, 2013, pp. 123-149. Universidad Autónoma Metropolitana Unidad Xochimilco. Disponible en https://www.redalyc.org/pdf/267/26728947007.pdf
- Cunill, N. y Ospina, Z. (Eds.) (2003). Evaluación de resultados para una gestión pública moderna y democrática, Experiencias Latinoamericanas. Venezuela. Centro Latinoamericano de Administración para el Desarrollo, Agencia Española de Cooperación Internacional, Ministerio de Administraciones Públicas, Fundación Internacional y para Iberoamérica de Administración y Políticas Públicas.
- Consejo Nacional de Evaluación de la Política de Desarrollo Social (CONEVAL) (2017). Memorias del CONEVAL 2006-2016. México, CONEVAL. Disponible en: https://www.coneval.org.mx/InformesPublicaciones/InformesPublicaciones/Paginas/E-Books.aspx
- Jefatura de Gabinete de Ministros (2016). Manual de base para la evaluación de políticas públicas -Segunda Edición-. Programa de Evaluación de Políticas Públicas. Argentina, Jefatura de Gabinete de Ministros de la Nación y Ministerio de Modernización.
- Miranda-Escolar, B (2019). La evaluación de políticas públicas. Una asignatura pendiente de la administración. En Revista Colegiada de Ciencia, Vol. 1, no. 1. Disponible en: http://portal.amelica.org/ameli/jatsRepo/334/3341367001/index.html