Evaluación de Políticas
Introducción
¡Hola!
Es un gusto saber que continúas en este camino formativo, en esta ocasión nos encontramos en la clase 15 del curso.
En este último taller revisaremos estrategias de construcción de indicadores de desempeño, los cuales son el complemento de la propuesta de diseño de la política pública que estamos trabajando. Nos concentramos en el diseño de indicadores pues es el instrumento base de la evaluación de políticas, así como de las estrategias de monitoreo y seguimiento de la estrategia operativa.
La construcción de indicadores requiere el cuidado de pertinencia, lo cual se realiza con el aseguramiento del cumplimento de los siguientes criterios: claridad, relevancia, economía, monitoreable, adecuado y aporte marginal.
Los indicadores a diseñar son para cada uno de los elementos del resumen narrativo que hemos diseñado en el último taller, asegurando para el fin indicadores de impacto, para el propósito indicadores de resultado, para el propósito indicadores de productos y para las actividades, indicadores de proceso.
El producto de este taller es el conjunto de indicadores que se derivan de nuestro programa manifestado en el resumen narrativo en todos sus niveles, y expresado en las fichas que se sugieren en este taller.
Los temas
- Los tipos de indicadores
- La configuración organizacional
- Otros factores del funcionamiento organizacional
En relación con lo anterior, te invito a comenzar este taller.
Desarrollo del tema
Sobre los indicadores
En este taller nos concentramos en el diseño de indicadores de gestión. Para ello primero se presenta una breve descripción sobre su definición, tipo, estructura.
Mencionemos lo siguiente de los indicadores:
- Proporcionan la base para supervisar y evaluar el proyecto.
- Definen metas que nos permiten conocer en qué medida se cumplen los objetivos.
- Establecen una relación entre dos o más variables.
- Pueden cubrir aspectos cualitativos o cuantitativos.
- Entregan información cuantitativa.
- Deben ser acordados con los involucrados.
Las características que debe procurar un buen indicador de desempeño es que sea:
- Objetivo
- Medible
- Relevante
- Específico
- Práctico y económico
- Asociado a un plazo
Los criterios para seleccionarlos son:
Tabla 1. Variedad de tipos que se pueden diseñar.
| Tipo | Descripción |
| Eficacia | Miden el nivel de cumplimiento de los objetivosEj. Variación porcentual en el número de usuarios que consultan datos hidrológicos por año y por tipo de información solicitada.Ej. Porcentaje de la red vial que preserva su nivel de servicio de diseño (o cercano) |
| Eficiencia | Relacionan productos con costos o recursosEj. Costo medio anual por dato hidrometeorológicoEj. Costo total por Km. de camino conservadoEj. Número de pacientes atendidos por médico |
| Calidad | Evalúan atributos respecto a normas, referencias externas o satisfacción de los beneficiarios (usuarios)Ej. Confiabilidad de los pronósticos hidrometeorológicosEj. Porcentaje de pacientes atendidos que se declaran satisfechos con la atención recibida |
| Economía | Reflejan capacidad para generar y movilizar recursos financierosEj. Porcentaje de ejecución del presupuesto asignadoEj. Porcentaje de recuperación de créditos |
Indicadores específicos de actividades
| De costo | Relacionan costos (presupuestado / real)Ej. Desviación porcentual del costo del equipamiento |
| De cronograma | Miden el nivel de cumplimiento de los plazos programadosEj. Número de días de atraso en la actividadEj. Plazo de ejecución programado / efectivo |
| De cantidad (eficacia) | Miden el nivel de cumplimiento respecto a la cantidad programada de productos o servicios a generar.Ej. Porcentaje de personas capacitadas respecto a las programadas |
| De cualidad/calidad | Miden el cumplimiento de las especificacionesPorcentaje de participantes que demuestran comprensión de la técnica |
Conectando la lógica vertical del marco lógico, los tipos de indicadores por cada nivel del resumen narrativo se tiene la siguiente pertinencia:
| Resumen narrativo/ tipo de indicador | Proceso(Actividades) | Productos(Componentes) | Resultados(Propósito) | Impacto(Fin) |
| Eficacia | SI | SI | SI | SI |
| Eficiencia | SI | SI | No siempre | NO |
| Calidad | No siempre | SI | No siempre | NO |
| Economía | No siempre | No siempre | SI | NO |
Los pasos para diseñar los indicadores incluyen:
- Determinación de aspectos relevantes a medir
- Asignación del nombre al indicador
- Construcción de la fórmula de cálculo
- Establecer los medios de verificación
- Validación técnica del indicador
- Determinación de la línea base y establecer la meta (o metas)
La fórmula de todo indicador debe procurar la comparación entre dos variables, una que se presenta como numerador y otra como denominador:
Por cada indicador deberá llenarse una ficha como la siguiente:
Recomendaciones
- Deben utilizarse los necesarios y suficientes para evaluar el logro del objetivo (lógica horizontal).
- Pueden requerirse varios indicadores por objetivo para medir distintos aspectos del logro de éste (eficacia, eficiencia, calidad).
- Puede ser necesario más de un indicador de cada tipo (aporte marginal).
- Si los impactos se producirán a muy largo plazo o si el costo de estimar el indicador es muy alto, es mejor buscar indicadores “Proxy” (economía).
Referencias
- EuropeAid Oficina de Cooperación. (2001). Manual Gestión del Ciclo del Proyecto. Bruselas. Comisión Europea. Recuperado de https://biblioteca.hegoa.ehu.eus/downloads/10717/%2Fsystem%2Fpdf%2F3604%2FManual_de_Gesti_n_del_Ciclo_del_Proyecto.pdf
- Dirección General de Programación, Presupuesto y Evaluación del Gasto Público (2022). Manual de metodología del marco lógico. PbR-SED 2022, Guadalajara, Jalisco. Gobierno del Estado de Jalisco. Disponible en: http://sepbr.jalisco.gob.mx/app/webroot/files/Documentos/2%20Manual%20MML%20Matriz%20de%20Marco%20L%F3gico%202022-2022M.pdf
- Ortegón, E., Pacheco, J. F., Prieto, A. (2015). Metodología del marco lógico para la planificación, el seguimiento y la evaluación de proyectos y programas. Santiago de Chile, CEPAL, ILPES. Disponible en: https://repositorio.cepal.org/bitstream/handle/11362/5607/S057518_es.pdf
Conclusión
Los indicadores de desempeño constituyen una de las herramientas indispensables para contar con información relevante y oportuna para la toma de decisiones, el seguimiento en la ejecución y la rendición de cuentas de las políticas, programas y proyectos que es útil tanto internamente a la organización y al equipo que opera las intervenciones, como de manera externa a las organizaciones de vigilancia o la propia ciudadanía que exige información en la dinámica democrática de la rendición de cuentas
El establecimiento y utilización de los indicadores de desempeño apoya la labor de la vigilancia, monitoreo y evaluación de las políticas. Se diseñan desde la formulación de las políticas, y son el instrumento a través del cual facilita el seguimiento durante la ejecución, y hacia el final, es el factor que ayuda a determinar el ajuste, la continuidad o la terminación de las políticas.
Los indicadores pueden ser varios tipos, como por ejemplo de insumos, de procesos, de resultados y de impacto. Los mismos están asociados a cada uno de los niveles del diseño de nuestra intervención, es decir, hay indicadores para dar seguimiento a la evolución de las actividades (a través de indicadores de costos, economía, eficacia), del cumplimiento de componentes (indicadores de efectividad, eficiencia y calidad), o de para el caso del propósito u objetivo específico (indicadores de resultado) y los relacionados con el fin (indicadores de impacto).
Con este taller se complementa el conjunto de elementos que posteriormente debemos plasmar en nuestro documento integrador llamado policy paper, el cual es el entregable principal de nuestro curso.
Hemos llegado al final de la clase ¡Te felicito por tu logro! Para completar la sesión te pido que realices la tarea asignada. Sigue avanzando en tu curso, falta poco para que logres completarlo. Te espero en la siguiente clase, hasta luego.
Fuentes de información
- Dirección General de Programación, Presupuesto y Evaluación del Gasto Público (2022). Manual de metodología del marco lógico. PbR-SED 2022, Guadalajara, Jalisco. Gobierno del Estado de Jalisco. Disponible en: http://sepbr.jalisco.gob.mx/app/webroot/files/Documentos/2%20Manual%20MML%20Matriz%20de%20Marco%20L%F3gico%202022-2022M.pdf
- EuropeAid Oficina de Cooperación. (2001). Manual Gestión del Ciclo del Proyecto. Bruselas. Comisión Europea. Recuperado de https://biblioteca.hegoa.ehu.eus/downloads/10717/%2Fsystem%2Fpdf%2F3604%2FManual_de_Gesti_n_del_Ciclo_del_Proyecto.pdf
- Ortegón, E., Pacheco, J. F., Prieto, A. (2015). Metodología del marco lógico para la planificación, el seguimiento y la evaluación de proyectos y programas. Santiago de Chile, CEPAL, ILPES. Disponible en: https://repositorio.cepal.org/bitstream/handle/11362/5607/S057518_es.pdf