Resolución de 13 de octubre de 2021 de la Secretaria General de la Consejería de Transparencia, Participación y Administración Pública por la que se da publicidad al Acuerdo de Consejo de Gobierno de aprobación de la Guía de Evaluación de Planes, Programas, Estrategias y Servicios Públicos de la Región de Murcia, adoptado en su sesión de 7 de octubre de 2021

Anexo
Acuerdo de aprobación de la Guía de Evaluación de Planes, Programas, Estrategias y Servicios Públicos de la Región de Murcia

La Ley 2/2014, de 21 de marzo, de Proyectos Estratégicos, Simplificación Administrativa y Evaluación de los Servicios Públicos de la Comunidad Autónoma de la Región de Murcia, recoge, en su título V la Gestión pública, evaluación de las políticas públicas y de la calidad de los servicios, el concepto de evaluación de las políticas públicas y su modalidades.

La gobernanza supone un cambio de paradigma en las relaciones administrativas, propiciando la adopción de políticas públicas con la participación del sector público y privado. Se habla de buena gobernanza cuando los procesos para la toma de decisiones y para su puesta en marcha en una determinada organización o institución resultan eficaces no sólo por alcanzar el objetivo propuesto, sino por emplear recursos adecuados para ello y por evaluarse periódicamente con participación de los agentes implicados.

La «Estrategia de Gobernanza Pública de la Comunidad Autónoma de la Región de Murcia para el periodo 2020-2022» incluye la línea estratégica: «B.- Calidad de los servicios públicos y evaluación de las políticas públicas», con la medida: B.02/Evaluación de políticas públicas.

La Inspección General de Servicios, dependiente de la Dirección General de Regeneración y Modernización Administrativa, en colaboración con el Departamento de Economía Aplicada de la Facultad de Economía y Empresa de la Universidad de Murcia, ha elaborado la «Guía de Evaluación de Planes, Programas, Estrategias y Servicios Públicos de la Región de Murcia».

El primer borrador de la Guía se ha sometido a un proceso de consulta pública en la Plataforma de Participación Ciudadana, recibiendo aportaciones de la ciudadanía, así como audiencia de la Secretarías Generales y Organismos Autónomos de las Consejerías, teniendo en cuenta las aportaciones para la elaboración del documento final de la Guía de Evaluación.

La Guía ha sido realizada teniendo en cuenta el enfoque metodológico de evaluación de la Organización para la Cooperación y el Desarrollo Económico (OCDE), el Banco Mundial, o las orientaciones en materia de evaluación de EuropeAid y Evalsed. También se han considerado las aportaciones realizadas por las guías y manuales de diseño y evaluación de políticas públicas de la Agencia Estatal de Evaluación de las Políticas Públicas y la Calidad de los Servicios (AEVAL), el Instituto de Administración Pública de la Junta de Andalucía (IAAP), la Guía de Evaluación del Gobierno Vasco o Ivalúa de la Generalitat Catalana, entre otras.

La Guía está diseñada para cumplir dos objetivos básicos. En primer lugar, se enmarca dentro de la Estrategia de Gobernanza de la Región de Murcia y pretende hacer más conocido el sentido de las evaluaciones de los planes, programas y proyectos de la Administración Pública regional, tanto dentro de la Administración como entre la ciudadanía. Esta labor didáctica es precisa porque todavía no existe una cultura de evaluación suficientemente asentada. En segundo lugar, constituye un paso en la dirección de generar un sistema de evaluación en la Región de Murcia asentado en principios conocidos, que permita una adecuada planificación de la misma y su vinculación con el ciclo de elaboración e implementación de las actuaciones administrativas.

El principio básico que permea toda la Guía es que la evaluación contribuya positivamente a la mejora de los planes, programas, proyectos y servicios públicos en la Región de Murcia con la colaboración de los gestores de las mismas y la ciudadanía.

El objeto de la Guía es establecer un instrumento práctico de evaluación de planes, programas, proyectos y servicios públicos, desarrollando el marco normativo establecido por la Ley 2/2014, de 21 de marzo, de Proyectos Estratégicos, Simplificación Administrativa y Evaluación de los Servicios Públicos y estableciendo un servicio interno, el servicio 3643 denominado Evaluación de planes, programas, proyectos y servicios públicos de la Región de Murcia, incorporado a la Guía de Procedimientos y Servicios.

Dado el interés que representa la Guía, como instrumento de gran utilidad para la mejora continua de las políticas públicas y de los servicios prestados a los ciudadanos, la Dirección General de Regeneración y Modernización Administrativa estima oportuno su aprobación por Consejo de Gobierno.

En su virtud, a propuesta del Consejero de Transparencia, Participación y Administración Pública, de conformidad con lo establecido en el artículo 22.35 de la Ley 6/2004, de 28 de diciembre, del Estatuto del Presidente y del Consejo de Gobierno de la Región de Murcia, el Consejo de Gobierno, previa deliberación en su reunión de 7 de octubre de 2021.

Acuerda:

Aprobar la Guía de Evaluación de Planes, Programas, Estrategias y Servicios Públicos de la Región de Murcia, que se adjunta como Anexo.

ESTRATEGIA DE De la Comunidad Autónomade la Región de Murcia. Guía de Evaluación de Planes, Programas, Proyectos y Servicios Públicos de la Región de Murcia.

Primera edición: 2021. Elaborada por:

Francisco Maeso Fernández, Universidad de Murcia.

Francisco Martínez Martínez, Inspección General de Servicios, Región de Murcia.

Con las aportaciones y comentarios de la consulta pública y la Unidad de Evaluación de Políticas Públicas de la Autoridad Independiente de Responsabilidad Fiscal.

Citar como:

Maeso Fernández, F. y Martínez Martínez, F. (2021): Guía de Evaluación de Planes, Programas, Proyectos y Servicios Públicos de la Región de Murcia. Inspección General de Servicios Comunidad Autónoma de la Región de Murcia.

PRESENTACIÓN

La Consejería de Transparencia, Participación y Administración Pública, a través de la Dirección General de Regeneración y Modernización Administrativa tiene, entre sus objetivos, avanzar en el desarrollo de una cultura ética en la Administración Regional que mejore la confianza y la afección de los ciudadanos en sus instituciones. Para ello, al margen de trabajar en el desarrollo de los elementos propios de un Marco de Integridad Institucional, hemos considerado necesario implantar una cultura de la evaluación en la Administración Pública de la Región de Murcia.

Esta Consejería, desde su creación, está desarrollando acciones de difusión y puesta en funcionamiento de instrumentos de buen gobierno, entre los que se encuentra la evaluación de políticas públicas; ya el propio marco legal establecido por la Ley de Procedimiento Administrativo desarrolla este instrumento de buena administración y de buen gobierno estableciendo como principios de buena regulación los de necesidad, eficacia, proporcionalidad, seguridad jurídica, transparencia, y eficiencia, y proclamando la necesidad de llevar a cabo una verdadera participación, planificación y evaluación del impacto de las normas.

El Consejo de Gobierno, en su reunión del 30 de julio de 2020, aprobó, a propuesta de la Consejería de Transparencia, Participación y Administración Pública, la Estrategia Regional de Gobernanza Pública, con la que avanzará en la construcción de un nuevo modelo de gestión en la Administración regional centrado en el ciudadano, transparente, ágil, flexible, innovador, sostenible para mejorar la confianza ciudadana en las instituciones, en la utilidad de sus decisiones y en la calidad de los servicios que prestan. Esta estrategia constituye la hoja de ruta y la herramienta de referencia en materia de Gobernanza en la Administración regional durante los próximos tres años, con líneas estratégicas como la ‘Calidad de los servicios públicos y evaluación de las políticas públicas’ y medidas de planificación y evaluación de políticas públicas.

INTRODUCCIÓN

El objeto de esta Guía es establecer un instrumento práctico de evaluación de Planes, Programas, Proyectos y Servicios Públicos en la Región de Murcia, desarrollando el marco normativo establecido por la Ley 2/2014, de 21 de marzo, de Proyectos Estratégicos, Simplificación Administrativa y Evaluación de los Servicios Públicos.

Esta Guía ha sido realizada teniendo en cuenta el enfoque metodológico de evaluación de la Organización para la Cooperación y el Desarrollo Económico (OCDE), el Banco Mundial, o las orientaciones en materia de evaluación de EuropeAid y Evalsed. También se han considerado las aportaciones realizadas por las guías y manuales de diseño y evaluación de políticas públicas de la Agencia Estatal de Evaluación de las Políticas Públicas y la Calidad de los Servicios (AEVAL), el Instituto de Administración Pública de la Junta de Andalucía (IAAP), la Guía de Evaluación del Gobierno Vasco o Ivalúa de la Generalitat Catalana, entre otras.

Esta Guía está diseñada para cumplir dos objetivos básicos. En primer lugar, se enmarca dentro de la Estrategia de Gobernanza de la Región de Murcia y pretende hacer más conocido el sentido de las evaluaciones de los Planes, Programas y Proyectos públicos, tanto dentro de la administración como entre la ciudadanía. Esta labor didáctica es precisa porque todavía no existe una cultura de evaluación suficientemente asentada. En segundo lugar, constituye un paso en la dirección de generar un sistema de evaluación en la Región de Murcia asentado en principios conocidos, que permita una adecuada planificación de la misma y su vinculación con el ciclo de elaboración e implementación de las actuaciones administrativas.

El principio básico que permea toda la Guía es que la evaluación contribuya positivamente a la mejora de los Planes, Programas, Proyectos y Servicios Públicos en colaboración con los gestores de las mismas

En cuanto a la estructura, la Guía se ha diseñado con tres apartados. El primero establece el marco normativo y los conceptos y elementos básicos de una evaluación. El segundo explicita las características principales del sistema de evaluación que se pretende establecer en la Región de Murcia.

Finalmente, el tercero comprende los aspectos operativos para realizar una evaluación, especificando los distintos pasos del proceso y su articulación en el contexto de la administración regional.

Esta Guía se centra en los componentes de las fases primera y tercera, puesto que los elementos de la segunda (recogida de datos, análisis, interpretación y valoración) son muy específicos de la actuación que se vaya a evaluar.

La Guía se realiza con las aportaciones y comentarios de la consulta pública y la Unidad de Evaluación de Políticas Públicas de la Autoridad Independiente de Responsabilidad Fiscal.

1 SECCIÓN PRIMERA. MARCO GENERAL: CONTEXTO NORMATIVO Y MARCO CONCEPTUAL

MARCO NORMATIVO

La puesta en marcha de un sistema de evaluación en el Región de Murcia viene determinada por la Ley 2/2014, de 21 de marzo, de Proyectos Estratégicos, Simplificación Administrativa y Evaluación de los Servicios Públicos, que desarrolla a nivel autonómico la evaluación de las políticas públicas, junto con la Estrategia Regional de Gobernanza Pública, con la que se avanzará en la Región de Murcia en la construcción de un nuevo modelo de gestión pública.

A nivel del Gobierno Central el precedente está en la Ley 28/2006, de 18 de julio, de Agencias Estatales para la mejora de los servicios públicos, que autoriza la creación de la Agencia Estatal de Evaluación de las Políticas Públicas y de la Calidad de los Servicios y establece el marco normativo de las Agencias estatales y en el Real Decreto 1418/2006, de 1 de diciembre, por el que se aprueba el Estatuto de la Agencia Estatal de Evaluación de las Políticas Públicas y la Calidad de los Servicios (AEVAL), que desarrolla los aspectos específicos para la creación de una agencia centrada en la evaluación. Con el Real Decreto 769/2017 la AEVAL se disuelve, siendo sus funciones asumidas por el Instituto para la Evaluación de Políticas Públicas.

Anticipándose al Gobierno Central, la Comunidad Foral de Navarra aprobó la creación del Sistema Público de Evaluación Navarra con la ley Foral 21/2005. Casi al mismo tiempo se crea el Instituto Catalán de Evaluación de Políticas Públicas (IVÁLUA, 2006), como un consorcio de varias administraciones y la Universidad. Sucesivas comunidades autónomas han ido creando un marco normativo y administrativo tendente a la mejora de la gestión pública e incluyendo la evaluación entre sus fines.

Todas estas agencias usan las bases teórico-prácticas que se han desarrollado en organismos internacionales (en particular el Banco Mundial y la Organización para la Cooperación y el Desarrollo Económico), pero usando especialmente como referencia a la Unión Europea (UE). Por un lado, la UE ha actuado como un agente externo que impone el requisito de la evaluación, por ejemplo, en el caso de la evaluación de impacto medioambiental para los proyectos de obras públicas. Por otro, la UE en su propia dinámica interna ha ido introduciendo la evaluación como parte integrante de su sistema operativo, de esta forma ha generado un importante acervo de conocimiento que ha podido, en cierta medida, permear a otras administraciones nacionales y regionales, que han internalizado la práctica de la evaluación.

El caso de la UE ilustra tanto las ventajas como las dificultades de generar un sistema de evaluación en una administración pública. Con un análisis, necesariamente somero, del caso de la UE se puede inferir que en una primera etapa es conveniente dar cierto grado de autonomía a las distintas unidades que configuran una administración pública para que generen su propia cultura de evaluación adecuada a los proyectos o programas que desarrollan. No obstante, conviene tener un marco general que dé cobertura y apoyo técnico al trabajo de estas unidades. La experiencia indica que la evaluación debe ser percibida como útil por los gestores, pues de lo contrario se convierte en un trámite más sin generar valor añadido. Los grandes cambios en la UE se producen a partir de 1999 y básicamente han ido en la línea de: incorporar la evaluación en el sistema de planificación; expandir el campo de las intervenciones públicas a evaluar, en particular incluyendo el análisis de la regulación y normativas; y una orientación práctica de la evaluación para conseguir conocimiento a nivel de los decisores políticos.

Los cambios en la relevancia de la evaluación en la UE también se pueden ligar a presiones externas sobre la misma. Estas fuerzas provienen por un lado por el carácter multinacional de la misma, con miembros, especialmente norte de Europa y el Reino Unido (hasta 2020), con una fuerte y consolidada tradición de evaluación. Por otro, la necesidad de incrementar la transparencia tanto frente a sus socios como hacia la ciudadanía en general ha presionado para ir posicionando la evaluación como un criterio básico de su funcionamiento.

LEY 2/2014, DE 21 DE MARZO, DE PROYECTOS ESTRATÉGICOS, SIMPLIFICACIÓN ADMINISTRATIVA Y EVALUACIÓN DE LOS SERVICIOS PÚBLICOS

La gestión pública de la Administración regional se regirá por los principios generales establecidos en el título I de la Ley 2/2014, el resto de principios proclamados por el ordenamiento jurídico y por un modelo basado en la evaluación de las políticas públicas, la orientación a resultados y la gestión de la excelencia o calidad total.

La Administración regional, de acuerdo con el artículo 4 de la Ley 2/2014, ajustará sus políticas públicas y su actividad a once principios básicos. Entre ellos destaca el objetivo de «h) Mejora continua y evaluación, poniendo en práctica técnicas que permitan detectar sus deficiencias, corregirlas y prestar los servicios a los ciudadanos de forma cada vez más eficiente, eficaz y con mayor calidad.» Esta Guía está diseñada incorporando varios de los principios explicitados en la ley. En particular, se presta especial relevancia a los principios «d) Transparencia y claridad», «g) Responsabilidad, transparencia y rendición de cuentas en la gestión de los asuntos públicos» y «j) Participación ciudadana».

Una característica esencial de la evaluación, de acuerdo con la Agencia de Evaluación y Calidad, es que no puede concebirse como un hecho aislado y final, sino como un continuum que acompaña a todo el proceso, desde el momento de la planificación (evaluación ex ante), a la fase de implementación (evaluación in itinere o intermedia) y a la verificación de los resultados y efectos finales (evaluación ex post). Porque, la evaluación, además de otras consideraciones de interés, entraña un tipo de cultura político-administrativa que pretende potenciar el saber en las organizaciones para cambiar, mejorar y crecer. Se mira al pasado para resolver de mejor manera el futuro.

La Ley 2/2014, de 21 de marzo, de Proyectos Estratégicos, Simplificación Administrativa y Evaluación de los Servicios Públicos de la Comunidad Autónoma de la Región de Murcia dedica el Título V a la Gestión pública, evaluación de las políticas públicas y de la calidad de los servicios en la Administración regional, estableciendo:

• - Artículo 30. Sistema de evaluación de la gestión pública de la Administración regional.
  • 1. La Administración pública regional impulsará una cultura de responsabilidad y control de la acción pública, estableciendo para ello las medidas necesarias para el desarrollo e implantación de un sistema de evaluación que, como instrumento de buen gobierno, de mejora continua de las políticas públicas y de los servicios prestados a los ciudadanos, incorporará las medidas que permitan analizar los siguientes extremos:
    • a) La consecución de los resultados previstos y de los impactos de las políticas públicas, así como de los planes y programas que desarrollen y ejecuten las mismas.
    • b) La calidad de los servicios prestados por los distintos órganos de la Administración regional.
    • c) Comprobar el grado de aplicación, entre otros, de los principios generales que rigen las políticas públicas y actividad de la Administración regional.
  • 2. El sistema de evaluación de la gestión pública que conforma tanto las políticas públicas como la calidad de los servicios públicos tendrá como objetivos:
    • a) Fomentar el uso racional de los recursos públicos y de los principios de buena gestión económica financiera.
    • b) Desarrollar sistemas de información que faciliten la evaluación de las políticas y programas públicos.
    • c) Implantar indicadores de gestión en la Administración regional que permitan conocer el impacto de una determinada política pública.
    • d) Promover la calidad y la mejora continua de los servicios públicos mediante el compromiso con la excelencia mediante la utilización de modelos de evaluación de la calidad total en la Administración pública.
    • e) Reforzar la cultura de responsabilidad entre los gestores de los planes y programas públicos.
  • 3. El sistema de evaluación de la gestión pública se realizará mediante la aplicación de sistemas y métodos en los que participarán los ciudadanos, de acuerdo con el principio y el derecho de participación ciudadana reconocido en esta ley. El sistema de evaluación tendrá en cuenta, además de los extremos mencionados en el apartado 1, el grado de participación ciudadana en las políticas públicas.
  • 4. La evaluación de políticas públicas se realizará por la consejería competente en dicha materia.

  Actualmente, el Decreto del Presidente nº34/2021, de 3 de abril, de reorganización de la Administración Regional, establece, en su artículo 9, que la Consejería de Transparencia, Participación y Administración Pública es el Departamento de la Comunidad Autónoma competente para la propuesta, desarrollo y ejecución de las directrices generales del Consejo de Gobierno en materias, entre otras, de materias de transparencia, participación ciudadana en la vida pública y buen gobierno, que asume con carácter transversal, y evaluación de políticas públicas.

  Asimismo, el artículo 5 del Decreto n. º 174/2019, de 6 de septiembre, por el que se establecen los Órganos Directivos de la Consejería de Transparencia, Participación y Administración Pública, atribuye a la Dirección General de Regeneración y Modernización Administrativa tareas relacionas con el buen gobierno, la gobernanza y la evaluación de las políticas públicas, así como la modernización y simplificación administrativa, incluida la que afecta a la actividad empresarial, la inspección general de los servicios y la atención al ciudadano. En materia de buen gobierno le corresponde, en particular, el ejercicio de las siguientes funciones: la evaluación de las políticas públicas y de los planes y programas cuya evaluación se le encomiende, en coordinación con el resto de consejerías, así como el fomento de la cultura de evaluación de las políticas públicas.

  En este sentido, el artículo 31 de la Ley 2/2014, define la evaluación de políticas públicas como:

• - Artículo 31. Evaluación de las políticas públicas: concepto y modalidades.
  • 1. Se entiende por evaluación de las políticas públicas el proceso integral de análisis de su conceptualización y diseño, de su proceso de ejecución, aplicación y seguimiento, así como de la valoración de los resultados e impactos conseguidos mediante dichas políticas.
  • 2. La evaluación de las políticas públicas, atendiendo al momento en que se lleve a cabo, podrá realizarse en la fase de planificación o programación, durante su ejecución o con posterioridad a la misma.
  • 3. La evaluación de las políticas públicas, atendiendo al contenido y a los elementos a evaluar, podrá ser:
    • a) Evaluación conceptual o de diseño de las políticas públicas, que se centrará sobre los aspectos relacionados con los elementos que justifican la necesidad de la intervención pública y el diseño de las políticas. Perseguirá evaluar las necesidades y problemas que determinaron su puesta en marcha, así como constatar la existencia de objetivos claramente definidos y medibles.
    • b) Evaluación del proceso de ejecución y seguimiento de las políticas públicas y del sistema de gestión utilizado en las mismas, que se realizará sobre los procedimientos y las actuaciones necesarias puestas en práctica por las distintas consejerías para su ejecución y gestión. Esta evaluación medirá la capacidad de los distintos órganos en relación con su ejecución y seguimiento, valorando el grado de implicación de los gestores y de la organización, así como los procedimientos de gestión y la dotación de recursos para llevarlas a cabo óptimamente.
    • c) Evaluación de los resultados e impactos obtenidos, así como de la eficacia y eficiencia de las políticas públicas, que prestará especial atención a la consecución de los objetivos perseguidos con ellas, analizando los efectos sobre sus destinatarios y sobre la población en general, permitiendo conocer el coste de los objetivos conseguidos en parámetros de tiempo, recursos humanos, materiales y financieros.

    

ESTRATEGIA DE GOBERNANZA PÚBLICA DE LA REGIÓN DE MURCIA 2020-2023

El Consejo de Gobierno, en su reunión del 30 de julio de 2020, aprobó, a propuesta de la Consejería de Transparencia, Participación y Administración Pública, la Estrategia Regional de Gobernanza Pública, con la que avanzará en la construcción de un nuevo modelo de gestión en la Administración regional centrado en el ciudadano, transparente, ágil, flexible, innovador, sostenible y facilitador de la actividad empresarial, y fortalecer así la confianza ciudadana en las instituciones, en la utilidad de sus decisiones y en la calidad de los servicios que prestan.

Esta estrategia constituye la hoja de ruta y la herramienta de referencia en materia de Gobernanza en la Administración regional para el periodo 2020- 23, con el objetivo de mejorar en cinco líneas estratégicas, conformadas con 13 objetivos estratégicos y 73 medidas concretas. Esta Guía se ubica en la línea de ‘Calidad de los servicios públicos y evaluación de las políticas públicas’, dentro del objetivo estratégico de «Impulsar la planificación estratégica y la evaluación de las políticas públicas».

02 CONCEPTOS BÁSICOS Y PRINCIPIOS DE LA EVALUACIÓN

2.1 CONCEPTO DE EVALUACIÓN

Existe una convergencia considerable en la definición de evaluación, tanto a nivel académico como entre las instituciones especializadas en la práctica de la evolución. Así, la Agencia Española de Evaluación (AEVAL) (2010, pág.13) señala que:

Evaluar es apreciar, analizar, valorar y juzgar los resultados e impactos de una intervención a fin de mejorar su calidad. La práctica de la evaluación incluye actividades técnicas de observación, de medida, de análisis, pero no se reduce sólo a eso. Se apoya en el método científico, pero no es una disciplina científica en el sentido habitual del término, sino una actividad institucional con vocación de integrarse en la gestión pública y en el funcionamiento del sistema político.

En líneas generales, se entiende por evaluación un proceso integral de observación, medida, análisis e interpretación, encaminado al conocimiento de una intervención pública – norma, programa, plan o política-, que permita alcanzar un juicio valorativo, basado en evidencias, respecto a su diseño, puesta en práctica, resultados e impactos.

De forma similar, la Organización para la Cooperación y el Desarrollo Económico (OECD por sus siglas en inglés), en su glosario de los principales términos sobre evaluación y gestión basada en resultados (OECD, 2002), define evaluación como:

Apreciación sistemática y objetiva de un proyecto, programa o política en curso o concluido, de su diseño, su puesta en práctica y sus resultados. El objetivo es determinar la pertinencia y el logro de los objetivos, así como la eficiencia, la eficacia, el impacto y la sostenibilidad para el desarrollo.

Una evaluación deberá proporcionar información creíble y útil, que permita incorporar las enseñanzas aprendidas en el proceso de toma de decisiones de beneficiarios y donantes.

La evaluación también se refiere al proceso de determinar el valor o la significación de una actividad, política o programa. Se trata de una apreciación, tan sistemática y objetiva como sea posible, de una intervención para el desarrollo planeada, en curso o concluida.

También la Comisión Europea ha definido la evaluación como la valoración de las intervenciones de los organismos públicos según sus productos y sus impactos, en relación con las necesidades que pretenden satisfacer y orientada a proporcionar información rigurosa, basada en pruebas, para la toma de decisiones.

Todas las definiciones tienen en común la consideración de que la evaluación es una actividad orientada a la mejora de intervenciones públicas y basada en métodos científicos empleados para poder emitir un juicio valorativo.

Esta caracterización distingue a la evaluación de la auditoría (que tiene una función de control normativo de una intervención pública) y de la investigación (que se centra en el conocimiento de una intervención sin pretender emitir juicios). También la aleja de la mera expresión de una opinión; los juicios que se emiten deben estar fundamentados en datos y en la aplicación de una metodología rigurosa asentada en la ciencia.

El desarrollo teórico y empírico de la evaluación ha permitido cimentar los criterios sobre los que se debe basar el juicio valorativo. De esta forma, el margen para la interpretación subjetiva se reduce de forma significativa. Igualmente, la metodología empleada para evaluar persigue incrementar la transparencia del proceso e identificar claramente cada uno de los eslabones que conducen a la emisión del juicio valorativo.

La evaluación tiene una motivación principal: la mejora de la intervención pública, la propiamente evaluada y en general. El juicio valorativo que se emite, por tanto, debe necesariamente hacer referencia a elementos destacados de la actuación señalando cómo y por qué se han producido, con un enfoque prospectivo que permita su mejora o la de otras actuaciones.

En este marco, existe un consenso general sobre los propósitos principales de la evaluación: retroalimentación o mejora de actuaciones; rendición de cuentas; y generación de conocimiento. Estos tres ejes se pueden desagregar si se desea, pero básicamente cubren el espectro de qué se persigue con la evaluación. Así, el primer eje bascula hacia una implementación más efectiva de las actuaciones y hacia la mejora de la planificación y la eficiencia de las mismas, buscando una justificación objetiva de las actuaciones y generando alternativas comparables a las mismas.

La rendición de cuentas se centra en el uso correcto en términos de eficacia y eficiencia de los recursos invertidos; nótese que el término «correcto» implica un juicio, una comparación respecto a un valor de referencia. La cuestión no es sólo determinar si se ha alcanzado un nivel socialmente óptimo en el uso de unos recursos, sino más bien cómo y por qué.

La generación de conocimiento sobre qué es lo que funciona, por qué lo hace y en qué condiciones (según beneficiarios y teniendo en cuenta el contexto) permite avanzar y mejorar las intervenciones futuras. Además, contribuye a crear una cultura de evaluación y planificación (puesto que son las dos caras de la moneda) y fortalece las capacidades institucionales de las organizaciones.

2.2 // TIPOS DE EVALUACIÓN

Una evaluación puede centrarse en cualquier ámbito de actuación pública, así como sobre cualquier temática que se pueda plantear. Además, la evaluación puede atender y centrarse en el conjunto de las fases del ciclo de las políticas públicas, o bien, puede elaborarse parcialmente sobre alguna de ellas; territorialmente, puede atender la totalidad de un territorio, o bien dirigirse a proyectos localizados en un espacio muy concreto. La expresión «ciclo» es plenamente intencionada porque se pretende resaltar que las actuaciones no tienen lugar de una forma aislada, sino que se enmarcan en un flujo continuo.

La tarea de evaluar forma parte del ciclo de una actuación, pero a diferencia de las distintas partes del mismo que tienen una secuencia temporal claramente definida, la evaluación se puede ubicar en varios momentos. En su versión más simplificada, el ciclo se inicia con la identificación de una problemática o de necesidades sin cubrir que afecta a un colectivo determinado en un espacio geográfico definido. Del estudio de la realidad social que se pretende cambiar surge el diseño y formulación de una actuación. Ya sea en ese momento o de forma inmediatamente posterior, el proyecto de actuación deberá amoldarse a las capacidades financieras y técnicas disponibles en ese momento, así como a la voluntad de los decisores políticos de continuar con el mismo. Con los ajustes pertinentes, se inicia la fase de ejecución de la actuación. Estas fases constituyen la fase operativa del ciclo de la actuación, donde el objetivo es resolver un problema detectado.

Resulta evidente que existe una línea temporal sobre la que se proyecta la evaluación (véase la Tabla 1), indicando en qué fase se incide más en cada tipo de evaluación. Así, en los momentos iniciales se puede distinguir entre evaluación de necesidades y de diseño, la primera se centra en la fase de identificación y la segunda en la de formulación. Mientras la intervención se está ejecutando se puede hacer una evaluación de proceso (orientada al funcionamiento interno de la misma) o de progreso (focalizada en los resultados directos que se obtienen de las actividades realizadas). Una vez que la intervención ha concluido (o, si se trata de una actuación de naturaleza continua, cuando se ha fijado el periodo de análisis), es posible añadir al proceso de estudio la evaluación de resultados o de impacto, según se centre en el medio o largo plazo y cuál sea la fecha de conclusión y de evaluación. La propia dinámica de la evaluación indica que las primeras identificadas tienen un carácter formativo, es decir, su colectivo de interés son los planificadores y gestores, puesto que son los que mejor uso podrán hacer de las mismas. Conforme se avanza, el número de agentes interesados aumenta y la evaluación se vuelve sumativa, puesto que gira hacia la necesidad de generar conocimiento que permita conocer qué y por qué se han obtenido ciertos resultados y que contribuya (sume) a mejorar futuras intervenciones.

TABLA 1. PRINCIPAL ÉNFASIS DE UNA EVALUACIÓN SEGÚN EL MOMENTO TEMPORAL

Nota: La Tabla ilustra donde resulta más efectiva cada tipo de evaluación puesto que las cuatro fases básicas de una intervención se pueden analizar en cualquier momento temporal.

Fuente: Elaboración propia.

Puesto que toda intervención pretende cambiar una realidad que se considera mejorable, la evaluación más relevante es, precisamente, la que intenta verificar si se ha conseguido ese cambio y, sobre todo, cómo y por qué. Es por ello que normalmente se asocia la evaluación con la fase final del ciclo de una intervención, siendo la evaluación ex post de impacto el elemento de cierre del ciclo. Sin embargo, la práctica ha demostrado que, para poder incrementar las garantías de éxito de una intervención, es preciso realizar evaluación en otros momentos y centrándose en otros aspectos previos al impacto final.

2.3 // PRINCIPIOS DE LA EVALUACIÓN

La evaluación es una actividad reglada. Es decir, sigue unos protocolos muy definidos, tanto en su implementación como en términos de quién la aplica. Estos protocolos se asientan en una serie de principios generales, que definen el marco en el que se debe desarrollar una evaluación. En el contexto de la evaluación en la Región de Murcia se han seleccionado una serie de principios que guían el desarrollo del resto de secciones.

La labor del evaluador es apoyar a la actuación. En función del momento en que se evalúe, ese apoyo adoptará una forma u otra. Este principio determina cómo debe ser la interacción entre el evaluador y el resto de partes interesadas, especialmente, los gestores de la actuación.

El objetivo de la evaluación es mejorar las intervenciones. No se evalúa porque sí ni con ánimo de generar una investigación académica. Esta idea implica incluir en el esquema el uso potencial de las recomendaciones derivadas del análisis de evaluabilidad de una actuación, es decir, del estudio de las posibilidades prácticas de realizar una evaluación provechosa.

La evaluación debe estar orientada al uso. Un corolario de los dos principios anteriores es que los términos de referencia que definen una evaluación deben estar ajustados para conseguir que el impacto real de la misma se maximice. Es decir, resulta más conveniente poner en marcha un proceso evaluativo relativamente restringido (ya sea, por ejemplo, por la relevancia de la actuación, por el ámbito geográfico o por el número de beneficiarios) pero con elevadas posibilidades de que sus recomendaciones sean aplicadas, que una evaluación de amplio espectro, pero con pocas o nulas repercusiones prácticas.

El pragmatismo y el carácter incremental son principios transversales en el diseño tanto de evaluaciones específicas como de todo el sistema de evaluación. Puesto que el ámbito de la evaluación es la administración regional, muchas de las intervenciones potencialmente analizables tendrán carácter continuo. En estas situaciones cabe esperar que las propuestas de la evaluación tengan carácter incremental. Si bien el impacto a corto plazo de las mejoras sugeridas puede ser pequeño, el carácter recurrente de las intervenciones garantiza un efecto a largo plazo significativo; esto sin contar los beneficios que se generan en términos de refuerzo institucional vía cultura de evaluación.

La evaluación es una actividad planificada. Sin perjuicio de que existan circunstancias no previstas, la mejor manera de maximizar la eficacia de la actividad evaluadora es una correcta planificación. Esto implica gestionar dentro de la unidad especializada en la evaluación un catálogo de recursos y un cronograma para su aplicación, así como ser transparente en sus decisiones respecto a qué planes, programas o proyectos evaluar.

La planificación de la evaluación debe estar alineada con la programación de los planes, programas o proyectos. El orden de prioridad viene determinado por el ciclo de las intervenciones, ya sea a nivel de estrategias o de proyectos. Esto implica que debe existir una coordinación entre ambos elementos, pero la flexibilidad y el esfuerzo mayor deben provenir del ciclo de evaluación. Insertar la evaluación en la planificación genera beneficios tangibles para ambas, pero este proceso, en virtud de los principios anteriores, debe venir liderado por los gestores.

03 ELEMENTOS DE LA EVALUACIÓN

En esta sección se describen los principales elementos de una evaluación. El Esquema 1 sintetiza sus elementos.

Esta Guía, como señalábamos en la introducción, se centra en los componentes de las fases primera y tercera, puesto que los elementos de la segunda (recogida de datos, análisis, interpretación y valoración) son muy específicos de la actuación que se vaya a evaluar.

ESQUEMA 1:

ELEMENTOS EN UNA EVALUACIÓN:

• 1. Elaboración del Plan de trabajo.

  Análisis de la lógica de la actuación. Definición de los grupos de interés. Para cada componente de la actuación:

  Concreción operativa de las preguntas y fuente de información.

  Metodología a emplear para obtener la respuesta a cada pregunta (cómo obtener datos y cómo tratarlos)

  Taller con partes interesadas. Elaboración de la matriz de evaluación.

  Informe inicial del plan de trabajo (elaboración y presentación).

• 2. Recogida de datos, análisis, interpretación y valoración.

  Recopilación de datos, encuestas, entrevistas, trabajo de campo, etc. Tratamiento de los datos (para cada pregunta).

  Análisis de la información. Borrador de informe.

  Presentación a las partes interesadas. Informe final (elaboración).

• 3. Comunicación y divulgación.

  Elaboración de materiales para cada canal.

  Presentación del Informe de evaluación a las partes interesadas.

  

3.1 // ANÁLISIS DEL DISEÑO Y DE LOS RESULTADOS OBTENIDOS

El funcionamiento de una evaluación, independientemente de su metodología y sus características, se basa en responder a una serie de preguntas enlazadas que permitan recabar información para responder a las preguntas finales sobre el objetivo del Plan, Programa o Proyecto. Por tanto, hay una secuencia que, necesariamente, debe seguir la lógica de la actuación. Por ello, la primera fase en un proceso de evaluación (o en su caso, de análisis de evaluabilidad) es caracterizarla; es decir, reconstruir el proceso de relaciones causa-efecto que determinaron la puesta en marcha de la actuación.

Muchas actuaciones públicas, especialmente cuando se trata de prestación de servicios, son de carácter continuo y tienen un fuerte componente inercial. El propio paso del tiempo, al cambiar las circunstancias sociales, hace que la actuación también se altere, de forma que, incluso aunque la lógica de la misma hubiese estado perfectamente definida en origen, en el momento presente puede estar difuminada. En ocasiones, puede transcurrir un tiempo considerable entre el momento en que se diseñó y el momento en la que se inicia, en estos casos también se producirá una falta de alineación entre la lógica inicial de la misma y la que realmente se está aplicando.

El Esquema 2 ilustra las fases básicas en una actuación administrativa. Partiendo de un estudio de la realidad (personas, territorio, sector, etc.), se observa un problema y se determina la estrategia que persigue su solución. Fijado el objetivo de la actuación, se emplean unos recursos (humanos, técnicos, presupuestarios, etc.) que se materializan en una serie de actividades. Éstas generan unos productos, si se alcanzan los objetivos previstos para los mismos y no concurren elementos externos adversos, se lograrán unos logros a medio (resultados) y largo plazo (efectos) que permitirán mitigar la problemática inicial. Este marco conceptual constituye el esqueleto básico sobre el que se asienta el proceso de evaluación.

ESQUEMA 2:

DE LA DETECCIÓN DE NECESIDADES A LOS EFECTOS FINALES DE UNA ACTUACIÓN

Veámoslo con un ejemplo.

Desde la Teoría del cambio en las organizaciones, el planteamiento puede ser:

Un componente fundamental es el proceso de determinación del problema que se pretende resolver y su reverso, de las soluciones que se pretenden aplicar. Toda actuación debe tener un único objetivo específico, definido en términos del problema fundamental que se trata de resolver (véase el Esquema 3). Este problema central, por un lado, vendrá explicado por una serie de circunstancias, que pueden tener determinantes previos. Por otro, el problema principal contribuye a explicar una o varias necesidades detectadas. Se crea así un árbol de problemas, donde existe una relación causa-efecto entre sus componentes. Las actividades que se desarrollan pretenden solucionar los determinantes del problema central, es decir, actúan en sus raíces, en las causas primarias. Se genera así un árbol de objetivos, donde en forma de cascada se resuelven las carencias detectadas. El proceso de evaluación debe estar fundamentado en este esquema, puesto que será la base para determinar si la actuación ha tenido éxito y por qué.

El estudio de los resultados o efectos de una actuación, por tanto, no se puede centrar de forma exclusiva en los mismos, puesto que impediría analizar qué es lo que los ha determinado. En la medida en que la lógica de la actuación está bien definida, la capacidad de responder a las preguntas fundamentales que motivan la evaluación será mayor.

ESQUEMA 3.

ÁRBOL DE PROBLEMAS

3.2 // CRITERIOS DE EVALUACIÓN

La evaluación debe seguir unos criterios o principios de evaluación. Los criterios sirven para emitir los juicios de valor que deben dar respuesta a las preguntas de evaluación que el equipo evaluador prevé contestar en relación a los objetivos planteados en el diseño de la evaluación. Dependiendo del modelo de evaluación escogido, así como de la propia naturaleza de la actuación, se pueden establecer diferentes planteamientos para la selección de los principios de evaluación, así como si existe o no una orden de prioridad en los mismos. Los criterios definen el tipo de preguntas que se plantean para analizar la actuación.

Los seis criterios básicos que constituyen el núcleo de casi cualquier evaluación son: relevancia o pertinencia, coherencia (interna y externa); eficiencia; eficacia; utilidad; y sostenibilidad. Estos criterios se enmarcan en el diseño de las grandes fases de la actuación y establecen un vínculo entre sus distintos elementos (véase el Esquema 4).

ESQUEMA 4.

CRITERIOS Y DESARROLLO LÓGICO DE UNA ACTUACIÓN ADMINISTRATIVA.

En función del momento en que se produce la evaluación, estos conceptos tienen más o menos importancia, si bien se pueden analizar en todo momento. Así, en una evaluación ex-ante, las preguntas relacionadas con la relevancia y la coherencia son centrales. En una evaluación intermedia, los aspectos ligados a la coherencia y, sobre todo, eficacia y eficiencia, ligada a resultados y efectos, requieren la mayor atención. Finalmente, las evaluaciones ex-post son las únicas que pueden contestar, si los datos lo permiten, a la utilidad y sostenibilidad de la actuación (no obstante, en una evaluación ex-ante resulta conveniente analizar si los efectos finales previstos en una actuación son realmente factibles o no, en función del conocimiento existente).

Por tanto, los criterios de evaluación que analizaremos son:

1. RELEVANCIA/PERTINENCIA

El análisis de relevancia o de pertinencia se centra en la calidad y veracidad del diagnóstico para identificar el problema y la metodología utilizada en el planteamiento de la actuación. Se centra en el estudio de la calidad en la formulación de los objetivos del programa. Un componente fundamental en esta fase es el análisis de los árboles o flujos de problemas y sus correspondientes árboles de soluciones.

Es importante examinar si los objetivos se han redactado de una forma clara y concisa, y que se especifica en el producto que se pretende obtener, y si no hay objetivos, tenemos que tratar de reconstruir la lógica de la actuación. La consecución de objetivos responde a una planificación temporal preestablecida y por tanto deberán valorarse las adaptaciones que se hayan podido producir.

La definición de los problemas que originan una actuación se enmarca en un entorno cambiante, por ello, la calidad de análisis del diagnóstico se sustenta en el conocimiento de la realidad sobre la que se interviene y, por tanto, en los cambios que se hayan podido producir. Para evaluar el diagnóstico utilizado en la formulación de una actuación es necesario analizar cómo se definieron y priorizaron los problemas, sin dejar de tener en cuenta cómo influenció en esta definición el entorno. La evaluación del contexto conlleva analizar las condiciones externas de la actuación (elementos económicos, políticos, legales…) que hayan afectado directa o indirectamente a su formulación.

El análisis de relevancia puede verse dificultado por cuestiones metodológicas como la falta de datos estadísticos oficiales o la ausencia de información de cómo se detectaron o priorizaron las necesidades planteadas. En este último caso, el análisis puede complicarse debido a una falta de consenso sobre las necesidades y prioridades establecidas, una valoración incorrecta de éstas o carencias en la concreción de la actuación pública. Entre los métodos y herramientas que pueden ser utilizados para efectuar el análisis son el análisis de calidad del diagnóstico (DAFO).

El análisis de relevancia debe proporcionar respuesta a este tipo de cuestiones clave:

• - ¿Qué persiguen los objetivos del programa o intervención?
• - ¿Se identifica claramente el resultado que pretende alcanzar cada objetivo de la intervención?
• - ¿Son realistas los plazos para cumplir los objetivos?
• - ¿El objetivo de mejora era pertinente en el contexto donde se aplicó?
• - ¿En qué medida las intervenciones realizadas están alineadas con las necesidades y prioridades?
• - ¿Las acciones emprendidas otorgan prioridad según la importancia de las necesidades detectadas?

Preguntas de evaluación: Pertinencia / Relevancia.

• - - ¿Hasta qué punto se corresponde la intervención con las necesidades y prioridades de la población beneficiaria?
• - - ¿Se han mantenido constantes las necesidades y prioridades? ¿Se ha adaptado la intervención para adecuarla a los cambios?
• - - ¿Son los resultados previstos consistentes con la intensidad de la intervención?
• - - ¿Tiene la intervención capacidad para corregir los problemas seleccionados?

2. COHERENCIA INTERNA

La coherencia interna es de uso frecuente en las políticas de evaluación de la Unión Europea, se trata del análisis de la jerarquía de objetivos. La jerarquía de objetivos forma parte de la creación de la estrategia de actuación y se realiza en función de las necesidades detectadas. El análisis de coherencia analiza la lógica de la programación, ahondando en si existe una priorización coherente de los objetivos y su relación con las actividades, y la consecución de resultados.

El análisis de coherencia interna puede verse dificultado por cuestiones metodológicas como la falta de concreción de los objetivos o de las actividades planteadas en la política pública. Los métodos y herramientas que pueden ser utilizados para efectuar el análisis son el árbol de objetivos y la matriz de valoración de las relaciones entre necesidades planteadas y objetivos.

El análisis de coherencia interna debe proporcionar res- puesta a este tipo de cuestiones clave:

• - ¿Se puede decir que las actividades y los resultados permiten alcanzar los objetivos de manera lógica?
• - ¿Existen contradicciones entre los diferentes niveles de objetivos?
• - ¿Existen duplicidades entre las actividades programadas en relación a la consecución de los objetivos de la intervención pública?

Preguntas de evaluación: Coherencia interna.

• - - ¿Hasta qué punto los distintos componentes de la intervención son complementarios o contradictorios?
• - - ¿Existe una lógica de la intervención, explícita o implícita, coherente?

3. COHERENCIA EXTERNA

La coherencia externa permite valorar el grado de correspondencia que existe entre un programa y otras actuaciones que se estén ejecutando en un mismo espacio temporal y territorial, siendo importante esto en contexto de gobierno multinivel. Este tipo de análisis requiere estudiar los objetivos y la actuación de forma comparada con todos los programas que convergen en un territorio. Se trata de contrastar el grado de complementariedad y las posibles sinergias existentes entre la actuación objeto de la evaluación y otras.

El análisis de coherencia externa puede verse dificultado por la imprecisión en la definición de las necesidades detectadas o en el establecimiento de objetivos, de la actuación objeto de evaluación o de las políticas que pueden presentar algún grado de complementariedad. Los métodos y herramientas que pueden ser utilizados para efectuar el análisis son la comparación entre árboles de problemas y objetivos de las distintas actuaciones que presenten complementariedad y usando una matriz de valoración de la compatibilidad entre ellas.

El análisis de coherencia externa debe proporcionar respuesta a cuestiones clave como:

• - ¿Cuál es el grado de superposición entre la intervención estudiada y otras aplicadas en el mismo territorio o ámbito?
• - ¿En qué medida los objetivos planteados en la intervención coinciden con los expresados en otras que se están ejecutando en el territorio o ámbito de implementación?

Preguntas de evaluación: Coherencia externa.

• - - ¿En qué medida la intervención está alineada con la de otras administraciones?
• - - ¿Se generan sinergias entre la intervención y otras actuaciones?

4. EFICIENCIA

El análisis de eficiencia mide hasta qué punto los resultados obtenidos se derivan de una utilización eficiente de los recursos financieros, humanos y materiales canalizados a través de la actuación. La principal dificultad para medir la eficiencia de una política está en establecer un valor de referencia sobre la asignación de recursos. Pocas veces el valor de referencia está establecido, por lo que el equipo evaluador deberá establecer este valor sobre el que se realizan las mediciones. En este contexto, una cuestión relevante es el concepto de coste de oportunidad. Es decir, en una situación de recursos limitados (no solo presupuestarios, sino también humanos y de gestión del tiempo), invertir en una actividad supone que esos medios no se emplean en otra alternativa. Valorar la eficiencia implica, por tanto, ser conscientes de qué otras opciones han debido ser descartadas para poder acometer la actuación estudiada.

Los exámenes previos en relación a la eficiencia se establecerán durante el proceso de planificación de una política, cuando se decidan los presupuestos y los recursos. El principal obstáculo para un análisis de eficiencia es, desde un punto de vista metodológico, la carencia o mala definición de los valores de referencia. Los métodos y herramientas que pueden ser utilizados para efectuar el análisis son la medición directa con registro de datos cuantificables por medio de instrumentos analíticos. Necesariamente, el uso de datos de tipo económico constituye un requisito para este tipo de análisis.

El análisis de eficiencia debe proporcionar respuesta a este tipo de cuestiones clave:

• - ¿Se aplicaron procedimientos racionales de gestión financiera y de equipo?
• - ¿Se han respetado los presupuestos iniciales?
• - ¿Se han utilizado los recursos de la manera más económica posible?
• - ¿Han contribuido los mecanismos de gestión, incluyendo la colaboración con otras administraciones u unidades, a un uso eficiente de los recursos?

Preguntas de evaluación: Eficiencia.

• - - ¿En qué medida están justificados los costes de la intervención teniendo en cuenta los cambios o efectos que ha conseguido?
• - - ¿Existen factores en la intervención que han influido en la eficiencia con la que se han conseguido los logros atribuibles a la intervención?

5. EFICACIA

El análisis de eficacia tiene por objeto determinar el grado en que una operación alcanza o se espera que alcance sus objetivos, en un período determinado y con independencia de los costes que su implementación implique. Este análisis se realiza bajo una múltiple perspectiva de realización financiera, física, resultados e impactos. Se parte de la premisa de que el objetivo del programa ha sido definido de manera inequívoca y con carácter operacional. Sin embargo, debe atenderse que en muchas ocasiones los objetivos pueden haber estado formulados de forma confusa y muy general. En estos casos debe ponerse de manifiesto esta debilidad y el equipo de evaluación deberá hacer operativos los objetivos sobre la información existente. En este análisis se deberá tener en cuenta que el programa o la política es sólo uno de los varios factores que contribuyen al logro de los objetivos establecidos. El equipo de evaluación deberá prestar atención también a aquellas causas que están relacionadas con la eficacia o ausencia de eficacia del programa.

El análisis de eficacia puede verse dificultado por cuestiones metodológicas como que los resultados planificados son poco claros, múltiples o confusos, o que son objeto de cambio, o bien la mala definición de los indicadores de los resultados planificados. También por la falta de información de referencia sobre las instituciones, personas o infraestructuras afectadas o el escaso conocimiento de los vínculos entre causa y efecto. Los métodos y herramientas que pueden ser utilizados para efectuar el análisis son diversos y cubren casi todo el espectro posible, en función de la naturaleza de la actuación y de en qué momento se estudia.

El análisis de eficacia debe proporcionar respuesta a este tipo de cuestiones clave:

• - ¿Cuáles son los efectos de la actuación?
• - ¿En qué medida los efectos observados se deben a la actuación?
• - ¿En qué medida se han cumplido los objetivos?
• - ¿Qué acciones concretas de la intervención han favorecido el cumplimiento de los objetivos esperados?
• - ¿Han existido factores externos a la evaluación que hayan influido en la resolución de los problemas detectados?
• - ¿Se han producido efectos no previstos?

6. UTILIDAD Y SOSTENIBILIDAD

El análisis de utilidad e impacto se centra en estudiar en qué medida la actuación ha contribuido a resolver los problemas o necesidades que la motivaron. En este esquema resulta primordial determinar el punto de referencia para poder determinar el grado de utilidad. Tradicionalmente se ha recurrido a comparar ya sea con la línea base o situación de partida o con los resultados que inicialmente se habían previsto. Aunque se pueden emplear como punto de partida, actualmente se prioriza más analizar en términos de contra-factual, es decir, ¿qué habría ocurrido en ausencia de la actuación? Este tipo de análisis permite afinar mejor hasta qué punto, realmente, una actuación ha sido útil.

No existe método ideal a priori para este tipo de análisis. En particular, la complejidad de calcular un contra-factual puede hacer que la precisión en la respuesta no sea alta. En cualquier caso, sí que resulta vital en el proceso de realizar el encargo de evaluación definir adecuadamente cómo abordar las preguntas relacionadas con el criterio de utilidad.

El análisis de utilidad e impacto se centra en responder a preguntas que basculan en torno a la cuestión central de:

• - ¿Hasta qué punto han sido satisfactorios los resultados de la intervención desde el punto de vista de los beneficiarios de la misma?

El análisis de sostenibilidad debe proporcionar respuesta a este tipo de cuestiones clave:

• - ¿Es probable que los logros del programa se mantengan una vez finalizada la intervención?
• - ¿Se han producido cambios en el comportamiento de los beneficiarios que posibiliten la sostenibilidad de los resultados?

El análisis de la sostenibilidad o viabilidad de un programa permite evaluar en qué medida los resultados del programa han sido o tienen probabilidades de ser duraderos una vez finalizado el programa y una vez retirados los recursos externos.

Evidentemente, en el caso de actuaciones de naturaleza continua la formulación de este criterio no se debe entender como si se fuera a terminar con una actuación social o política determinada. Tanto en el caso de intervenciones puntuales como en las de naturaleza continua, los beneficiarios son el punto de referencia. En este sentido también procede el estudio de la disponibilidad de los recursos administrativos, financieros y humanos que harían falta para mantener los resultados del programa en el largo plazo.

Nótese que la segunda pregunta clave indaga sobre cuestiones relacionadas con la conducta de los individuos. Es por ello razonable que si se encarga a los evaluadores en su estudio se tengan en cuenta los métodos precisos para recopilar información sobre los cambios en el comportamiento de los beneficiarios. Así pues, los métodos y herramientas que pueden ser utilizados para efectuar el análisis son herramientas cualitativas y participativas: mesas redondas, talleres, foros de discusión, etc.

7. OTROS CRITERIOS

Los criterios anteriores se pueden complementar con otros en función de la intervención que se estudie. Es posible enmarcar algunos de estos nuevos criterios dentro de los anteriores, pero no resultaría operativo puesto que implicaría expandir de forma poco operativa el rango analítico de los mismos. Es más, varios de estos criterios adicionales tienen un carácter transversal en el marco de la evaluación, es decir, permean varios o todos los criterios previos por lo que se deberían analizar para cada una de las relaciones causa-efecto expuestas en el Esquema 3. Por ello, es más conveniente analizarlos de forma independiente.

En el sistema de evaluación regional de la Región de Murcia resulta necesario incluir como elemento el grado de participación ciudadana en el diseño e implementación de la intervención, así como en el proceso de retroalimentación entre ciudadanos y gestores. Sin perjuicio de su valor en sí mismo, esta inclusión es un requisito establecido en el art. 30.3 de la Ley 2/2014, que textualmente señala que «El sistema de evaluación tendrá en cuenta, además de los extremos mencionados en el apartado 1, el grado de participación ciudadana en las políticas públicas.».

Naturalmente, la propia naturaleza de la intervención condiciona el grado de participación de la ciudadanía, así como en qué fase de la misma esta puede producirse.

Las preguntas ligadas al análisis del grado de participación ciudadana son:

• - ¿Cuál ha sido el grado de participación ciudadana en la intervención?
• - ¿Cómo se han tenido en cuenta las aportaciones de la ciudadanía?

El análisis de equidad se centra en responder a preguntas del tipo:

• - ¿Cuál ha sido el grado de participación ciudadana en la intervención?
• - ¿Cómo se han tenido en cuenta las aportaciones de la ciudadanía?
• - ¿Cómo se ha aplicado el principio de equidad en las distintas fases de la intervención?
• - ¿Ha contribuido la intervención a incrementar la igualdad?

El criterio de cohesión social genera cuestiones clave como:

• - ¿Ha modificado la intervención la percepción social que se tiene del colectivo beneficiario?
• - ¿Ha permitido la intervención mejorar la inserción social de sus beneficiarios?

La parte más significativa de las actuaciones del gobierno regional se enmarca en el campo de las políticas sociales. Consiguientemente, la equidad y la cohesión social son criterios relevantes en este contexto; nótese que no son exactamente iguales, si bien están muy interrelacionados. La equidad se preocupa por el grado de igualdad (o su reverso, la desigualdad) existente. Nótese que este criterio puede implicar que un requisito de la actuación es tratar de forma diferente a sus potenciales beneficiarios para compensar situaciones desiguales, especialmente si la desigualdad tiene su origen en la discriminación por cuestiones de género o social.

La cohesión social hace referencia al grado de adhesión entre los colectivos existentes en el cuerpo social; evidentemente la desigualdad es una variable muy relevante para entender el grado de cohesión social, pero ésta depende también de otros factores. Este criterio implica ampliar el foco de atención de los beneficiarios directos de una actuación hacia otros colectivos con los que los primeros pueden interactuar.

La coherencia y la coordinación son criterios semejantes pero que se aplican a actuaciones de distinto nivel. La coherencia se centra en políticas o programas de gran calado, interesándose en la interrelación entre distintas políticas a nivel general. La coordinación se aplica a nivel operativo, entre proyectos o programas de ámbito reducido pero que en alguna medida pueden estar operando conjuntamente con otros puestos en marcha por administraciones. Tanto en un caso como en otro la clave radica en localizar los elementos que se complementan o que son contradictorios. Un subconcepto relacionado con los anteriores es el de adicionalidad, que hace referencia a que la actuación evaluada consigue sus efectos sin generar impactos negativos en otras actuaciones, es decir, hasta qué punto añade recursos/efectos a la situación existente en vez de reemplazarlos, de forma que el impacto agregado es mayor que el que hubiera habido sino se hubiera realizado la intervención. Nótese que estos tres principios tienen en común que se debe conectar la intervención objeto principal de la evaluación con otras actuaciones que se estén produciendo en la población u área objetivo de la primera.

El criterio de desplazamiento hace referencia a la comparación entre los beneficiarios de una actuación y otros colectivos no incluidos. A diferencia de los anteriores, que implican tener en cuenta otras actuaciones, aquí el énfasis se ubica en efectos negativos que se generan de forma no intencionada en colectivos no incluidos entre los beneficiarios de la actuación. Es decir, la cuestión es si los beneficios que se observan en el colectivo de interés de la actuación se han logrado a costa de terceros.

3.3 // PREGUNTAS DE EVALUACIÓN

Una vez definidos los criterios que guían la evaluación se trata de hacerlos operativos en el contexto correspondiente, para ello se deben definir una serie de preguntas que constituirán la base primordial de la evaluación. Independientemente del criterio en el que se encuadren, las preguntas deben cumplir una serie de requisitos básicos:

• - Están ligadas a una necesidad real de información para iden- tificar un elemento que permita mejorar la actuación. No se busca conocimiento per se, sino conocimiento útil para el objeto de la evaluación.
• - Hacen referencia a problemas o necesidades. Es decir, normal- mente, el enfoque es preguntas ligadas a los beneficiarios de la actuación o de su contexto socio económico. Las preguntas relacionadas con el funcionamiento operativo de la actuación son relevantes sólo en el contexto muy acotado de evaluaciones de proceso o de seguimiento.
• - Están ligadas a un único criterio. Es decir, deben estar indi- vidualizadas, de manera que una pregunta esté asociada exclusivamente a un componente identificado en la lógica de la actuación. Además, no se puede mezclar una pregunta con los indicadores usados para medir un resultado.
• - Los conceptos a los que se hace referencia en las preguntas deben ser estables, es decir, ni variar en el tiempo ni estar sujetos a su posible manipulación por terceros.

Adicionalmente, las preguntas deber ser claras y no ambiguas (por ejemplo, con dos componentes en la misma pregunta). Los requerimientos informativos para su respuesta deben ser factibles: los datos bien existen cuando se va a iniciar la evaluación o bien es posible generarlos durante la misma; es decir, en el marco temporal y presupuestario previsto para la evaluación.

El enfoque de las preguntas debe ser valorativo (por ejemplo, «¿está justificado el coste por beneficiario de los servicios prestados?») y no indagatorio («¿cuál ha sido el coste por beneficiario?»). Esta diferencia ilustra que el objetivo real de la evaluación es valorativo, pero que antes de llegar a ese nivel será necesario tener información sobre hechos concretos. Así, en el ejemplo usado, para poder contestar a la pregunta primera es necesario conocer la segunda, pero esta última no es en sí misma una pregunta relevante en el contexto de la evaluación, puesto que su respuesta no permite clarificar si los servicios que se han prestado estaban o no justificados (y por qué).

El ejemplo anterior facilita ordenar las preguntas en dos grandes categorías:

• 1. Positivas, que buscan conocer la realidad y que se pueden, a su vez clasificar en dos:
  • a. Descriptivas, orientadas a conocer qué sucedió.
  • b. Causales, que buscan conocer la relación de causalidad entre los cambios observados y la actuación
• 2. Valorativas, centradas en la valoración y posibilidades ligadas a una actuación, y agrupadas en tres categorías:
  • a. Normativas, relacionadas con los criterios de evaluación y centradas en determinar en qué medida los resultados son acordes con los objetivos.
  • b. Predictivas, orientadas a anticipar posibles efectos no directamente ligados a una actuación. Este tipo de preguntas busca anticipar posibles efectos inesperados y reducir en particular los negativos.
  • c. Propositivas, que se orientan a valorar la posibilidad de cambios en el diseño de las actuaciones para mejorar su impacto.

El listado de preguntas no puede ser excesivamente largo ni se debe considerar completamente cerrado, puesto que de la interacción con el equipo evaluador puede resultar necesario realizar cambios sobre las mismas.

Las preguntas de evaluación deben:

• - Perseguir generar información que permita mejorar la intervención.
• - Estar enfocadas a los problemas o necesidades que motivaron la intervención.
• - Estar individualizadas y ser claras.
• - Emplear conceptos estables y no manipulables.

3.4 // CONSULTA CON LOS ACTORES RELEVANTES

Las actividades objeto de evaluación pueden ser muy diversas, también los propósitos y los actores implicados, incluso con intereses contrapuestos, así los intereses del directivo político con autoridad para tomar decisiones clave difieren de los de un gestor responsable de la actividad. Esto implica que los actores son un elemento importante en el diseño de la evaluación.

En primer lugar, hay que identificar quién ha iniciado la idea de emprender una evaluación, es decir ¿Quién es el promotor?, también es importante conocer a quién va dirigida o qué otros actores tienen interés en la evaluación.

Existe un consenso amplio en las guías sobre evaluación sobre los actores que se deben considerar. Sin ánimo de ser exhaustivos y siguiendo a Ivàlua (2009), se pueden definir los siguientes:

• - Los decisores de alto nivel, la dirección política o técnica de los organismos públicos y legisladores, con los objetivos fundamentales de preparar la toma de nuevas decisiones, ya sea para ejecutar nuevas actuaciones o para modificar políticas existentes; favorecer un uso eficiente de los recursos presupuestarios; promover el aprendizaje de la organización e incrementar la transparencia en el proceso de elaboración e implementación de políticas.
• - Los gestores de programas, responsables del programa en su forma actual y en la gestión cotidiana y que deben tomar decisiones dentro de los parámetros del diseño vigente, destinadas a mejorar el funcionamiento del programa. La evaluación tiene como objetivo fundamental facilitar la toma de decisiones correctivas y contribuir a la selección de la mejor versión de un programa.
• - Los organismos financiadores y supervisores, que quedan fuera de la operación directa del programa y, por tanto, tienen un interés genérico por saber cómo funcionan las cosas sobre el terreno, con el objetivo de conocer, con especial interés en la rendición de cuentas, los resultados conseguidos con los recursos apartados.
• - Las unidades de evaluación y análisis, cuyo interés es realizar o impulsar análisis y evaluaciones. Entre sus objetivos, además de contribuir a la mejora de las actuaciones analizadas, destaca la generación de conocimiento relevante sobre políticas y programas para la toma de decisiones y la contribución al aprendizaje de la organización.
• - Los beneficiarios directos, usuarios, interesados, etc., que tienen interés en disponer de un acceso ágil a servicios públicos de calidad y adecuados a sus necesidades y, en los casos en que existe la posibilidad de elegir, en conocer la efectividad de programas y de proveedores concretos. De esta forma, en la medida de lo posible, se facilita la comparación entre prestadores de servicios y, consiguientemente, la mejora en el proceso de elección de los mismos. Se promueve así el ejercicio de derechos de acceso y prestación adecuada de los servicios públicos.
• - Los grupos de representación de colectivos o intereses específicos, puesto que su razón de ser es la defensa de los derechos y los intereses específicos de los distintos colectivos a los que se dirigen las actuaciones públicas, ver si son tenidos en cuenta, si obtienen los efectos esperados y con qué grado de eficiencia lo logran. Se puede lograr así que aumente su conocimiento del modus operandi, los efectos y la eficiencia de las actuaciones públicas y se promueve su participación en la toma de decisiones.
• - Actores de la sociedad civil: la evaluación puede favorecer en la transparencia de gestión del gobierno y favorecer la participación de la ciudadanía en los aspectos públicos.

Un elemento importante es gestionar las expectativas de los distintos actores beneficiarios de una evaluación respecto a los futuros resultados de la misma, conocer cuáles son sus necesidades, así como considerar la didáctica a emplear para transmitir la información generada por la evaluación. Por tanto, deberá optimizarse la utilidad de la evaluación para los diferentes destinatarios, asegurándose que se da respuesta a sus expectativas en un formato adaptado a sus necesidades y de manera oportuna.

En esta fase se deberá:

• - Delimitar formalmente quiénes son los destinatarios de la evaluación.
• - Establecer en qué forma es más adecuada presentar la información obtenida.
• - Plantear como se va a hacer entrega de la información obtenida.

3.5 // EQUIPO DE EVALUACIÓN

La calidad de la evaluación dependerá de la capacitación del equipo encargado de realizarla. En este sentido, cada estudio tiene sus características propias y, en particular, sus restricciones. A grandes rasgos, existen tres formas de realizar una evaluación: interna, externa, y mixta. En este contexto, la evaluación interna se debe entender como realizada por una unidad administrativa especializada; es decir, solo en casos muy concretos (por ejemplo, en una evaluación de seguimiento no planificada) se puede considerar que sea la unidad ejecutora de la actuación la que haga la evaluación, aunque con asesoría de fuera de la unidad. La evaluación externa implica encargar la misma a personal fuera de la administración.

La experiencia sobre la evaluación de políticas públicas no es concluyente respecto a cuál de las dos alternativas es preferible. Las características y el contexto de cada evaluación determinan las ventajas y los inconvenientes de cada opción, por lo que es necesario ponderarlas en cada caso particular y decidir cuál es la mejor solución. Para ayudar a tomar dicha decisión, la Tabla 2 expone las posibles ventajas e inconvenientes de cada una de las dos opciones, según distintos criterios de valoración.

TABLA 2. VENTAJAS E INCONVENIENTES DE LA EVALUACIÓN INTERNA Y EXTERNA

Otro elemento fundamental son los principios éticos de los evaluadores

(AEVAL, 2015):

• - Principio de transparencia a la hora de diseñar e implementar la evaluación. Los evaluadores se comprometen a identificar y revelar los posibles conflictos de interés, y a comunicar los cambios en las condiciones inicialmente previstas o la modificación de alguna de las circunstancias en que se produjo el encargo.
• - Principio de pluralidad, garantizando la consulta a los actores implica- dos y su participación en todas las fases del proceso.
• - Principio de imparcialidad, tanto en lo referente a los evaluadores como a los actores, para evitar sesgos.
• - Principios de independencia e integridad, para evitar la imposición de un enfoque de evaluación orientado a obtener unos resultados predeterminados.
• - Principio de responsabilidad, tanto en el uso de la información obtenida como en el respeto de la integridad del informe cuando éste se publique, por parte de todas las partes interesadas.
• - Principio de eficiencia a la hora de elaborar las evaluaciones, produciendo información de valor suficiente para justificar los recursos empleados.

3.6 // PLAN DE COMUNICACIÓN

La generación de conocimiento y la rendición de cuentas ante la sociedad constituyen los fundamentos básicos que justifican la elaboración de un plan de comunicación. Un plan de comunicación debe estar alineado con el objetivo de una evaluación: la mejora de la actuación analizada. Es decir, no se trata solo de comunicar el resultado de la evaluación, sino hacerlo de tal forma que coadyuve a la mejora de la actuación y a generar una cultura de evaluación.

Tal como ilustra el Esquema 5, un Plan de comunicación tiene cuatro componentes principales. Desde el momento en que se acuerda con el equipo de evaluación la naturaleza del encargo, se debe también plantear cuál será el objetivo principal en la comunicación de los resultados, que estará necesariamente muy ligado a quiénes son los receptores de la información, no es lo mismo dirigirse a responsables de alto nivel, a técnicos o a representantes de colectivos. Debe existir un reparto claro de funciones entre el equipo evaluador y la unidad administrativa especializada.

ESQUEMA 5. PLAN DE COMUNICACIÓN

En el diseño del Plan de comunicación se debe tener en cuenta que no puede interferir en el proceso de evaluación. En particular, en función de la metodología para generar información que se haya escogido (por ejemplo y especialmente, si está basada en técnicas cualitativas que requieren entrevistas), puede ser preciso que ciertos detalles del informe final de evaluación deban ser reservados.

Siguiendo la Guía de Evaluación de Políticas Públicas del Gobierno Vasco, un Plan de comunicación debe contemplar los siguientes aspectos:

• - Garantizar la transparencia del procedimiento de evaluación. Esto es fundamental puesto que esta Guía se articula bajo el principio de participación ciudadana.
• - Informar a los participantes y los actores relacionados con la evaluación sobre la dinámica de las tareas llevadas a cabo. En este sentido, se definen tres tipos de procesos comunicativos:

  

• - Comunicación interna: sirve para dar a conocer los objetivos y la motivación de la evaluación a los participantes en la misma promoviendo su participación.

  

• - Comunicación externa: se dan a conocer los objetivos y la motivación para la realización de la evaluación a los principales usuarios y beneficiarios de la actuación.

  

• - Relaciones institucionales: se dan a conocer los objetivos y la motivación para la realización a otros sectores de la Administración Pública y a la opinión pública en general, a fin de crear el reconocimiento y valoración del trabajo realizado.

  Esta identificación de destinatarios permite presentar la información en la forma adecuada según las necesidades de los receptores.

3.7 // ENTREGABLES Y COMUNICACIÓN

La elección de los canales y soportes a utilizar se establecen una vez definidos los receptores clave de la información generada. La planificación de ese aspecto conlleva identificar los canales y mensajes necesarios en relación al público objetivo de la evaluación, entre ellos, podemos señalar:

• - Informes de evaluación.

  Es el soporte básico. El informe de evaluación contiene los resultados más relevantes. Se pueden realizar diversos informes en función del público al que vayan dirigidos.

• - Publicaciones.

  Es común utilizar otras herramientas de comunicación (folletos, cartas…) o incluir los contenidos de la evaluación en una publicación existente (boletines de noticias, revistas…).

• - Seminarios o jornadas.

  La comunicación oral de resultados es especialmente útil para presentar los resultados a determinados receptores.

• - Reuniones de trabajo o talleres.

  La presentación de resultados puede ofrecer una perspectiva metodológica participativa, este tipo de presentación de resultados es eficaz cuando se requiere una dimensión altamente pedagógica.

• - Información mediante Tecnologías de Información y Comu- nicación.

Las nuevas tecnologías son canales de gran capacidad de difusión y de coste reducido que pueden servir para informar y comunicar resultados. Cuando se emplean diversos medios, es importante garantizar que no se producen desacoples entre el mensaje que se traslada a través de cada uno de ellos y, conjuntamente, con el informe final.

2 SECCIÓN SEGUNDA. SISTEMA DE EVALUACIÓN EN LA REGIÓN DE MURCIA

01 INTRODUCCIÓN A LA METODOLOGÍA PROPUESTA

El objetivo de esta sección es acotar la sección de metodología de la guía de evaluación, concretando la naturaleza del objeto evaluable y centrándose en tres campos concretos: evaluabilidad, evaluación ex ante y evaluación ex post. Se parte de una doble premisa: la necesidad de generar una cultura de evaluación y la situación de partida donde la metodología propia de la evaluación no está, de forma general, incorporada en el proceso de planificación de actuaciones de las administraciones públicas.

Este planteamiento pretende cerrar de la manera más eficaz y eficiente posible la brecha entre las capacidades existentes para evaluar y la necesidad de evaluar las actuaciones de las administraciones públicas. En un contexto de aguda restricción presupuestaria y de dependencia de fondos provenientes de otras administraciones, en particular fondos externos procedentes de la Unión Europea, donde la cultura de la evaluación está muy asentada, esta propuesta persigue generar sinergias entre el proceso de elaboración de intervenciones públicas y su evaluación en aras a maximizar el mejor uso posible de los recursos públicos, así como la captación de los mismos.

02 NATURALEZA DEL OBJETO EVALUABLE

La metodología de evaluación debe tener en cuenta la naturaleza del objetivo evaluable. En este contexto se definen tres niveles, de más general a más particular: plan, programa y proyecto. Un plan constituye una actuación de carácter global a largo plazo, tres o más años, que fija objetivos y metas generales. Un programa es más específico, a medio plazo, e identifica los proyectos que lo componen. Un proyecto es la unidad más específica, a corto plazo, normalmente no más de dos años, y en él se detallan las actividades y medidas concretas, que son los componentes que permitirán lograr sus metas. Estos elementos se pueden enlazar en forma de análisis en cascada.

Así, el Esquema 6 ilustra que cada nivel cuenta con un único objetivo específico y, potencialmente, varios objetivos globales, en particular, los programas y planes. También permite tener en cuenta la evaluabilidad de actuaciones de gran calado, como planes o programas, al descomponer los mismos en unidades más manejables.

Definida la actuación a evaluar, procede acotar el ámbito de la misma. Es decir, hay que responder a preguntas del tipo: ¿Qué periodo temporal abarca? ¿Sobre qué territorio se aplica? ¿Qué sectores productivos o sociales incluye? ¿Quiénes son los beneficiarios sobre los que se focaliza la evaluación?

ESQUEMA 6: ENLACE ENTRE ELEMENTOS DE UNA INTERVENCIÓN

03 EVALUABILIDAD Y EVALUACIÓN EX–ANTE COMO

HERRAMIENTAS DE APRENDIZAJE

La evaluabilidad es un análisis de las posibilidades de evaluación de una intervención ya diseñada y en funcionamiento. Resulta particularmente útil para el estudio de planes y programas. Entre los argumentos que validan esta aseveración destacan que: genera una cultura de la evaluación en los gestores superiores o responsables políticos; permite detectar aciertos y oportunidades de mejora para su aplicación en otras actuaciones de entidad similar; aun cuando el plan o el programa no pudiera ser evaluado como un todo, puede determinar qué componentes de los mismos sí pueden serlo. Esta aproximación de arriba-abajo es particularmente útil porque las grandes actuaciones comparten muchas más similitudes que los proyectos específicos, lo que permite acelerar el aprendizaje y, simultáneamente, mejorar la calidad de las actuaciones más concretas.

La evaluación ex–ante, en este contexto, se aplica a actuaciones que están todavía en fase de diseño y susceptible de cambios. Aunque se puede aplicar a planes o programas, su ámbito más natural es el de los proyectos. Su función clave es asegurar que la intervención está bien diseñada, no solo desde el punto de vista de la planificación sino también para su posterior evaluación. Un proyecto puede estar perfectamente planificado y ser ejecutado de forma impecable desde el punto de vista de conseguir su objetivo y, sin embargo, no se podrá evaluar si en su diseño e implementación no se tuvo en cuenta que iba a ser evaluado. Por ejemplo, una labor vital de la evaluación ex–ante es garantizar que se generan indicadores relevantes en el marco de la intervención, con sus adecuados sistemas de recogida de información. Con esta aproximación se promociona un aprendizaje de abajo- arriba, puesto que es la unidad menor evaluable (un proyecto) el centro de atención y, además, necesariamente hay una interacción importante entre el equipo evaluador y el equipo redactor de un proyecto que normalmente, pero no necesariamente, es el ejecutor y gestor del mismo.

04 EVALUACIÓN ESTRATÉGICA: CRITERIOS DE SELECCIÓN PARA SU EVALUACIÓN

La evaluación de políticas constituye la tarea más compleja desde el punto de vista de un sistema de evaluación. Esta dificultad deviene, de forma natural, por la propia complejidad del objeto de estudio, pero también por cómo, tradicionalmente, se suelen elaborar las grandes líneas estratégicas o planes de actuación. En particular, la ausencia de una lógica de la intervención explícita en las mismas, así como que en su elaboración no se haya tenido en cuenta la posibilidad de que deban ser evaluadas complica o dificulta la aplicación de las herramientas de análisis usadas para una evaluación. Precisamente por ello, un estudio de evaluabilidad es una condición necesaria antes de dedicar recursos, humanos y presupuestarios, a una evaluación. Incluso aunque la evaluación sea factible, lo cierto es que la misma consumirá recursos, especialmente en términos de tiempo (desde un punto de vista presupuestario, la inversión en evaluación supondrá siempre una partida muy marginal frente a los recursos que se pueden movilizar en un plan de espectro amplio). Cuando no sea posible o necesario realizar un estudio de evaluabilidad, resulta conveniente informar adecuadamente sobre los motivos que justifican esa ausencia.

Partiendo siempre del principio de que en el caso de políticas el promotor de la evaluación es el máximo órgano de Gobierno, el propósito es ofrecer una serie de criterios objetivos que faciliten al promotor la tarea de seleccionar qué planes, programas o proyectos deben ser evaluados (naturalmente, puede haber situaciones en donde la evaluación es una obligación legal, en cuyo caso no procede hablar de selección). La evaluación requiere recursos y puede estar sujeta a plazos temporales muy ajustados; además, incluso aunque la iniciativa parta de los decisores políticos, estos no son los únicos agentes que intervienen en la misma, por lo que es necesario tener siempre presente al resto de grupos de interés, ya que pueden condicionar su éxito. Los criterios que se ofrecen se pueden emplear para decidir qué intervenciones son sometidas a un filtro de evaluabilidad y, pasado ese análisis, seleccionar cuáles debería priorizarse para su evaluación.

SISTEMA DE EVALUACIÓN

Resulta innegable que la evaluación de grandes actuaciones puede ser usada en el campo político. Por ello, resulta preciso generar un sistema que otorgue a la misma del mayor grado de objetividad posible. La existencia de criterios consensuados basados en la ciencia constituye un primer paso necesario, pero no suficiente. Tan importante como lo anterior es generar una cultura de evaluación, en los gestores y en los decisores. La experiencia en el campo de la evaluación y en otros entornos de las ciencias sociales indica que la adopción de actuaciones por imposición no es sostenible y, en general, suele ser contraproducente. Cuando los cambios surgen de forma interna, sus efectos son más permanentes y, normalmente, más eficaces.

Una forma de promover internamente la cultura de evaluación es demostrar su utilidad. La incertidumbre sobre los efectos de una actuación determinada puede hacer que colectivos que se verían beneficiadas por la misma se opongan a ella ex ante. En estas situaciones, generar de forma controlada casos de estudio que demuestren los beneficios de la misma puede contribuir a que se terminen consiguiendo los apoyos necesarios.

Una de las aportaciones más relevantes de la evaluación es su capacidad de aportar información sobre consecuencias que no se habían anticipado. De hecho, la situación normal en el caso de grandes actuaciones (por contraposición a los programas, de ámbito más limitado y, por tanto, más controlado) es precisamente esa. Las sorpresas pueden ser positivas o negativas, pero en cualquier caso precisan ser analizadas y, sobre todo, comprendidas.

La planificación de la evaluación constituye una herramienta para dotar de objetividad y credibilidad a la misma. Ahora bien, en una fase inicial resulta conveniente contemplar esta actuación como si fuera en sí misma un proyecto y aplicar, consiguientemente, las técnicas habituales de identificación y formulación de proyectos. Nuevamente, y dentro de criterios técnicos, es conveniente generar consensos entre los agentes que pueden tener interés en la planificación para consolidar la misma, si bien esta esfera excede el marco de esta Guía.

CRITERIOS DE SELECCIÓN EN FUNCIÓN DEL GRADO DE IMPLEMENTACIÓN

En primer lugar, cabe distinguir en función de en qué momento se encuentra dicha actuación administrativa:

• a. Concluida (por ejemplo, una «Estrategia para la digitalización de las PYMES 2015-2018»).
• b. En ejecución, en cuyo caso cabe distinguir aquí si se trata de un Plan, Programa o Proyecto de naturaleza continua en el tiempo (por ejemplo, un «Plan para incrementar la inserción laboral de los menores de N años» o «Digitalización de la asistencia primaria») o si se trata de una actuación puntual que está en fase de ejecución (por ejemplo, un «Plan la dinamización económica del noroeste 2018-2022»).
• c. En elaboración, entendiéndose que se está en sus fases iniciales, previas a su aprobación por los órganos políticos competentes.

  En el caso de una actuación administrativa ya concluida su análisis debe tener prioridad si se está planteando lanzar una nueva fase de la misma (ya sea para ser aplicada en otro periodo temporal o en otro territorio o sector socio-económico). De esta forma se maximiza una de las funciones de la evaluación: generar conocimiento para mejorar el diseño y ejecución de las actuaciones públicas. En el supuesto de que no sea previsible la puesta en marcha de una versión actualizada de esa actuación, procedería un estudio de la misma si se cumplen alguna o todas de las siguientes condiciones:

  • 1. Existen significativos escalonamientos, actuaciones en cadena, hacia delante. Es decir, se trata de una actuación sobre la que se asientan otras múltiples intervenciones; por ejemplo, «Plan para la modernización del sector público 2013-2018». En estos casos, conviene dedicar un tiempo para evaluarla detalladamente, puesto que las propuestas de mejora que se deriven del informe de evaluación tendrán repercusiones más allá de la propia actuación evaluada.
  • 2. Cuando del estudio de evaluabilidad se deduzca que es factible realizar una evaluación de impacto de esa actuación; lo que implica, básicamente, que existen datos de suficiente calidad para poder aplicar esa metodología, puesto que es de tipo cuantitativo. La fundamentación de esta condición estriba, por un lado, en la relativa rapidez con la que se puede realizar este tipo específico de evaluación (si bien, tiene requerimientos técnicos elevados) y, por otro, en que este tipo de análisis permite obtener una medición bastante precisa de los efectos producidos.
  • 3. Cuando la metodología que subyace al Plan, Programa o Proyecto es replicable (o, directamente, se está empleando) en otras. En este caso, nuevamente, surgen externalidades positivas: lo que se aprenda sobre una actuación puede mejorar otras.

Cuando la actuación está en proceso de ejecución cabe diferenciar entre intervenciones puntuales y aquellas que tienen vocación de continuidad. La evaluación de una actuación estratégica de carácter puntual que está siendo ejecutada debe tener como objetivo la mejora en su aplicación, identificando cuellos de botella que puedan estar lastrando su eficacia.

Normalmente, será necesario analizar los procesos que se están aplicando y las unidades que en ellos participan; es decir, se trata primordialmente de una evaluación formativa (de proceso o ejecución o de progreso, en función del momento en que se encuentre). Por ese motivo, incluso aunque la iniciativa parta de los órganos políticos superiores, es preciso que exista consenso en las unidades que van a participar en la misma sobre la razón de ser de la evaluación. Resulta crucial que la evaluación sea vista como lo que es, una forma de mejorar una actuación, y que no se interprete erróneamente como si se estuviera juzgando a las personas encargadas de su gestión. De hecho, este componente debe ser analizado en el estudio de evaluabilidad.

La colaboración entre el equipo evaluador y los participantes en la actuación es particularmente necesaria en una evaluación de seguimiento, puesto que los tiempos de respuesta deben ser relativamente rápidos para que la misma sea efectiva. Consiguientemente, los siguientes elementos se deben considerar al seleccionar una actuación para este tipo de análisis:

• 1. El tiempo transcurrido desde que se empezó el proceso de elaboración de la actuación y el momento en que se procedió a su implementación. Un lapso temporal elevado puede implicar que existan desfases entre las necesidades que existían cuando se inició la planificación y las realmente existentes cuando se empezó a ejecutar. En este caso, determinar la lógica de la actuación ex–post puede resultar complicado. De hecho, en este tipo de situaciones una evaluación centrada en el estudio de la lógica de la actuación adecuada al nuevo contexto y desarrollada en el inicio de la ejecución de la actuación puede resultar muy útil, ya que puede maximizar una de las funciones básicas de la evaluación ex – ante (identificar desajustes en las fases iniciales de una actuación para su corrección temprana).
• 2. La fase de aplicación en la que se encuentra. Una evaluación de seguimiento tiene sentido para intervenciones que están, como mucho, a mitad de su vida útil. En el caso de intervenciones estratégicas, dada su complejidad y el tiempo que puede consumir un análisis de las mismas, este condicionante es bastante vinculante, debiéndose argumentar adecuadamente por qué habría que dedicar recursos a la misma si ya se encuentra más allá de la mitad de su ciclo (por ejemplo, si el periodo de ejecución es largo, más de cuatro años y se prevé que se vaya a extender, puede ser razonable evaluar entre el segundo y tercer año).

Muchas intervenciones administrativas tienen vocación de continuidad, es el caso de la mayoría de las políticas sociales (por ejemplo, sanitarias, educativas o de apoyo a colectivos). No obstante, hemos de resaltar que en esta sección se está analizando el caso de líneas estratégicas o grandes planes, no de programas específicos. Delimitar bien el objeto de la evaluación resulta crucial en estas situaciones, en particular, acotar el periodo de estudio.

Los criterios para seleccionar qué Planes, Programas o Proyectos deben ser priorizadas para su evaluación son:

• 1. Grado de consenso entre las partes interesadas. Una evaluación requiere la consideración de los actores clave en el proceso, en particular, en la selección del objetivo a evaluar (puesto que en este tipo de intervenciones estratégicas puede haber más de una opción) y, ligado a ello, de las preguntas que se pretenden responder. La necesidad de que exista cierto consenso previo es vital puesto que el agente evaluador no es un mediador.
• 2. Uso potencial de los resultados de la evaluación por parte de los actores relevantes. La evaluación tiene siempre como objetivo la mejora de una actuación. Consiguientemente, un criterio clave, en particular en intervenciones de aplicación continua, es que exista un consenso elevado entre los diversos agentes que, directa o indirectamente, intervienen en la evaluación sobre el uso que se hará de sus resultados. Nótese que esta condición es diferente de la anterior, puesto que aquí el énfasis recae en la fase final de la evaluación (uso), mientras que previamente se subraya la necesidad de consenso en la fase inicial de la misma (definición). Además, los actores clave pueden tener diferente relevancia en cada fase, por lo que el proceso de construcción de consenso no tiene por qué ser el mismo en ambas fases. En particular, el grado de cultura de evaluación que exista dentro de las unidades de la administración que desempeñan un papel determinante en las intervenciones a evaluar es un criterio relevante.
• 3. Capacidad de adaptación. El grado de flexibilidad o adaptabilidad de una actuación depende de múltiples factores, muchos de los cuales escapan al control de los decisores políticos. Por tanto, especialmente en las fases iniciales cuando la evaluación no está generalizada en la administración, un criterio de selección es la posibilidad real de introducir los cambios que se sugieren en un informe de evaluación, puesto que el éxito de una evaluación estriba en que las mejoras que se proponen realmente se apliquen. Además, se persigue con este criterio promover la cultura de evaluación, tanto dentro como fuera de la administración pública, puesto que la implementación de las recomendaciones supone una reivindicación del proceso y, especialmente, del tiempo que las partes interesadas han invertido en el mismo.

Uno de los intereses fundamentales de la Unión Europea en el campo de la evaluación es insertarla adecuadamente en el proceso de planificación. En el contexto de planes o estrategias de amplio calado, no se puede aplicar el concepto de evaluación ex ante tal como se plantea en el caso de los proyectos. La razón fundamental es que dada la magnitud y, especialmente, el gran número de agentes interesados que pueden llegar a participar en la elaboración de una actuación, no es sensato esperar que se modifiquen a posteriori aspectos de la misma a partir de las aportaciones de un evaluador, por muy razonables que sean. Por tanto, en el ámbito de la fase de planificación de estrategias la labor de la evaluación ex ante se debe desempeñar al mismo tiempo, acompañando el proceso de elaboración. En esta situación, tanto el evaluador como el resto de agentes deben ser conscientes de que el primero no es un mediador ni está juzgando a los demás participantes.

Los criterios para priorizar qué Planes, Programas o Proyectos que se encuentran en elaboración o, a punto de empezar esa fase, deben ser evaluadas son:

• 1. Carácter innovador de la actuación. Por su propia naturaleza, es más probable que se comentan errores en su diseño. Aquí el evaluador puede contribuir de forma decisiva tanto aportando soluciones como previendo salidas a situaciones problemáticas que se puedan materializar durante su implementación. Por definición, una actuación innovadora está sujeta a encontrarse con obstáculos; la labor del evaluador es ayudar a definir esos obstáculos potenciales y sus posibles soluciones y, crucialmente, perfilar sistemas para solventar problemas cuando estos ni siquiera se han anticipado. Es decir, resulta imposible prever todas las eventualidades, por lo que una vez consideradas las más relevantes, lo que procede es diseñar sistemas para la resolución de los conflictos. En las intervenciones innovadoras se maximizan los efectos positivos de la evaluación ex ante.
• 2. Inserción en un sistema de evaluación. Se deben priorizar aquellas intervenciones en las que exista una alta probabilidad de evaluación ex post, ya sea por obligación legal o por voluntad de los decisores políticos. La realización de una evaluación inicial facilita y agiliza la posterior, puesto que permite centrarse en el estudio del impacto de la actuación y limita el tiempo dedicado a la reconstrucción de la lógica de la actuación (suponiendo que el evaluador inicial pudo intervenir efectivamente para desarrollarla de una forma explícita).
• 3. Grado de interconexión con otras intervenciones. Existen estrategias de carácter transversal que afectan a muchas otras esferas, ya sean otras políticas o proyectos. Estas intervenciones tienen un carácter crítico en el sentido que generan efectos multiplicadores de amplio espectro. El grado de interconexión que se contempla en este criterio es de carácter fundamentalmente unidireccional, es decir, se trata de intervenciones que afectan a otras pero que son relativamente independientes del resto. No entra, por tanto, en esta categoría una actuación que influye y es influida por otra; no quiere decir que no se pueda evaluar, pero en términos de este criterio no sería prioritaria.

ESQUEMA 7: CRITERIOS EN FUNCIÓN DEL GRADO DE IMPLEMENTACIÓN

CRITERIOS DE SELECCIÓN EN FUNCIÓN DE LOS COMPONENTES

Las intervenciones o estrategias de acción se llevan a cabo a través de proyectos, que se pueden visualizar en este contexto como objetos de evaluación de segundo nivel. El éxito de las primeras depende de lo que ocurre con los proyectos que las componen. Por tanto, un criterio de selección de las primeras debe tener en cuenta la naturaleza de los elementos que las componen, más allá del análisis general que de los mismos se pueda hacer en el estudio de la actuación evaluada. Los criterios a considerar serían:

• 1. Grado de complejidad interna. Una estrategia con una lógica de actuación compleja y que se descompone en múltiples programas solo puede ser evaluada si se planifica con tiempo y se prevén los recursos (humanos y temporales) adecuados para su evaluación. Además, se debe tener en cuenta que puede resultar necesario acotar el objeto de la evaluación, es decir, en la práctica restringir la misma a ciertos programas, lo que puede dificultar los consensos previos necesarios. De la misma manera que la existencia de múltiples colectivos con intereses diversos dificulta el proceso de elaboración de una estrategia, esa multiplicidad de partes interesadas afecta a la evaluación. Nótese que estos dos elementos de complejidad (número de proyectos ligados a una política y número de colectivos involucrados) no tienen por qué estar necesariamente ligados, es decir, se puede tener una elevada complejidad debido a que hay muchos proyectos, aunque las partes interesadas sean pocas o a la inversa. Obviamente, cuando los dos factores concurren se debe sopesar adecuadamente la conveniencia o no de la evaluación, así como su diseño, respecto a otra actuación en la que el grado de complejidad sea inferior (es decir, se parte del principio de que esa actuación compleja ha pasado el filtro de la evaluabilidad, la cuestión es hasta qué punto es deseable su evaluación respecto a otras opciones).
• 2. Grado de interdependencia interna. Cuando los componentes de una actuación muestran un elevado grado de interdependencia, la evaluación de la misma se complica, en general, frente a un plan donde sus elementos de segundo nivel tienen una mayor independencia entre sí. La existencia de relaciones cruzadas entre proyectos implica que el éxito de cada uno de ellos depende de los demás, lo que a su vez condiciona a la actuación en la que se enmarcan. En el caso extremo de proyectos independientes, se puede discernir más fácilmente la aportación de cada elemento al desempeño de la actuación evaluada. Este criterio complementa al anterior, puesto que, en general, el grado de complejidad será mayor, ceteris paribus, en políticas constituidas por proyectos muy interdependientes.

No obstante, en función del objetivo que se haya planteado para la evaluación y de cuándo se realiza la misma (ex ante o ex post), este criterio puede emplearse para justificar adecuadamente el estudio de una estrategia con proyectos interdependientes. Puesto que el logro de los objetivos de la misma depende del buen desempeño de todos sus componentes (o de una parte significativa de los mismos), puede resultar óptimo desde el punto de vista de los decisores políticos (y, en general, del resto de actores) invertir recursos en su evaluación como forma de maximizar su probabilidad de éxito. En particular, la evaluación ex ante está particularmente indicada para estas situaciones.

ESQUEMA 8 CRITERIOS EN FUNCIÓN DE LOS COMPONENTES.

05 CRITERIOS DE SELECCIÓN DE PLANES, PROGRAMAS O PROYECTOS PARA SU EVALUACIÓN

La puesta en marcha de un sistema de evaluación resulta más sencilla si se cuenta con proyectos de referencia y el proceso de selección de los mismos es transparente. Precisamente por ello, los criterios para seleccionar proyectos que vayan a ser evaluados constituyen uno de los pilares de esta propuesta metodológica. No se pretende realizar un listado exhaustivo, puesto que no sería operativo, sino más bien resaltar elementos clave que faciliten el trabajo de los equipos encargados de seleccionar proyectos para su evaluación y, simultáneamente, que sean públicos y conocidos entre los gestores de proyectos, de forma que puedan, si lo desean, elaborar o ejecutar sus proyectos de manera que sea más probable que se escojan para su análisis.

La aplicación de estos criterios no condiciona que el resultado de la evaluación sea más o menos informativo. Conviene tener presente que el objetivo de la evaluación de proyectos no es dictaminar si son buenos o malos. Una buena evaluación es aquella que es informativa. Es decir, si de un proyecto muy exitoso lo único que se puede decir tras la evaluación es que ha cumplido sobradamente sus objetivos, estaremos ante una mala

evaluación, que no aporta información a las partes interesadas. Los criterios que se indican no pretenden seleccionar proyectos con más o menos éxito o de los que se puedan extraer evaluaciones más o menos informativas. Los criterios que se exponen a continuación parten del supuesto de que la evaluación es viable (es decir, se ha pasado el filtro de un análisis de evaluabilidad); se trata, por tanto, simplemente de seleccionar qué proyectos evaluar.

En el contexto actual del proceso de evaluación en la administración pública regional (y, en general, en cualquier administración), un elemento básico para la evaluación es la colaboración y buena predisposición del equipo encargado de su redacción (si se trata de una evaluación ex ante) o de los gestores de la actuación (si se trata de una evaluación de seguimiento o ex post). Consiguientemente, una condición no vinculante es que la propuesta de evaluación parta de los agentes más directamente implicados en el proyecto. Se persigue de esta manera promover una cultura de evaluación que surge de forma interna.

Hay criterios que son independientes del momento en que se produzca la evaluación. Así, se debe considerar la coherencia externa del proyecto. Este es un criterio exógeno al propio proyecto y considera cómo el mismo se inserta en el marco de actuaciones que se estén realizando y que impactan en la misma población beneficiaria del proyecto. En general, se debe tender a evaluar proyectos con un alto grado de coherencia externa, puesto que implica que no existen solapamientos significativos entre el mismo y otros proyectos (independientemente de qué ente, público o privado, los esté gestionando).

Otro criterio es la relevancia presupuestaria. Ante una actuación costosa en términos presupuestarios se debe perseguir maximizar sus posibilidades de éxito (evaluación ex ante). Es también conveniente analizar el desempeño final de un proyecto de coste elevado, en este caso el coste de oportunidad que se deriva del uso de fondos en esa actuación es un motivo de peso para favorecer su estudio.

Cuando un proyecto constituye la primera fase para una serie de intervenciones posteriores (es decir, estamos ante proyectos enlazados), resulta relevante garantizar que la primera piedra está bien colocada.

El carácter primordial de una actuación motiva tanto la evaluación ex ante como ex post. En estas situaciones hay externalidades positivas que deben ser aprovechadas, puesto que los beneficios de la evaluación que exceden de esa actuación se pueden extender a otras.

Si el proyecto es escalable o replicable (en el tiempo o en otros ámbitos, ya sean territoriales o sectoriales), conviene asegurar al máximo que su diseño es el adecuado. En este caso, hay economías de escala en la evaluación ex ante, puesto que el coste de la misma no cabe imputarlo a esa primera versión del proyecto que se evalúa, sino que debería ser prorrateado entre las diferentes versiones futuras del mismo. La replicabilidad es especialmente

relevante cuando se trata de proyectos de naturaleza continua, es decir, de intervenciones que por su objeto (por ejemplo, en el campo de la ayuda social) no se pueden interrumpir. Resulta pertinente dedicar recursos (en particular, tiempo) para determinar qué funciona y por qué, impacto, etc., es decir, realizar una evaluación ex post. De esta manera se ofrecen mayores garantías de éxito a las siguientes versiones del proyecto. En este tipo de intervenciones se puede hacer un cierre del ciclo del proyecto (es decir, se evalúa antes de ejecutarse y a la conclusión).

En un proyecto innovador la evaluación ex ante desempeña un doble papel clave: contribuye a mejorar su diseño e incrementa su evaluabilidad ex post (especialmente importante es la necesidad de definir bien los indicadores del proyecto). Precisamente, puesto que el proyecto es innovador conviene conocer los detalles que explican su desempeño, por lo que una evaluación ex post también es procedente. Nótese que en este caso el carácter innovador hacer referencia a las características del proyecto, no al objeto del mismo; es decir, un proyecto con el objetivo de «Mejorar el tejido innovador en el tratamiento de plásticos» puede ser científicamente muy avanzado, pero tener un diseño muy normalizado y, por tanto, no entraría en esta categoría.

CRITERIOS DE SELECCIÓN DE PLANES, PROGRAMAS O PROYECTOS PARA UNA EVALUACIÓN EX ANTE.

Se deben priorizar los proyectos que, potencialmente, cumplan una o las dos condiciones siguientes:

• 1. Adaptabilidad. El propósito de la evaluación ex ante es identificar fortalezas y debilidades en un proyecto y que se promuevan las primeras y se corrijan las segundas. No obstante, no siempre es factible, por múltiples motivos, realizar modificaciones en un proyecto. Un bajo grado de adaptabilidad implica que el propósito de mejora de la evaluación ex ante no se podrá materializar, por lo que su utilidad también será reducida.

  En el caso de que se plantee una evaluación ex ante de un proyecto con baja coherencia externa, el criterio de adaptabilidad resulta clave, puesto que de forma natural las recomendaciones del evaluador irán en la dirección de cambios para incrementar la coherencia externa del mismo. Hay, por tanto, una relación inversa entre ambos conceptos, si bien debería tener mayor relevancia la capacidad de adaptación. Así, si hubiera que elegir para evaluar entre dos proyectos, uno con baja coherencia externa pero alta adaptabilidad y otro con alta coherencia externa pero baja adaptabilidad, ceteris paribus, el primero debería ser escogido.

• 2. Impacto social. Hay intervenciones que por su especial naturaleza (en particular, impacto social potencialmente elevado) también deberían ser priorizadas para una evaluación ex – ante.

Un caso particular se produce cuando hay intervenciones que implican un reparto de fondos entre beneficiarios finales cuando la demanda potencial de ayuda se prevea que supere la disponibilidad de fondos. En estos casos, resulta muy conveniente que la evaluación sea externa. Esta evaluación puede tener una doble vertiente: a) análisis de los criterios de asignación o reparto; b) clasificación de las peticiones de acuerdo a un baremo. Esta última posibilidad es especialmente relevante cuando se trate de intervenciones que se repiten en el tiempo y se pretenda mejorar la capacidad técnica de los demandantes de fondos (no solo a la hora de pedirlos, sino, más fundamentalmente, a la hora de justificar desde un punto de vista económico-social su petición, es decir, cuando el baremo implica evaluar proyectos presentados por potenciales beneficiarios).

CRITERIOS DE SELECCIÓN DE PLANES, PROGRAMAS O PROYECTOS PARA UNA EVALUACIÓN EX POST

Estos criterios adicionales normalmente serán más operativos conforme la cultura de evaluación se extienda en la administración pública; no obstante, constituyen una forma de promocionar la misma, teniendo en cuenta la gran diversidad existente en una administración de gran tamaño, se pretende valorar positivamente los esfuerzos que sus unidades realizan en este campo.

Los criterios son:

• 1. Haber sido evaluado ex ante o, al menos, que el plan o programa en el que se inserte haya sido sometido a un análisis de evaluabilidad y/o evaluación. La doble evaluación en dos etapas del proyecto permite, además, valorar hasta qué punto las recomendaciones de la evaluación ex ante se incorporaron al proyecto (y, con ello, todo un conjunto de preguntas anexas) y en qué medida la misma contribuyó al desempeño del proyecto.
• 2. Lógica de la intervención explícita. Uno de los elementos que complica la evaluación es la ausencia de una lógica de la intervención explícita en los proyectos. Es decir, el proyecto puede estar configurado de tal forma que, aunque se perciba que haya sido efectivo a la hora de conseguir sus logros, puede resultar laboriosa la tarea de hacer explícita su lógica y consiguientemente su evaluación.
• 3. Existen proyectos semejantes en otras administraciones, se persigue de esta manera tener un punto de comparación, si bien imperfecto, que puede ser especialmente relevante cuando el énfasis de la evaluación ex post recae en un estudio de los procesos y agentes que participan en la actuación (ya sea como gestores, ejecutores o beneficiarios).

06 PARTICIPACIÓN CIUDADANA EN LA EVALUACIÓN

La Ley 2/2014, en su sección referida a la evaluación de las políticas públicas y de la calidad de los servicios en la Administración regional, establece en el art. 30.3 que:

«3. El sistema de evaluación de la gestión pública se realizará mediante la aplicación de sistemas y métodos en los que participarán los ciudadanos, de acuerdo con el principio y el derecho de participación ciudadana reconocido en esta ley. El sistema de evaluación tendrá en cuenta, además de los extremos mencionados en el apartado 1, el grado de participación ciudadana en las políticas públicas.»

En este marco, la propia ley en su art.4.j establece como uno de sus principios generales la «Participación ciudadana, fomentando que los ciudadanos puedan formular tanto sugerencias y observaciones en relación con la prestación de los servicios públicos como reclamaciones y quejas por su mal funcionamiento, así como ser consultados sobre el grado de satisfacción respecto a los mismos.».

Anteriormente se ha considerado de manera genérica los distintos tipos de agentes interesados en la evaluación. Aquí se perfila el papel que la ciudadanía tiene en el sistema regional de evaluación.

Así, se procurará incluir en el sistema los siguientes elementos:

• - Transparencia y comunicación. Los informes de evaluación, con el formato adecuado para su difusión, serán públicos y accesibles. La unidad evaluadora generará un informe anual donde se repasarán las principales iniciativas realizadas; sin perjuicio de que ciertas evaluaciones, por su interés o relevancia tengan sus propios canales de comunicación.
• - Diseño de un plan general de evaluación. La planificación de la evaluación es un elemento de calidad del sistema. En la misma se perfilan los objetivos de la misma, ya sea de forma anual o plurianual, y cómo se puede insertar en el proceso de planificación de intervenciones. En este sentido, se parte de la premisa de que son las unidades administrativas las que ponen en marcha el proceso de evaluación (ya sea de forma interna o por decisión política superior). Por tanto, el diseño de un plan debe ser flexible puesto que la actividad se genera desde la demanda.
• - Participación en las comisiones de evaluación. La unidad evaluadora podrá crear comisiones de evaluación en donde participarían entidades representativas de la ciudadanía, en particular, de aquellos colectivos involucrados en la actuación analizada. Es siempre importante reseñar que el objetivo de estas comisiones no es definir las características de la actuación, que ya vendrán dadas a priori, sino contribuir al diseño de la evaluación.
• - Generación de información. En la medida que las encuestas de satisfacción de usuarios estén disponibles, serán un elemento a tener en cuenta en los procesos de evaluación. Esta consideración no implica que sean la única fuente de datos ni puede generar una obligación en el diseño técnico de la evaluación.

PAPEL QUE LA CIUDADANÍA TIENE EN EL SISTEMA REGIONAL DE EVALUACIÓN.

3 SECCIÓN TERCERA. DISEÑO DE LA EVALUACIÓN EN LA REGIÓN DE MURCIA

Diseño de la evaluación en la Región de Murcia.

El propósito de esta sección es describir los sucesivos pasos que componen el proceso de evaluación en el contexto de la Región de Murcia a nivel operativo y concreto en la Región de Murcia, teniendo en cuenta la organización competencial y administrativa real, con un órgano administrativo con competencias transversales en materia de evaluación de políticas públicas.

01 PLAN DE TRABAJO

1.1 // DISEÑO INICIAL DE LA EVALUACIÓN

La propuesta inicial de la evaluación corresponde a los centros gestores, responsables del plan, programa, proyecto o servicio público, mediante una solicitud o un formulario. En esta primera fase se proporciona información básica sobre tres elementos: el objeto evaluable, las partes interesadas en el proceso de evaluación y el propósito de la evaluación. No obstante, en situaciones concretas y con motivos justificados la unidad administrativa con competencias transversales en materia de evaluación, por iniciativa propia o a propuesta razonada de otros órganos podrá iniciar el proceso de evaluación de una actuación.

No cabe esperar que la solicitud de evaluación reúna los criterios técnicos exigibles a una propuesta de evaluación. Por ello, la unidad especializada de evaluación la reformulará según criterios homogéneos y teniendo en cuenta los recursos materiales, humanos y metodológicos disponibles. Este proceso a través del cual se llega a una propuesta final de evaluación se describe en los siguientes apartados.

La propuesta inicial de evaluación tiene por objeto dar una respuesta ordenada a las siguientes cuestiones:

• ¿Qué vamos a evaluar?

  Se debe indicar cuál es el objeto de la evaluación, explicando sus características fundamentales, y acotando, si procede, el ámbito de la misma (desde un punto de vista temporal, geográfico, según el tipo de beneficiarios, etc.). Para ello, una solicitud de evaluación realizada por un órgano directivo o una unidad administrativa debería contener la siguiente información mínima necesaria:

  • - La normativa que regula el plan, programa, proyecto o servicio objeto de evaluación.
  • - Los documentos internos del momento de diseño de la actividad.
  • - Los informes internos de análisis, evaluación o valoración de la actividad.
  • - Las memorias disponibles.
  • - Los responsables de la implementación de la actividad.

  Además, es importante describir las modificaciones que ha experimentado la actividad objeto de evaluación, en sus distintas fases, dado que los planes, programas o políticas públicas son dinámicos y sufren modificaciones, cambios y adaptaciones, ya sea en los recursos humanos o materiales, en la normativa y la estrategia o en la implementación. En cualquiera de los casos, es necesario investigar y conocer los cambios. Estas modificaciones pueden ser útiles para acotar el ámbito del objeto de evaluación.

  

• ¿En qué fase se encuentra el plan, programa, proyecto o servicio?

  Es necesario especificar en qué momento temporal está la actuación pública:

  • - En fase de planificación (iniciada o prevista).
  • - En las primeras fases de implementación.
  • - En una fase estable y madura de funcionamiento, por haber transcurrido suficiente tiempo como para que la actuación haya generado resultados y/o impactos.
  • - En una fase finalizada, cuyo objeto será plantearse la continuidad revisada de la actividad.
• ¿Quiénes son las partes interesadas en la evaluación?

  Aunque la propuesta parte de un órgano de la administración puede existir una diversidad de agentes interesados en la misma. En la solicitud se deben identificar quiénes pueden ser esos agentes (desde representantes de beneficiarios del objeto evaluable, gestores del mismo, hasta otras administraciones), qué interés o expectativas pueden tener respecto a la misma y cuál es el grado de protagonismo que pueden tener. Más aún, si la actuación a evaluar es amplia (una política o una estrategia, por ejemplo) pueden ser varias las subunidades administrativas de entidad elevada (por ejemplo, varias direcciones generales) las que estén involucradas, siendo necesario que todas ellas consten en la relación de agentes clave.

• ¿Por qué evaluar?

  Existe una relación estrecha entre los agentes clave interesados en la evaluación y el propósito de la misma. En esta fase inicial se pretende resaltar esa interconexión. Una evaluación centrada en la mejora de los procesos de implementación muy posiblemente estará orientada hacia las unidades administrativas gestoras. Si el propósito es incrementar la transparencia del sistema, entonces el agente clave es la sociedad como un todo y su interés estará más centrado en cuestiones relacionadas con el impacto de la acción evaluada, más que en cómo se ha ejecutado la misma. Por supuesto, se puede hacer una solicitud que cubra varias opciones, pero el elemento clave es que éstas sean compatibles con los actores relevantes. Adicionalmente, el grado de complejidad de la evaluación puede crecer conforme se incrementa el uso que de la misma se pretende hacer.

  Finalmente, la propuesta debe suministrar información que permita analizar la misma y realizar un autodiagnóstico sobre su pertinencia. El objetivo es favorecer un proceso objetivo de análisis por la unidad especializada de evaluación de las diversas propuestas recibidas.

• ¿Qué se pregunta?

  Las cuestiones que se pretenden responder con la evaluación dependen de quiénes son los agentes interesados y del objetivo de la misma. En esta fase preliminar, la naturaleza de la actuación evaluable determina hasta qué punto la unidad administrativa que la solicita tiene un elevado control sobre la misma o no. Las preguntas en esta fase serán, normalmente, de tipo general. En fases posteriores, con la actuación de la unidad especializada, se definirán de forma más precisa y se seleccionarán las que se consideren factibles en el marco de la propuesta final de evaluación.

La unidad gestora debe responder a

• - ¿Qué vamos a evaluar?
• - ¿En qué fase se encuentra el plan, programa, proyecto o servicio?
• - ¿Quiénes son las partes interesadas en la evaluación?
• - ¿Por qué evaluar?
• - ¿Qué se pregunta?

1.2 // REVISIÓN TÉCNICA: FINALIDAD, MOTIVACIÓN Y OBJETIVOS DE LA PROPUESTA DE EVALUACIÓN

En esta fase la unidad especializada de evaluación analiza la solicitud presentada para incorporar aquellos elementos técnicos propios de la evaluación que sean precisos de cara a fortalecer la solicitud. Se trata de identificar de la forma más precisa posible los propósitos, funciones y utilidad relacionados con la evaluación de la intervención y que permitan abordar el estudio de evaluabilidad. Este proceso implica una serie de interacciones entre la unidad especializada, la unidad administrativa (o unidades) que hace la solicitud y, si procede, otras unidades que directa o indirectamente se podrían ver implicadas en la evaluación.

En esta fase es necesario comprender claramente qué justifica la evaluación, dado que este aspecto es fundamental para delimitar el alcance de los trabajos de evaluación. En particular y sin perjuicio de las decisiones que se puedan tomar en otras fases, un componente relevante en este periodo es clarificar en la mayor medida de lo posible la lógica de la intervención. Es decir, hacer explícita la relación de elementos causa-efecto que subyacen en la intervención. Este proceso de construcción o reconstrucción de la teoría del programa que subyace en la intervención persigue clarificar la misma y facilitar la incorporación de otros agentes relevantes al proceso de evaluación. De hecho, se puede abordar la solución de casi cualquier problema o necesidad social desde diversas estrategias o marcos teóricos. Precisamente por ello es necesario clarificar cuál se está empleando y cómo se articulan sus elementos.

Se deben identificar, describir y analizar las evaluaciones y estudios previos realizados sobre esa actividad objeto de evaluación en el mismo o distinto ámbito material o territorial. Es necesario detectar todos los que existan y analizarlos con detenimiento, ya que constituyen una fuente de información privilegiada. Su lectura y consideración evitará generar información redundante, ayudará a prevenir posibles errores y contribuirá a la generación de un conocimiento integrado y útil.

Contando con una lógica de la intervención suficientemente definida y conociendo la bibliografía relevante se puede proceder a concretar en mayor medida las preguntas que se deben contestar con la evaluación. En este momento el grado de participación de otros agentes relevantes todavía es reducido, por lo que estas preguntas se deben entender como un avance o punto de inicio.

1.3 // GRADO DE VIABILIDAD Y SELECCIÓN DE PLANES

La evaluabilidad tiene como objetivo definir las posibilidades que tiene una intervención de ser evaluada con éxito. Es decir, aun partiendo de la hipótesis de que cualquier intervención es evaluable, el alcance y los costes de esta evaluación vendrán condicionados por determinados elementos relacionados con el diseño de la intervención, los sistemas de información articulados para realizar el seguimiento de las actuaciones, los recursos disponibles para la evaluación, las expectativas y beneficios esperados de la evaluación y, en general, de la actitud ante la evaluación de los implicados en el desarrollo de la intervención pública.

La evaluabilidad es el análisis previo de la conveniencia de realizar la evaluación posterior de una intervención pública, valorando la existencia de las condiciones óptimas para llevarla a cabo y proponiendo las mejoras necesarias que preparen a dicha intervención para ser evaluada. No se debe confundir, pues, con una evaluación ex ante; el análisis de evaluabilidad se realiza antes que una evaluación y es independiente de la fase en que se encuentre la intervención que se pretende evaluar.

Puesto que se trata de una evaluación cualitativa, esta fase entra dentro del campo de la unidad especializada de evaluación, que podrá contar con apoyo de expertos externos para su concreción.

Una forma fácil y sencilla de valorar la viabilidad es considerar las siguientes cuestiones:

• - Calidad de la teoría subyacente a la intervención y rigor en su diseño.
• - Realización de un análisis de las incidencias, riesgos y debilidades en el desarrollo del proyecto de evaluación.
• - Adecuación y suficiencia de medios técnicos, económicos y personales para la evaluación.
• - Disposición y apoyo institucional en su conjunto, incluidos los máximos responsables.

A diferencia de la fase anterior, la interacción con las unidades que proponen la evaluación no es estrictamente necesaria. No obstante, el informe de evaluabilidad sí debe ser analizado con las mismas, puesto que puede incluir propuestas que de ser implementadas facilitarían la evaluación.

La unidad de evaluación aplicará criterios objetivos para decidir qué intervenciones evaluar. Sin perjuicio de los mismos, la selección también puede tener en cuenta propósitos generales para promover una cultura de evaluación en la administración regional; resulta conveniente que estas líneas más generales se plasmen en un programa de evaluación plurianual. Especialmente en las fases iniciales de la puesta en marcha de un sistema de evaluación, resulta importante primar intervenciones cuya evaluación tenga un impacto relevante más allá de ella misma.

1. 4 // PARTICIPACIÓN Y PROPUESTA FINAL DE EVALUACIÓN

Para definir los objetivos de evaluación debe establecerse una estrecha relación con los actores implicados en el proceso de evaluación. De esta manera, será posible definir, en forma de diagnóstico, cuáles son sus principales intereses y cuáles son las posibilidades de participación en el proceso de evaluación.

En esta fase de diseño resulta muy importante gestionar adecuadamente las expectativas de las partes interesadas. En particular, y por aplicación del principio de participación, los beneficiarios y otros agentes o colectivos que se ven envueltos en la intervención evaluable deben ser incorporados al proceso. No obstante, el momento preciso en que se unen al mismo es muy importante, ya que se pueden generar expectativas poco realistas, que al no poder cumplirse generan un alejamiento de estos agentes respecto al proceso de evaluación.

En esta fase procede por parte de la unidad especializada crear un comité donde estén representados todos los agentes relevantes involucrados para que puedan hacer sugerencias respecto a las cuestiones o temas de evaluación de especial interés o relevancia para ellos. El objetivo es definir de una forma participativa la cobertura de la evaluación, el periodo y las preguntas de evaluación. Las conclusiones que se obtengan no son definitivas, puesto que, pueden verse modificadas a propuesta del equipo de evaluación designado. Si este fuera el caso, se informaría a los miembros del comité de los cambios y las razones que los motivan.

Debe atenderse que las limitaciones de tiempo y presupuesto pueden influir en la delimitación del alcance de la evaluación. En estos casos, es importante centrar la evaluación en los aspectos de las políticas públicas dónde existe una mayor necesidad de obtención de información o hacia las intervenciones donde se prevé una necesidad próxima de toma de decisiones políticas. Este criterio afecta necesariamente al tipo de preguntas que finalmente se escojan.

El proceso de acotar las preguntas de la evaluación es complejo y necesita de especial atención y didáctica. En primer lugar, las preguntas deben seguir la lógica de la intervención. En segundo lugar, las preguntas planteadas deben cumplir con los criterios anteriormente definidos, en particular se debe enfatizar la necesidad de que sean claras y que haya información accesible para su respuesta. Finalmente, debe considerarse que una excesiva limitación en la formulación de preguntas de evaluación puede dificultar la atención de las necesidades de todos los actores y una amplitud grande podría desvirtuar el alcance del trabajo.

En esta etapa se debe escoger el tipo de evaluación que se va a llevar a cabo entre las posibilidades existentes. Esta elección viene determinada por el contexto y el momento de la evaluación, así como por su objeto y las preguntas que se hayan establecido.

Normalmente, no se definirá la metodología que deberá aplicar el equipo evaluador, por ser una cuestión eminentemente técnica. No obstante, existe una relación estrecha entre la misma y los elementos definidos anteriormente. La labor de la unidad especializada será la que procurar que haya una sincronía elevada entre las conclusiones alcanzadas sobre esos elementos y las posibilidades técnicas reales de ejecutarlas.

La propuesta final de evaluación debe lograr los siguientes hitos:

Definir los criterios de evaluación. Acotar las preguntas de evaluación.

Priorizar las preguntas de evaluación clave. Determinar el tipo de evaluación que se va a ejecutar.

Determinar los plazos en los que se va a desarrollar la evaluación.

Realizar un presupuesto estimado del coste de la evaluación.

1.5 // INSTRUMENTOS, TÉCNICAS Y TEMPORALIZACIÓN DE LA EVALUACIÓN

La naturaleza de la evaluación y la disponibilidad de información antes del inicio del proceso de evaluación condicionan la selección de las técnicas que se van a emplear en la misma. Igualmente, los instrumentos para recabar información adicional están ligados al coste y tiempo que se hayan previsto para la evaluación. La unidad especializada determinará qué técnicas son potencialmente posibles, sin perjuicio de que una versión final se obtenga del dialogo con el equipo de evaluación.

El diseño de la evaluación debe contemplar una previsión de cuándo se van a realizar las distintas tareas. Aunque el cronograma definitivo se establece en la elaboración del Plan de Trabajo junto al equipo de evaluación, en esta fase inicial se tendrán en cuenta los plazos más relevantes, así como los elementos más importantes y los obstáculos que puedan surgir. Para ello, es necesario:

• - Establecer un cronograma inicial en relación a la planificación de la evaluación. Se realiza una estimación de las tareas que realizará el equipo evaluador y del tiempo que consumen. Idealmente, este cronograma debería estar ligado a los componentes de la lógica del programa, de forma que se puede valorar qué partes del mismo requieren una mayor dedicación.
• - Detectar los principales elementos obstáculos. La naturaleza de los mismos dependerá de las especificidades de la intervención a evaluar y de la metodología escogida (especialmente si se opta por una evaluación participativa). No obstante, a priori, la mayor parte de los mismos suelen estar ligados a la recogida de información.
• - Determinar un responsable de supervisar la evaluación.

En función del grado de complejidad del encargo de evaluación se puede establecer la posibilidad de un director de la misma. El responsable sirve de enlace entre el equipo evaluador, la unidad especializada (si se trata de un director ajeno a la misma), la unidad administrativa que lanzó el proceso de evaluación y otras partes involucradas.

El producto final de esta fase son los Términos de Referencia, donde se detalla la naturaleza y condiciones del encargo al equipo evaluador; establecen, por tanto, una ruta para la evaluación. También señalan el tipo de evaluador que se busca. Señalar que, a posteriori, si del intercambio de pareceres entre el equipo evaluador y la unidad especializada se deduce que se deben realizar modificaciones en los Términos de Referencia, es importante informar debidamente al resto de partes interesadas.

1.6 // EL EQUIPO EVALUADOR

A menudo se plantea la necesidad de decidir si la evaluación la realizará una unidad de evaluación interna o un evaluador externo. En caso que se trate de un equipo externo es recomendable nombrar un comité de selección para analizar y valorar las diferentes propuestas recibidas. Resulta conveniente recordar que la evaluación es una actividad interdisciplinar y que tiene, también, entidad en sí misma. Es decir, no se debe realizar una asociación mecánica entre ser experto en un tema concreto y ser experto en evaluación.

La unidad especializada tendrá en cuenta los siguientes aspectos:

Establecer un catálogo de los recursos propios disponibles. Valorar la necesidad de contar con personal externo. Decidir la composición del equipo de evaluación.

02 DESARROLLO DE LA EVALUACIÓN

El rol y tareas a realizar por la institución pública promotora de la evaluación diferirán según se trate de una evaluación interna, externa o mixta. Un elemento común a cualquier tipo de evaluación de una intervención pública es que requiere una forma de organización suficiente que permita gestionar el trabajo y la relación con los agentes involucrados en el desarrollo de la misma. Para ello, será fundamental atender a la realización del trabajo de evaluación y a los aspectos claves necesarios para establecer un modelo de gestión para la evaluación.

2.1 // TRABAJO DE EVALUACIÓN

El primer encuentro entre el encargado de la evaluación y el equipo de evaluación es crucial. Se deberán revisar los Términos de Referencia, actualizando aquellos aspectos que puedan haber variado o que no tenían el grado de desarrollo oportuno ya que dependían de esta reunión. A modo de ejemplo, se exponen algunos de los aspectos que entran dentro de las anteriores consideraciones:

• - Alcance de la evaluación.
• - Elección de técnicas y herramientas según el modelo metodológico del equipo evaluador.
• - Modificación de la planificación temporal inicialmente prevista.
• - Determinar los informes entregables.
• - Establecer las fechas de entrega

El Plan de Trabajo definitivo se concretará basándose en los Términos de Referencia y en la información generada a través del trabajo colaborativo con el equipo de evaluación. En el mismo se debe especificar cómo el equipo evaluador interactúa con los agentes relevantes. En este sentido se pueden identificar tres momentos:

• 1. Antes de empezar el trabajo de recopilación de información para la evaluación. Tras la asignación del trabajo y previo estudio del encargo, el equipo evaluador debería tener una sesión informativa con las partes interesadas para exponer su opinión sobre los términos de referencia. Posteriormente, en función del grado de participación que se establezca, las partes interesadas (al menos la unidad administrativa promotora de la evaluación) deberán intercambiar información para definir de forma precisa las preguntas relevantes y la obtención de información. Este proceso se articula en forma de reuniones informativas y/o de trabajo. En función de la magnitud de la intervención evaluada y del número y características de las partes interesadas, esta etapa puede consumir cierto tiempo.
• 2. Durante el trabajo de evaluación. Normalmente no debería haber interacción (en el campo de la comunicación) salvo en el caso de encargos particularmente complejos. Cuando la naturaleza del encargo permite realizar el análisis de componentes del mismo o cuando se trata de una intervención compleja, sin perjuicio de que se redacten informes intermedios para uso interno, puede ser conveniente transmitir cuál es el estado del encargo a las partes interesadas. No obstante, se debe realizar de forma que no genere distorsiones en el trabajo de evaluación.
• 3. Conclusión del trabajo de evaluación. El producto principal es el informe final, cuyas características se deben especificar en el Plan de Trabajo. Por definición, se trata de un documento técnico y con rigor científico. Por ello, es preciso articular medios para transmitir esa información a un público diverso (partes interesadas y sociedad en general). Este proceso de adecuación se debe definir en el Plan de Trabajo. Normalmente, la unidad especializada determinará el canal y proporcionará apoyo, estando el equipo evaluador encargado de verificar que existe una correspondencia entre la información plasmada en los diversos soportes y el informe final.

El Trabajo de evaluación debe responder a los siguientes objetivos:

Establecer las principales pautas e hitos a tener en cuenta en el desarrollo de la evaluación desde su fase inicial a la de cierre.

Establecer las metas/objetivos del servicio de apoyo.

Informar sobre las actividades a realizar por el equipo de evaluación.

Detallar cómo y cuándo se realizarán los trabajos. Identificar los resultados del trabajo (entregables).

Servir como documento vivo de continua actualización en función de las necesidades del proceso de evaluación.

2.2 // GESTIÓN DEL PROCESO DE EVALUACIÓN

El concepto de gestión de la evaluación hace referencia a la capacidad de la institución para definir, alcanzar y evaluar sus propósitos, con el adecuado uso de los recursos disponibles. Por tanto, se trata del conjunto de acciones y orientaciones que deben seguir los gestores de la evaluación para garantizar que la evaluación se realiza bajo los principios de la eficacia y la eficiencia.

La Tabla 3 establece una breve diferenciación entre las funciones de gestión básicas atribuidas al personal evaluador y al personal gestor de la evaluación.

TABLA 3. FUNCIONES BÁSICAS DEL PERSONAL EVALUADOR Y DEL GESTOR DE LA EVALUACIÓN

Fuente: Guía de Evaluación de Políticas Públicas del Gobierno Vasco.

03 INFORME FINAL, COMUNICACIÓN Y DIFUSIÓN

3.1 // INFORME DE RESULTADOS DE LA EVALUACIÓN

El informe final de evaluación constituye el elemento clave del proceso. Su naturaleza debe estar ajustada al público al que se orienta. En todos los casos, no se debe olvidar el carácter práctico de la evaluación y su orientación hacia el apoyo de la intervención evaluada para su mejora.

El informe final debe contener una serie de elementos básicos:

• 1. Naturaleza del encargo, donde se describe el objeto y ámbito.
• 2. Descripción del contexto en el que se desarrolla la intervención.
• 3. Contenido y metodología de la evaluación, donde se debe explicar cómo se ha desarrollado la evaluación, teniendo en cuenta la naturaleza del encargo. En particular, se abordan cuestiones relacionadas con la lógica de la intervención, principios analizados, preguntas realizadas, información empleada y técnicas de recolección de datos y análisis, y, finalmente, condicionantes y limitaciones que hayan podido surgir en el proceso.
• 4. Análisis e interpretación. Constituye el núcleo del informe. Todo el proceso de análisis gira en torno a las preguntas que se pretenden responder con la evaluación. Las respuestas que se ofrezcan deben estar basadas en el tratamiento riguroso de la información obtenida.
• 5. Conclusiones y recomendaciones. Conforma la parte propositiva del informe y la que aporta valor a la evaluación, puesto que es donde se realizan las sugerencias y recomendaciones que pueden mejorar la intervención estudiada.

El Informe Final deberá incluir

Naturaleza del encargo. Descripción del contexto.

Contenido y Metodología de la evaluación. Análisis e interpretación.

Conclusiones y recomendaciones.

Es recomendable establecer un seguimiento de las recomendaciones realizadas.

3.2 // COMUNICACIÓN Y DIFUSIÓN

La comunicación y difusión de la evaluación, tal y como señalábamos en la sección segunda, tiene el objetivo de generar conocimiento y rendir cuentas ante la sociedad. El plan de comunicación debe estar alineado con el objetivo de una evaluación, es decir, mejorar la intervención analizada y ofrecer recomendaciones y consejos a la organización. Es decir, no se trata solo de comunicar el resultado de la evaluación, sino hacerlo de tal forma que coadyuve a la mejora de la intervención y a generar una cultura de evaluación.

Las actuaciones a realizar dependerán de la intervención evaluada.

ESQUEMA FINAL. GUÍA DE EVALUACIÓN DE PLANES, PROGRAMAS, PROYECTOS O SERVICIOS PÚBLICOS EN LA REGIÓN DE MURCIA

Sección Primera. Marco general: Contexto normativo y marco conceptual.

1. Marco normativo.

2. Conceptos básicos y principios de la evaluación.

3. Elementos de la evaluación.

Sección Segunda. Sistema de evaluación en la Región de Murcia.

1. Introducción a la metodología propuesta.

2. Naturaleza del objeto evaluable.

3. Evaluabilidad.

4. Evaluación estratégica: criterios de selección de intervenciones para su evaluación.

5. Criterios de selección de proyectos para su evaluación.

6. Participación ciudadana en la evaluación..

Sección Tercera. Diseño de la evaluación en la Región de Murcia.

1. Plan de trabajo.

2. Desarrollo de la evaluación.

3. Informe final, comunicación y difusión.

GLOSARIO

Acción: Actividad o trabajo de las administraciones realizado con el fin de transformar recursos en resultados. Conjunto de proyectos de similares características que persiguen un objetivo común, visualizado en planes, programas o estrategias.

Agentes: Entidades, organizaciones, grupos o particulares que tienen un interés directo o indirecto en la política o en su evaluación.

Análisis coste-beneficio: Procedimiento para evaluar la conveniencia de un proyecto sopesando costes y beneficios, incluyendo aquellos costes y beneficios para los cuales el mercado no existe o para los cuales no provee un medida satisfactoria de valor económico. Este análisis entraña por lo general la utilización de precios contables. Puede ser llevado a cabo tanto antes como después de la ejecución de un programa.

Análisis coste-efectividad: Estudio de las relaciones entre el coste del proyecto y los resultados, expresándolos como coste por unidad de resultado logrado. Se usa cuando no puede dársele fácilmente un valor monetario a los resultados.

Análisis de políticas públicas: Área de investigación centrada en el estudio de las fases de los procesos de formación de políticas y programas.

Auditoría: Actividad de control independiente y objetiva que tiene como fin añadir valor y mejorar las operaciones y/o los procesos de una organización.

Beneficiarios: Individuos, grupos u organismos que se benefician, directa o indirectamente, de una intervención, hayan sido o no los destinatarios de la intervención.

Coherencia externa: Compatibilidad tanto de los objetivos como de la estrategia de un programa con otras políticas o programas con los que pueda tener sinergias o complementariedad en el tiempo o en el espacio.

Coherencia interna: Hace referencia a la articulación de los objetivos con los instrumentos de la estrategia y su adecuación con los problemas.

Contexto: Elementos del entorno, tanto económicos, políticos, legales, institucionales, u otros del plan, programa o estrategia afectan a la misma de forma directa o indirecta.

Coordinación: Todas las actuaciones, estructuras y procedimientos que realizadas por diferentes agentes e instituciones tienen el objetivo de alcanzar el desarrollo integrado de su área de actuación.

Coste de oportunidad: El valor de un recurso en su mejor alternativa de utilización, esto es el valor de la alternativa a la que se renuncia.

Criterios de evaluación: Categorías generales de análisis para establecer los juicios de valor referentes a una intervención, que sirven de referencia para estructurar las cuestiones a las que la evaluación debe dar respuesta.

Eficacia: Nivel o grado en el que se alcanzan los objetivos de un programa.

Eficiencia: Es la relación entre resultados de una actividad y los recursos usados para conseguir los mismos. Las medidas de eficiencia pueden ser usadas en el análisis de programas alternativos para ver si el mismo efecto podría ser alcanzado con menos recursos.

Encuesta: Técnica de investigación sociológica que implica la adminis- tración de cuestionarios a la población objeto de estudio para recopilar sistemáticamente información.

Evaluabilidad: Medida en que puede evaluarse una actividad o un programa de manera fiable y creíble.

Evaluación: Área de investigación cuya finalidad es valorar la utilidad y bondad de la intervención pública mediante la aplicación de un conjunto de técnicas aplicadas en distintos campos de las ciencias sociales.

Evaluación ex-ante: Evaluación que se realiza antes de la puesta en marcha y ejecución del programa, usualmente como parte de la planificación del programa.

Evaluación ex-post: Evaluación que se realiza una vez que el programa se ha ejecutado.

Gestión de programas: Procesos, criterios y mecanismos puestos en marcha para la ejecución de programas.

Gestión Pública: Mecanismos de decisión para la asignación y distribución de los recursos públicos y la coordinación y estímulo de los gestores para lograr objetivos colectivos.

Grupos de interés: Grupos organizados para perseguir intereses espe- cíficos en el escenario político, económico, social, etc., que funcionan ejerciendo presión sobre otros grupos.

Indicador: Expresiones cuantitativas y/o cualitativas de la realidad objeto de estudio. Constituye una de las formas más relevantes de sistematizar información.

Indicador de impacto: Medida que puede ser usada para definir resultados, esperados o no y deseables o no, de la política o programa.

Indicador social: Medida diseñada para analizar el curso de un problema social a lo largo del tiempo.

Instrumento: El mecanismo elegido para alcanzar un objetivo, por ejemplo una ayuda o una nueva regulación.

Intervención: Cualquier programa, plan, política u otra forma de planifi- cación diseñada para producir cambios en la población objetivo.

Muestreo: Selección de una proporción de individuos o casos a partir de una gran población.

Objetivo del proyecto o programa: Se refiere a los resultados físicos, financieros, institucionales, sociales, ambientales o de otra índole que se espera que el proyecto o programa contribuya a lograr.

Objetivo específico: Es la razón inmediata de un proyecto. El efecto que se espera que el proyecto vaya a lograr si se completa con éxito y a tiempo.

Objetivos finales: Declaraciones específicas mediante las cuales se considera el cumplimiento deseado de los programas de intervención social. Las razones principales por las que un programa/política existe. Se encuentran en el primer nivel de la jerarquía de objetivos.

Pertinencia: El grado en que la argumentación y los objetivos de un proyecto son, o siguen siendo, adecuados, significativos y válidos en relación con las necesidades y preocupaciones prioritarias identificadas.

Planificación: Proceso de convertir las metas en objetivos, de tal manera que se formulen los planes, programas o estrategias y se definan las poblaciones destinatarias y adecuadas.

Programa: Grupo de proyectos o servicios relacionados y dirigidos hacia el logro de objetivos específicos (generalmente similares o relacionados).

Proyecto: Nivel más concreto de programación o unidad mínima de pla- nificación. Intervención planificada destinada a lograr ciertos objetivos específicos con un presupuesto dado y dentro de cierto período de tiempo.

Rendición de cuentas: Obligación de demostrar que se ha efectuado el trabajo cumpliendo con las reglas y normas acordadas o de declarar de manera precisa e imparcial los resultados obtenidos en comparación con las funciones y/o planes encomendados.

Retroalimentación: Método de control de sistemas de calidad en el cual los resultados obtenidos de una tarea o actividad son utilizados nuevamente en el sistema con el fin de mejorar los resultados.

Seguimiento: Función continua que utiliza una recopilación sistemática de datos sobre indicadores especificados para proporcionar a los administradores y a las partes interesadas principales de una política pública, indicaciones sobre el avance y el logro de los objetivos así como de la utilización de los fondos asignados.

BIBLIOGRAFÍA

Agencia de Evaluación de las Políticas Públicas (2007): «El marco común de la evaluación».

Agencia de Evaluación de las Políticas Públicas (2009): «La función evaluadora: principios orientadores y directrices de actuación en la evaluación de políticas y programas».

Agencia de Evaluación de las Políticas Públicas (2009): «Modelo EVAM: Modelo de evaluación, aprendizaje y mejora».

Bozzini, E. y Hunt J. (2015): «Bringing evaluation into the policy cycle: CAP cross compliance and the defining and re-defining of objectives and indicators», European Journal of Risk Regulation, Vol. 6, No. 1, pp. 57-67.

Comisión Europea (2007): «Responding to strategic needs: reinforcing the use of evaluation», 21 de febrero de 2007, SEC (2007) 213.

Feinstein O. y Zapico-Goñi, E. (2010): «Evaluation of government performance and public policies in Spain», ECD Working Paper Series, Nº22, FONAES (2007): «La evaluación del desarrollo económico y del empleo a nivel local: un panorama con recomendaciones de políticas públicas». Basado en OCDE (2004): «Evaluating local economic and employment development: How to assess what works among pro- gram and policies», traducido al español por FONAES.

Garde Roca, J. A. (2006): «La evaluación de políticas públicas y su institucionalización en España», Papeles de la Agencia de Evaluación y Calidad, Nº3.

Gertler, P. J., Martínez S., Premand, P., Rawlings, L. B., y Vermeersch, C. M.J.

(2017): «La evaluación de impacto en la práctica», Banco Mundial.

Hojlund, S. (2015): «Evaluation in the European Commission: for account- ability or learning?», European Journal of Risk Regulation, Vol. 6, No. 1, 35-46.

Ligero Lasa, J. A. (2011): «Dos métodos de evaluación: Criterios y teoría del programa», Documento de trabajo, serie CECOD, Nº15.

Martinaitis Z., Christenko A. y KrauciOniené, L. (2015): «Evaluation systems: How do they frame, generate and use evidence?», European Journal of Risk Regulation, Vol. 6, No. 1, 46-61.

Merino, M. (2007): «La evaluabilidad: de instrumentos: de gestión a herramienta estratégica en la evaluación de políticas públicas», Papeles de la Agencia de Evaluación y Calidad, Nº7.

Meuwese, A., Scheltema M. y van der Velden, L. (2015): «The OECD Frame- work for Regulatory Policy Evaluation: An Initial Assessment», Europe- an Journal of Risk Regulation, Vol. 6, No. 1, pp. 101-110.

Smismans, S. (2015): «Policy evaluation in the EU: The challenges of linking ex ante and ex post appraisal», European Journal of Risk Regulation, Vol. 6, No. 1, 6-26.

OECD (2002): «Glosario de los principales términos sobre evaluación y gestión basada en resultados».

OECD (2013): «Evaluating Development Activities 12 Lessons from the OECD DAC».

Osuna Llaneza, J. L. y Márquez Guerrero, C. (2000): «Guía para la evaluación de políticas públicas», Instituto de Desarrollo Regional-Fundación Universitaria.

Ramírez, R. y Brodhead, D. (2013): «Las evaluaciones orientadas al uso: Guía para evaluadores», Southbound Sdn. Bhd.

Ruiz A. (directora) (2015): «Guía práctica para el diseño y la realización de evaluaciones de políticas públicas». Agencia de Evaluación de las Políticas Públicas.

Spaulding, D. T. (2019): «Program evaluation in practice», Segunda edición, Jossey-Bass, Estados Unidos.

W.K. Kellogg Foundation (1998): «Evaluation Handbook: Philosophy and Ex- pectations».

World Health Organization (2013): «WHO evaluation practice handbook».

GUÍAS SOBRE EVALUACIÓN

Agencia Estatal de Evaluación de las Políticas Públicas y la Calidad de los Servicios (2010): Fundamentos de evaluación de políticas públicas. Guías AEVAL. Ministerio de Hacienda y Administraciones Públicas.

Agencia Estatal de Evaluación de las Políticas Públicas y la Calidad de los Servicios (2015): Guía práctica para el diseño y la realización de evaluaciones y de políticas públicas. Guías AEVAL. Ministerio de Hacienda y Administraciones Públicas.

Gobierno de Navarra (2013): Protocolo de Evaluabilidad de las políticas públicas en la Comunidad Foral de Navarra

Institut catalá d’Avaluació de Polítiques Públiques (2009): Guía práctica Cómo iniciar una evaluación: Oportunidad, viabilidad y preguntas de evaluación. Colección Ivàlua de guías prácticas sobre evaluación de políticas públicas Generalitat de Catalunya.

Gobierno Vasco: Guía de Evaluación de Políticas Públicas del Gobierno Vasco. Dirección de Innovación y Administración Electrónica del Departamento de Justicia y Administración Pública del Gobierno Vasco.