Este artículo pretende servir de orientación para todas aquellas administraciones y gestores que, además de estar inmersos en la ejecución de la Agenda 21 Local (en cualquiera de sus fases), ven necesario introducir elementos propiamente dichos de evaluación y seguimiento en este proceso, más allá de meras impresiones y valoraciones intuitivas.

Asimismo, con el texto que aquí presentamos, se busca facilitar unos mínimos consensos en el lenguaje técnico utilizado entre los profesionales dedicados al desarrollo sostenible, y, más concretamente a la Agenda 21 Local.

A continuación se presentan unas ideas básicas, y esperemos que clarificadoras, sobre la Evaluación y el Seguimiento de Agendas 21 Locales (en adelante A21L). La necesidad de escribir este artículo, aquí y ahora (España, 2004), surgió, entre otros, a raíz de los siguientes motivos:

• No existe, ciñéndonos al menos a España, un discurso y unos argumentos mínimamente construidos alrededor de la Evaluación de las A21L. Esta ausencia se sustituye por otro discurso, bastante más simplificado, sobre los objetivos y acciones de la propia A 21L, siendo esto insuficiente. Hablar de qué buscamos en cada A21L y con qué actuaciones lo conseguimos no es hablar de Evaluación. Es frecuente, también, que el atractivo y genérico rótulo de “Evaluación” se cuelgue a posteriori sobre cualquier análisis o reflexión de una A21L, cuando en realidad, como veremos a lo largo de estas páginas, la Evaluación es una actividad diferenciada, con una metodología propias y una característica imprescindible: la sistematicidad.
  
• A los hechos anteriores se añade la confusión de lenguaje, pero también de conceptos, que existe entre el Seguimiento y la Evaluación de las A21L. Sobre el primero disponemos en España de cierta bibliografía y algunas experiencias concretas que hacen que esta metodología esté más trabajada y más asumida por parte de las administraciones locales No obstante, la confusión se hace más intensa al abordar el tema de los Indicadores (1). Como veremos más adelante, si bien los indicadores de sostenibilidad presentes en el Seguimiento pueden ser un buen punto de apoyo para la Evaluación, no son en absoluto suficientes, teniendo que crearse específicamente indicadores de evaluación que guarden relación con las necesidades informativas y los criterios de evaluación seleccionados.
  
• Con el mencionado panorama de confusión y el déficit en la elaboración práctica de estos temas, es comprensible la existencia (hasta ahora) de actitudes negativas por parte de los técnicos encargados de la A21L cuando se alude al Seguimiento o la Evaluación. Encontramos distintas reacciones: escepticismo, temor por el desconocimiento de estas metodologías, su consideración como algo secundario o temporalmente posterior al inicio de la A21L, o el conformarse con otros “métodos” simplificados, de tipo estándar, obviando así la existencia de un contexto decisivo, etc.

Existen por tanto diversas barreras a la asunción del Seguimiento y la Evaluación como elementos indispensables de la A21L: barreras actitudinales, confusión terminológica y conceptual, desconocimiento del modo de proceder, insuficientes recursos, etc. No obstante, también se han detectado entre algunos técnicos firmes expectativas acerca de las oportunidades de mejora que pueden suponer el Seguimiento y la Evaluación, así como importantes demandas de información sobre los pasos que comprenden estos procesos.

Desde este artículo queremos servir de estímulo y ayuda para todos, independientemente de su actitud, pues creemos que primero hay que conocer en qué consiste el Seguimiento y la Evaluación en A21L, para así tener mejores y más sólidos argumentos.

(1) Aunque detenernos en ello excedería el objetivo de este artículo, conviene alertar sobre el peligro tecnocrático que encierra un énfasis excesivo en la búsqueda de indicadores de Seguimiento de la A21L. Un sistema de indicadores que no sea difundido y comprensible para los participantes en la A21 es una forma de distanciamiento y de bloqueo a la participación de la ciudadanía. Esta precaución es aplicable también en Evaluación.

En los últimos años estamos asistiendo en España a una progresiva implantación de A21L en municipios con características muy dispares entre sí, ya sea por su tipología ambiental urbana o rural, su tamaño demográfico, su ubicación geográfica, o su especialización sectorial, entre otros rasgos. Esta proliferación de A21L como instrumentos de planificación sostenible y de dinamización social, económica y ambiental en diversos territorios, contrasta con la escasez de iniciativas de Seguimiento y Evaluación paralelas a ellas.

Existen en las A21L muchos aspectos que hacen entrever su potencial evaluativo, pero hasta ahora parece que apenas se ha reparado en ello. Al menos, creemos que hay 8 temas que inciden en ello.

1. La peculiaridad de la A21L como forma de actuación pública . En Políticas Públicas existen distintos niveles de intervención, del más pequeño al más grande, que a modo de “muñecas rusas”, pueden ser: Proyecto, Programa, Plan, Política Pública, Estrategia. Por su transversalidad, y superando los habituales sesgos ambientalistas, una A21L potente puede llegar a convertirse en una estrategia central de desarrollo local. En otras ocasiones, quizás su desarrollo sea lento y una A21L se sitúe en el nivel de Proyecto, sin apenas impacto o interrelación con otras líneas de acción municipales, pero precisamente por eso merecerá ser evaluada.
   
2. La A21L como proceso exploratorio, dinámico y estratégico , que pone en conexión las políticas públicas locales con los desafíos de la sostenibilidad.
   
3. La A21L y su complejidad , derivada de varios factores: la interdependencia, la participación de múltiples actores, el carácter multidimensional de los objetivos generales, y la necesidad de armonizar exigencias dispares (ej. conservación-explotación de recursos).
   
4. Promotores y responsables indirectos de la A21L . El papel promotor corresponde al ámbito municipal o comarcal. No obstante, no debe desestimarse la responsabilidad de las Diputaciones Provinciales, de las Comunidades Autónomas y del Estado en la coordinación de estrategias globales y en la colaboración con recursos económicos, humanos o técnicos.
5. Importancia del contexto : no hay dos A21L iguales. Cada A21 parte de un territorio y de unos retos de sostenibilidad concretos, intransferibles a otra A21.
   
6. Repercusiones de la A21L a corto, medio y largo plazo . La A21L juega con amplios periodos temporales, y no debería verse como un punto de llegada, sino como una retroalimentación y revisión constante.
   
7. La evaluación de la A21L como apuesta pionera . Hasta el momento, en el Estado español existe en general poca Cultura Evaluativa, es decir, no está todavía asumida y normalizada la función de la Evaluación en cualquier actuación financiada con fondos públicos.

Existen diversas metodologías que pueden aplicarse al ámbito de una política pública. Aunque puedan parecer coincidentes en el objeto sobre el que se centran, son en realidad claramente diferentes entre sí.

A continuación se expone una breve caracterización de cada una de estas metodologías.

Observatorio . Estudia problemáticas generales que tienen impacto sobre la población a través del conocimiento de la evolución periódica de esa realidad y de sus políticas asociadas con datos empíricos. (Ejemplo: un Observatorio autonómico sobre la Violencia de Género).

I nvestigación . Es un modo de indagación académico, de carácter básico o aplicado, que busca la construcción acumulativa de conocimientos, y en el que es importante conocer exhaustivamente el objeto a investigar.

Auditoría de Calidad . Con una función predominante de inspección, esta metodología aborda la normalización de procesos hasta convertirlos en procedimientos. Por ser la Calidad un término muy popularizado, se suele asumir, erróneamente, que una evaluación versa exclusivamente sobre un estudio de calidad.

Seguimiento . Se busca comprobar que el programa va cumpliendo objetivos, calendario y recursos. El seguimiento tiene varias funciones: controlar, realizar ajustes, favorecer la retroalimentación y el aprendizaje organizativo.

Evaluación . Podemos definir la Evaluación como un proceso sistemático de recopilación de información y de hechos que permiten determinar el valor o el mérito de un proyecto, programa o política pública, y hacer una serie de conclusiones y recomendaciones para su mejora.

En contraste con las metodologías descritas anteriormente, la Evaluación tiene las siguientes notas características:

• Es un modo de indagación de carácter práctico.
• Tiene un carácter aplicado, pues su objeto son programas y actuaciones concretas.
• Al conocimiento del programa evaluado hay que añadir sólidos conocimientos metodológicos sobre Evaluación.
• Tiene una temporalidad ajustada: se pide evaluar algo en un plazo determinado.

También conviene hacer algunas puntualizaciones sobre lo que NO es una Evaluación:

• La Evaluación no juzga ni evalúa a las personas: hay que alejarse de cualquier visión polarizada de la Evaluación, ya que sus resultados en ningún caso supondrán un premio o un castigo.
• La Evaluación no es una fiscalización: la Evaluación no supone detenerse en el maniqueísmo de ver qué cosas se han hecho bien y cuáles mal. Esa puede ser una fase del proceso, pero la Evaluación va más lejos que eso, y sus conclusiones finales son más matizadas.
• La Evaluación no es un resultado único o una puntuación: las recomendaciones en las que culmina una Evaluación son variadas, abordan tanto los puntos a mejorar como aquellos otros que funcionan bien y se deben mantener.

Por último, nunca debe olvidarse que la Evaluación debe tener dos atributos: ser útil y resultar práctica. Útil en el sentido de que la Evaluación dará lugar, tras una secuencia lógica y sistemática de pasos, a unas recomendaciones que hagan posible ajustar las futuras acciones. Igualmente, la Evaluación deberá ser práctica, en el sentido de que parte de un contexto concreto, y tiene que dar respuesta a las necesidades que en él se plantean, y hacerlo en el momento oportuno.

Dedicamos este apartado específicamente a hablar sobre Indicadores de Sostenibilidad y de Evaluación, por las dificultades que suele generar su diferenciación. Esta separación de indicadores no debe entenderse como un prurito de sofisticación técnica, sino que responde a dos realidades efectivamente diferentes.

Una idea clave a resaltar es que los Indicadores de Sostenibilidad pueden ser una fuente de información muy útil para la Evaluación, pero siempre será necesario completarlos con otros indicadores que den información adicional sobre aspectos no tratados en los primeros. Es ahí donde radica la importancia de los Indicadores de Evaluación.

Centrándonos en cómo suelen utilizarse los indicadores en A21L, cuando se habla del Sistema de Indicadores Municipales (o más comúnmente Ambientales), todos solemos referirnos a recogidas periódicas de datos sobre aspectos del entorno relacionados con la sostenibilidad.

Se parte entonces del supuesto, no siempre contrastable, de que la evolución de esas dimensiones del entorno dependen decisivamente de la A21L implantada. Este supuesto habría que cuestionarlo, ya que pueden estar interviniendo variables extrañas y efectos externos no controlados.

También es probable que el equipo técnico llegue a la fase de Indicadores con cierto desgaste por toda la complejidad del proceso de A21L, y no se haga una reflexión adecuada sobre qué indicadores son los más adecuados para “mi” pueblo”, “mi” ciudad o “mi” comarca, en relación con las variables estratégicas detectadas en el Diagnóstico, o con otras que hayan podido surgir después.

Tampoco se medita suficientemente qué indicadores serán más fácilmente entendibles por los ciudadanos. ¿Por qué no difundir, o incluso consensuar, el sistema de indicadores, si es una etapa más en la A21L?

A modo de síntesis aclaratoria, los rasgos de unos y otros tipos de Indicadores son los que se muestran en el siguiente cuadro. Esta diferenciación debe entenderse como una aproximación metodológica de carácter general sobre este tema.

Por último, conviene siempre que el Sistema de Indicadores, ya se trate de Seguimiento o de Evaluación, sea sencillo y manejable. Esto tiene que ser uno de los objetivos más importantes en la planificación de la batería de indicadores.

Lo que a continuación se presenta es un marco de referencia, teórico (aunque en Evaluación la teoría y la práctica caminan muy próximas), una propuesta general, adaptable, que quiere invitar, al menos, a la reflexión, y a generar la tan necesaria Cultura Evaluativa en el campo de las A21L.

La Evaluación tiene que acabar siendo un instrumento de mejora lo suficientemente abierto y posibilista como para adoptar diferentes formas, según el perfil de A21L ante el que nos situemos. Crear una herramienta estándar y cerrada, que obvie las peculiaridades de cada proceso de sostenibilidad, aportará si acaso una tranquilidad pasajera, propia de la obsesiva creencia en “la verdad” de los datos numéricos. Métodos de autoevaluación, como la reciente iniciativa promovida por ICLEI “”Local Evaluation 21” ( www.localevaluation21.org ), son muy positivos como paso inicial y para la divulgación de los beneficios de un proceso evaluador, pero, a nuestro entender, nunca podrán suplir otros modos de evaluar mucho más participativos, continuos e integrados en el propio devenir de la A21L.

El acervo teórico de la Evaluación en Políticas Públicas es tan amplio que aquí únicamente haremos mención a los aspectos que nos parecen más importantes para el tema de las A21L en cuestión.

Antes que nada, conviene hacer una diferenciación de tres tipos de evaluaciones existentes, según dónde centremos la atención:

Evaluación conceptual o de diseño . Poco conocida, pero especialmente efectiva, por ejemplo, para evaluar la estructura y los contenidos del Diagnóstico, el documento final del Plan de Acción, o las fórmulas de participación social elegidas.

Evaluación del proceso de implementación (la puesta en práctica). Muy brevemente, diremos que sobre todo se pueden evaluar aquí las actividades participativas, así como la puesta en marcha de las medidas del Plan de Acción. También puede referirse al proceso general, “macro”, de puesta en práctica de la A21 desde la firma de la Carta de Aalborg.

Evaluación de resultados . Es este tipo de evaluación la que generalmente tiene más aceptación, sería algo así como “acabo mi A21L y entonces ya veré cómo ha ido y en qué se ha concretado”. Pero, si hemos dicho que la A21L no es un punto de llegada, su evaluación no debería estar exclusivamente referida a los resultados, ni al eje “éxito-fracaso”. En cualquier caso, se trataría de ver si se han cumplido los objetivos (y cómo), y estudiar los efectos de la A21. El freno de pautas insostenibles suele ser uno de los principales objetivos, y en ese tipo de mediciones se vienen centrando las evaluaciones. Pero puede haber muchos otros objetivos pendientes de medir (Por ejemplo, el fomento del tejido asociativo del municipio a raíz de la A21L).

Por otro lado, la definición más concreta de los aspectos a evaluar podrá contar con hasta tres entradas de información: datos y literatura especializada sobre el tema (A21L), la visión del propio equipo evaluador y de otros expertos y por último, y la más interesante, a través de las Necesidades Informativas de los “stakeholders” o agentes participantes en el programa. Empieza aquí nuestra propuesta metodológica propiamente dicha.

Las Necesidades Informativas señalan qué espera cada representante respecto a la Evaluación, qué les preocupa más saber acerca de la A21L. En definitiva se trata, coloquialmente, de conocer “cómo le sienta y dónde le aprieta el zapato de la A21L a cada agente”.

Una vez dado este paso básico de detección de las Necesidades Informativas, el resto del proceso se basa en él. En el siguiente gráfico se muestra la secuencia del proceso.

En relación con los Criterios , éstos cumplen un papel esencial en toda Evaluación, ya que permiten dar sentido estructurante a la información contenida en las Necesidades Informativas. Por otro lado, permiten orientar y ordenar desde fases tempranas las prioridades en la Evaluación.

La definición y selección de criterios es una labor emergente que corresponderá al equipo evaluador de cada A21L en particular. Lo señalado aquí en materia de Criterios debe entenderse como una aproximación general.

Tradicionalmente, se han manejado en Evaluación cinco criterios básicos de referencia: Eficacia, Eficiencia, Impacto, Viabilidad y Pertinencia . No corresponde hacer aquí un desarrollo teórico de estos criterios. Simplemente, añadiremos que para el ámbito específico de A21L pueden ser útiles otros criterios añadidos, según lo manifiesten las NI, como: Participación, Visibilidad y Difusión, Transparencia, Transversalidad, Coherencia, Coordinación o Cobertura .

Hasta aquí nuestra propuesta metodológica de Evaluación, que, como se ha señalado a lo largo del artículo, estará estrechamente relacionada con el contexto concreto de cada A21L. A lo largo de estas páginas hemos querido plasmar la relevancia de los procesos evaluadores y los conceptos básicos a tener en cuenta. Queda así abierta una vía a explorar sobre los desarrollos teóricos y prácticos en materia de A21L, donde la Evaluación sea una parte inherente y fundamental de la misma.