En los proyectos de animación cultural destacamos cinco elementos esenciales en la evaluación:

• Reflexión: referida a los tres momentos en los que se da o ha dado  la intervención social: presente, pasado y futuro, siendo preciso acotar sobre qué centrar el análisis en cada uno de esos momentos, pues con su elección se determina la utilidad de la evaluación y con ello su éxito.

• Valor: referido a atribuir méritos o deméritos a aquello en lo que hemos decidido centrar la atención en base a unos criterios, o aspectos a tener en cuenta.

• Informaciones: la evaluación está muy unida a los procesos de búsqueda de información, en este punto solemos confundir evaluación e investigación, pues ambas utilizan los mismos métodos y técnicas para el acercamiento a la realidad social, no obstante no son lo mismo. Según Pablo de la Rosa la investigación sólo usa valores relativos a la calidad (rigor) de la información obtenida, mientras que la evaluación emite juicios sobre lo observado; la investigación establece generalizaciones, mientras que la evaluación pretende facilitar la toma de decisiones; la investigación  busca explicar la realidad y propone y contrasta teorías, si embargo la evaluación informa sobre la acción y sus efectos además de orientar la intervención.

• Mejora: la evaluación pretende contribuir al incremento de la calidad y eficacia, favoreciendo así la superación de obstáculos, rectificación de estrategias.

• Satisfacción de necesidades: relacionadas con obtener información útil para tomar decisiones por parte de  los profesionales y de las organizaciones, así como permitir conocer en qué medida los diferentes implicados ven satisfechas sus necesidades, las cuáles justificaron la inversión e intervención y si éstas están siendo atendidas de forma adecuada.

Características y criterios de la evaluación en los proyectos de animación cultural:

Para llegar a obtener conclusiones que permitan tomar decisiones y mejorar la intervención de animación cultural, toda evaluación debe cumplir las siguientes características  y criterios:

• Eficacia. En qué medida se han logrado los objetivos y resultados previstos.

• Eficiencia.  Relación entre los resultados obtenidos y los recursos utilizados. Un proyecto será eficiente cuando se utilizan menos recursos para lograr un mismo objetivo.

• Idoneidad. En qué medida el proyecto responde a las necesidades de sus destinatarios. Relación entre proyecto necesario y proyecto real.

• Utilidad. Las actividades o acciones realizadas son provechosas para las personas implicadas en el proyecto, y permiten alcanzar los objetivos marcados.

• Impacto. Valoración de las consecuencias del proyecto, pueden ser previstas o no, pueden ser positivas o negativas.

• Viabilidad. Capacidad de los resultados obtenidos de permanecer en el tiempo

• Suficiencia. En qué medida las acciones realizadas fueron suficientes y adecuadas para alcanzar los objetivos marcados.

• Participativa. Ha de procurar integrar a la mayoría de agentes implicados en la intervención.

• Sistemática. Porque responde a una metodo­logía planificada e intencionada.

Según Vergara Espinoza, además la evaluación deberá ser:

• Objetiva. Aplicando procedimientos y herramientas de evaluación que nos eviten caer en lo subjetivo.
• Fiable. La evaluación incluye pruebas de evaluación fiables (cuando aplicada a las mismas personas en distintas ocasiones produce resultados similares). Ej. cuestionario de satisfacción.
• Válida. Exige que los datos o la información que obtenemos se ajusten a la realidad que es­tamos evaluando. Está vinculada a que los ins­trumentos utilizados midan realmente lo que queramos medir y no otras cosas.
• Oportuna. Debe ser aplicada en el momento adecuado, para que no se produzcan distorsiones de la situación evaluada, además sus conclusiones deberán ser entregadas en el momento oportuno.
• Práctica. Estará condicionada por el destino que se le quiera dar, debiendo servir de inicio al proceso de toma de decisiones en relación a la situación evaluada.

Podemos realizar distintos tipos de clasificación de los tipos de evaluación de los proyectos de animación cultural, aludiendo a una serie de aspectos o criterios:

• Según el objeto de la evaluación:

  • Evaluación del procedimiento, se evalúa el diseño y se intenta:

    • Garantizar su cohe­rencia y contribuir a su aplicabilidad.

    • Evaluar cada uno de los elementos del proyecto valorando su viabilidad y la coherencia entre ellos.

  • Evaluación del proceso: se evalúa la implementación del proyecto.

  • Evaluación de resultados: eficacia y efectividad del proyecto.

• Según su función o propósito:

  • Formativa: aporta información mientras se está realizando el proyecto, aporta datos que ayudan a cambiar  el proceso y adecuarlo a las circunstancias.(coincide con la “evaluación durante” siguiendo el criterio tiempo).

  • Sumativa: se realiza al final del proyecto, establece relación objetivos previstos y la consecución de los mismos, coincide con la “evaluación final” siguiendo el criterio tiempo.

• Según momento de la evaluación:

  • Ex ante: se realiza con anterioridad a la ejecución. Trata de conocer la situación inicial antes de poner en marcha una acción, también llamada “evaluación inicial o de diagnóstico”, se realizan las siguientes acciones:

    • Identificar las características del contexto: circunstancias sociales, oportunidades, problemas (causas, consecuencias y posibles soluciones), posibles beneficios del proyecto, percepción de los destinatarios del problema, etc.

    • Evaluar si existe claridad y coherencia entre recursos existentes, necesidades detectadas y los objetivos que se platean inicialmente.

  • Durante: durante el momento de la implementación, también llamada evaluación del proceso, y según la función o propósito: “evaluación formativa o de seguimiento, se realizan las siguientes acciones:

    • Comprobar de qué manera se va desarrollando la intervención.

    • Facilitar la toma de decisiones sobre la necesi­dad de modificar o reorientar la intervención, permitiéndonos introducir cambios y ajustes necesarios para mejorar los resultados.

    • Medir la forma en que se funciona y la calidad de las actuaciones y acciones del proyecto.

    • Evaluar cada uno de los elementos del proyecto durante la ejecución del mismo.

  • Final: al final todas las acciones programadas y al final del proyecto, también llamada según la función o propósito:  “evaluación sumativa o de resultados”,  se realizan las siguientes acciones:

    • Valorar los efectos o la repercusión del proyecto.

    • Evaluar la consecución de los objetivos y obtención de resultados y nos permite pronunciarnos sobre el éxito o el fracaso de la interven­ción diseñada y ejecutada.

    • Ayudar a la toma de decisiones futuras y a verificar la eficacia y la rentabilidad de los resultados.

    • Evaluar: las actividades realizadas, los resultados obtenidos (relación coste beneficios), los procedimientos o métodos utilizados, la adecuación y aprovechamiento de los recursos, el impacto (en la propia institución y en la comunidad),  los efectos en las personas benefi­ciarias, la organización y participación de sus protagonistas, etc.

  • Ex post o retrospectiva: se realiza transcurrido un tiempo, para conocer el impacto de la intervención.

• Según metodología de la evaluación:

  • Evaluación cuantitativa. Los datos recogidos son numéricos, de acuerdo con indicadores cuantificables, y siguen las normas de la metodología estadística. Se busca primordialmente la objetividad y resultados.

  • Evaluación cualitativa. Observa variables no medibles directamente de forma numérica. La objetividad y los resultados no constituyen el objetivo prioritario, sino que valora especialmente los motivos, efectos no deseados, las opiniones, etc.

  • Cuantitativa y cualitativa.

• Según agentes y sujetos implicados en la evaluación:

  • Autoevaluación. Es aquella evaluación que al­guien hace de sí mismo. Para que pueda reali­zarse es necesario conocer el proyecto, sus ob­jetivos, recursos, etc.

  • Evaluación interna. Es la que efectúa el equi­po humano que forma parte del propio proyec­to o la entidad que lo promueve.

  • Evaluación externa. Es la realizada por personal externo al proyecto o a la organización.

  • Evaluación mixta. En esta evaluación, el equi­po que la efectúa está formado por evaluado­res internos y externos al proyecto.

• Según la extensión de la evaluación:

  • Evaluación parcial, si recoge algunas partes del proyecto.

  • Evaluación global, en caso de contemplar la totalidad de la intervención.

• Otros tipos de evaluación:

  • Meta-evaluación: cuando la evaluación es sometida a la valoración  de expertos   (proceso de evaluación de las evaluaciones), donde se pide se respeten todos los criterios señalados en el apartado anterior (objetividad, fiabilidad, validez, coherencia, etc.) y en relación  a los evaluadores,  se exige recogida sistemática de información, competencia, integridad, honestidad, etc.

  • Acreditación o certificación: es un tipo de evaluación asociado al control de la calidad. Consiste en comprobar si un proceso u organización cumple con unos criterios establecidos y reconocidos universalmente,  de forma que garantiza unos niveles mínimos  respecto de la calidad y fiabilidad esperada de sus productos o servicios. De ello hablaremos en epígrafes posteriores aludiendo a la gestión de la calidad.

La evaluación del plan de marketing y su desarrollo debe ser vista como una actividad continua y que se da en cada una de las fases del proyecto de intervención, siendo una de las funciones contribuir a la toma de decisiones. Estaremos hablando de un proceso para el cual será preciso contar con los siguientes elementos:

• Planificación del proceso de la evaluación.
• Variables, criterios e  indicadores de evaluación.
• Técnicas y herramientas en la evaluación.
• Las Tics como ayuda en la evaluación.

Planificación del proceso de evaluación:

Hemos estudiado que una de las funciones de la evaluación es la de contribuir en la toma de decisiones, por ello la evaluación no debe ser vista solo  como una parte del ciclo del proyecto, sino como una actividad  continua  que ayuda en cada una de las fases.

Para ello, deberá aportar información transparente y clara, con  resultados explicativos  que den retroalimentación y guíen la intervención hacia la mejora continua.

Para planifi­car este proceso adecuadamente, debemos plantearnos y dar respuesta a las siguientes pregun­tas:

• ¿Por qué se evalúa?,  fundamentación de la eva­luación.
• ¿Para qué se evalúa?, objetivos de la evaluación.
• ¿Qué se evalúa?, contenidos de la evaluación.
• ¿Cómo se evalúa?, metodología.
• ¿Cuándo, dónde  se evalúa?, temporalización y localización.
• ¿Quién y con qué se evalúa?, recursos humanos, materiales y financieros.

Fundamentación de la eva­luación:

En interven­ción social evaluamos porque queremos:

• Comprobar el grado de cumplimento de los ob­jetivos previstos con los resultados obtenidos.
• Mejorar la intervención, a través del feed-back, sobre las actuaciones realizadas.
• Corregir las actuaciones o reajustar la interven­ción durante la aplicación del proyecto.
• Tomar decisiones acerca de la variación de la intervención, su continuidad, la necesidad de un nuevo proyecto o su supresión.
• Analizar la realidad y detectar necesidades.
• Valorar la rentabilidad social, es decir, la relación entre los recursos invertidos y los beneficios o prestaciones conseguidas.
• Comprender los factores que han influido en el proyecto o actividad.
• Como ejercicio de responsabilidad social, es el caso, por ejemplo, de un proyecto que haya sido financiado con fondos públicos.

Objetivos de la evaluación:

Como todo diseño de planificación, en el momen­to de planificar la evaluación se deben formular unos objetivos, de manera concreta, sobre lo que se quiere obtener con el proceso de evaluación.

Cada proyecto dispondrá de sus propios objetivos de evaluación, aunque en general todos ellos ha­rán hincapié en:

• Medir el grado de adecuación, eficacia y efi­ciencia de un  proyecto.
• Determinar la existencia de consecuencias no previstas y el grado en que se han producido.
• Orientar la toma de decisiones en la mejora de la intervención.
• Facilitar el análisis prospectivo de intervencio­nes futuras.

Contenidos de la evaluación:

Vendrá definido por los diferentes tipos de evaluación o momento en el que ésta se realiza.  Así tendremos:

• Evaluación de necesidades o de la fase diagnóstica
• Evaluación del diseño o de la programación de intervención.
• Evaluación del proceso o implementación
• Evaluación de los resultados.

Además para operativizar el alcance de estos contenidos, será preciso convertirlos en unidades medibles, ello lo haremos extrayendo variables generales sacadas de los contenidos y concretando en indicadores.

Metodología de la evaluación:

En la metodología se  define cómo vamos a  recoger y analizar la información, es por ello que se vinculará a los  instrumentos de recogida de información.

Además la metodología elegida, deberá estar en concordancia con la función y el objeto de la misma.

A continuación de enumeran las ETAPAS METODOLÓGICAS BÁSICAS en el proceso de evaluación:

• Elección y preparación de los instrumentos para recopilar la información.
• Recogida de datos, a través de instrumentos variados. Los datos recogidos deben ser: fidedignos (no manipulados o falseados); representativos; exactos (sin  ambigüedades); suficientes y  significativos (que sean relevantes y digan algo sobre lo que queremos saber).
• Tratamiento de los datos obtenidos: estudio y valoración del cumplimiento de los criterios e indicadores de evaluación, comparación entre los resultados obtenidos y los resultados esperados y valoración y reflexión para la toma de deci­siones en las diferentes fases del proceso de intervención.
• Comunicación y difusión de los resultados.

Temporalización y localización de la evaluación:

Se referirá a los momentos en los que se llevará a cabo la evaluación y a los espacios a usar para tal fin.

Recursos humanos, materiales y financieros.

• Sobre los recursos humanos, deberán figurar las personas o los equipos que realizarán la evaluación, por otro lado también se deberá contemplar si la evaluación será: interna, externa, mixta o autoevaluativa.
• Sobre los recursos materiales, se refiere a los instrumentos que se van a usar (pautas, escalas, cuestionarios, entrevistas, registros, etc.)

En la planificación del diseño de evaluación comenzaremos elaborando variables abstractas, que posteriormente se irán concretando para llegar a definir indicadores.

Contaremos también con los criterios de evaluación, que son categorías o aspectos a analizar de forma más concreta, un ejemplo sería: grado de participación.

Los  indicadores de evaluación, son unidades de información que señalan si un criterio de evaluación se ha logrado o no.

Los indicadores de evaluación nos permiten concretar y traducir, en términos medibles, los criterios que hemos elegido para nuestra evaluación, orientándonos a la selección y sistematización de la información.

Los indicadores permiten comprobar de manera científica y objetiva la consecución de los resultados previstos.

Su información se logra habitualmente a través de preguntas: ¿qué grado de participación se consiguió?, ¿se promovió la participación de de los destinatarios?, etc.

Según Espinoza Vergara los indicadores deben tener los siguientes requisitos:

• Medibles: contener criterios de calidad, cantidad y tiempo, incluyendo unidades de medida para verificar cuántas veces caben esas unidades en el total alcanzado.
• Objetivamente verificables: cualquier persona que aplique el indicador debe llegará a la misma conclusión.
• Mide lo que es importante: ello significa que unido a otros va a medir lo realmente sustantivo de la meta, descartándose la existencia de indicadores distractores o superfluos.

En las siguientes tablas puedes ver ejemplos de evaluación:

EVALUAR EL DISEÑO DEL EVENTO CULTURAL.
ASPECTO DEL PROYECTO  A EVALUAR	CRITERIOS DE EVALUACIÓN	INDICADORES DE EVALUACIÓN
FUNDAMENTACIÓN	Valoración de la fundamentación del proyecto.	¿La fundamentación del proyecto es coherente con los resultados del diagnóstico?
OBJETIVOS	Coherencia de los objetivos y valoración crítica de los mismos.	¿Son coherentes con la realidad analizada y permitirán que se cubran las necesidades detectadas? ¿Están bien formulados?
METODOLOGÍA	Idoneidad de la metodología propuesta y de las actividades. Congruencia entre actividades, metodología y objetivos propuestos.	¿Es  ade­cuada para alcanzar los objetivos? ¿Es adecuada para la realización de las actividades previstas? ¿Las actividades son las más indicadas para alcanzar los objetivos? ¿Las actividades son congruentes con la metodología elegida?
TEMPORALIZACIÓN	Idoneidad de la temporalización propuesta.	¿Los plazos de ejecución de cada tarea están bien distribuidos en el tiempo?
RECURSOS ECONÓMICOS, HUMANOS Y MATERIALES	Adecuación de los recursos económicos, humanos y materiales previstos.	¿Son suficientes o están sobredimensionados? ¿Se ha previsto cómo conseguirlos? ¿se dispone de ellos?

EVALUAR LA IMPLEMENTACIÓN DEL EVENTO CULTURAL.
ASPECTO DEL PROYECTO A EVALUAR	CRITERIOS DE EVALUACIÓN	INDICADORES DE EVALUACIÓN
OBJETIVOS	Grado de alcance de los objetivos marcados. Coherencia entre los objetivos pro­puestos con las actividades propuestas.	¿Se están consiguiendo los objetivos propuestos? ¿Existe una coherencia clara entre los objetivos marcados y las actividades que se están ejecutando?
METODOLOGÍA	Coherencia entre la metodología y las acti­vidades que se están llevando a cabo.	¿Es la metodología utilizada la más adecuada para la consecución de los objetivos y la resolu­ción del problema? ¿Es necesario introducir modificaciones en la metodología para obtener mejores resultados, tanto desde el punto de vista cuantitativo como cualitativo? ¿Las actividades desarrolladas dan respuesta sa­tisfactoria a los diferentes objetivos del proyec­to? ¿La secuenciación y la dificultad de las activida­des es la más adecuada?
TEMPORALIZACIÓN	Idoneidad de la temporalización del proyecto.	¿La temporalización de las actividades y las ta­reas se va desarrollando acorde al cronograma? ¿Se producen incidencias significativas?
DESTINATARIOS	Implicación y la participación de los destinatarios.	¿Los participantes se sienten satisfechos con el proyecto?
RECURSOS ECONÓMICOS, HUMANOS Y MATERIALES	Idoneidad, disponibilidad y eficiencia en el uso de los recursos.	¿Están siendo los recursos los más indicados para la intervención? ¿Disponemos de los recursos previstos? ¿Se están dando dificultades para conseguir los recursos previstos? ¿Los recursos han sido utilizados de forma eficiente (buscando su máxima rentabilidad?

EVALUAR LOS RESULTADOS DEL EVENTO CULTURAL.
ASPECTO DEL PROYECTO  A EVALUAR	CRITERIOS DE EVALUACIÓN	INDICADORES DE EVALUACIÓN
GENERAL	Idoneidad del proyecto: eficacia, eficiencia e impacto.	¿Se ejecutó el proyecto como se pretendía? ¿Cuáles fueron los puntos fuertes y los débiles del proyecto? ¿Qué factores se dieron para que el proyecto se desarrollara de esa manera? ¿Qué efectos positivos y negativos ha producido el proyecto? ¿Se corresponden los resultados obtenidos con los esfuerzos dedicados? Implicación de otras instituciones en la ejecución del proyecto. ¿Cómo han cambiado las necesidades detectadas al principio? ¿Presentan nuevas demandas respecto a las necesidades abordadas? ¿Aparecen características nuevas en la demanda que no estaban previstas en el proyecto? ¿Qué resultados no previstos se han producido en la comunidad? ¿Cómo ha influido el proyecto en el entorno y en el territorio? ¿Cuál es la relación entre los efectos del proyecto a corto, medio y largo plazo?
OBJETIVOS	Nivel de consecución de los objetivos y valoración crítica de los mismos. Nivel de cumplimiento y alcance.	¿Hasta qué punto se han cumplido los objetivos? Nivel de consecución del objetivo 1. Nivel de consecución del objetivo 2, etc. Porcentajes en la consecución de los objetivos. Número de actividades que comenzaron y acabaron en los tiempos previstos. ¿Cómo y cuándo se ha conseguido cada objetivo? ¿Las acciones realizadas han sido útiles? ¿Ha habido resultados inesperados?
METODOLOGÍA	Idoneidad de la metodología empleada. Adecuación de las actividades.	Cantidad de actividades Número de deserciones (personas que inician la actividad pero no la terminan). ¿La metodología empleada durante el desarrollo de las actividades fue acertada? ¿Las actividades se han desarrollado adecuadamente? ¿Se ejecutaron las actividades como se pretendía? ¿Qué actividades han resultado ser más eficientes? ¿Qué actividades han resultado ser menos eficientes? ¿Cuáles fueron los puntos fuertes y los débiles de las actividades? ¿Puede haber una mejora de las actividades con las mismas condiciones y recursos? ¿Cuáles son los ajustes necesarios? ¿Qué actuaciones o actividades deberían mantenerse en el futuro? ¿Con qué periodicidad? ¿Quién tiene capacidad para asumirlo? Valoración (descriptiva) de los participantes de las actividades.
LOCALIZACIÓN	Idoneidad de los espacios.	¿El espacio donde se desarrollaron las actividades fue el adecuado?
TEMPORALIZACIÓN	Nivel de Cumplimiento de los tiempos previstos y los motivos, en su caso, de su incumplimiento. Adecuación de horarios, duración, …	¿Se cumplieron todos los plazos previstos para las distintas fases del proyecto? ¿Se han cumplido los tiempos previstos para cada una de las actividades? En caso de incumplimiento ¿cuáles fueron los motivos? Número de actividades que comenzaron y/o acabaron más tarde lo previsto. Número de actividades que “sufrieron” cambios de fecha. Número de actividades que se ejecutaron en las fechas previstas. Existencia de factores internos/externos que provocaron cambios en la temporalización.
DESTINATARIOS	Participación de los destinatarios. Grado de satisfacción de los destinatarios.	¿A cuántas personas se ha llegado con el proyecto? Número de participantes. Frecuencia de la asistencia. ¿Qué grado de participación se consiguió? ¿Se promovió la participación de los destinatarios? ¿Se llegó al grupo de participantes previsto? ¿Cómo se ha llegado a la población? ¿Ha sido suficiente la información de promoción y difusión? ¿Cómo llegaron los participantes al proyecto? ¿Cómo evolucionó el grupo? ¿Se beneficiaron todos los destinatarios de igual manera? ¿Qué grado de satisfacción se dio? Nivel de aceptación del proyecto. Nivel de satisfacción respecto a las actividades. ¿Se han cubierto las necesidades reales de la población a la que va dirigido? ¿Cuántas veces se ha visto el grupo sin la presencia del animador, una vez finalizado el proyecto? Implicación e integración del grupo en su barrio o comunidad. Proyección de lo aprendido por el grupo hacia el exterior (a otras personas).
RECURSOS	Adecuación de los recursos materiales y financieros en la intervención llevada a cabo. Eficacia, eficiencia, coordinación y organización de los recursos humanos.	RECURSOS MATERIALES Y FINANCIEROS ¿Los recursos utilizados en las actividades eran suficientes/adecuados? ¿Se han movilizado recursos suficientes para el desarrollo de las actividades y el logro de los objetivos? ¿Tuvimos los recursos necesarios? Los medios materiales fueron suficientes y adecuados en las actividades.   RECURSOS HUMANOS ¿Cuántos profesionales y voluntarios han participado en el proyecto? ¿Qué cualificación tenían? ¿Cómo se interaccionó con los participantes? Existencia de un trato adecuado de los profesionales hacia los usuarios. ¿Funcionó el equipo adecuadamente? ¿Estuvieron bien organizadas y distribuidas las tareas? ¿Asumió cada uno su responsabilidad? ¿Existieron conflictos? ¿Se resolvieron de manera constructiva? Relación del animador con los participantes.   AMBOS ¿Se utilizaron los recursos económicos, materiales, humanos de una manera adecuada? ¿Se podrían explotar u optimizar mejor? Se podría haber conseguido lo mismo por menos dinero, esfuerzo o tiempo, etc.?

La mayoría de las técnicas de la evaluación de los eventos culturales provienen de otras áreas del conocimiento y han sido adaptadas, con mayor o menor fortuna, al campo de la social.

Ya hemos comentado que no debe confundirse la evaluación con un proceso de investigación científica, pues su finalidad última no es la de asentar conocimientos, sino la de permitirnos tomar decisiones que mejoren nuestras intervenciones actuales y futuras. No obstante, ambas comparten el uso de las mismas técnicas e instrumentos.

Las técnicas que se pueden usar son variadas, pero destacan las técnicas: cuantitativas, cualitativas y las de carácter participativo.

Como ya se explicó en la unidad dos, las  técnicas cuantitativas ponen el énfasis en la medición objetiva, la demostración de la causalidad y la generalización de los resultados; por su parte, las técnicas cualitativas se centran en la descripción y comprensión interpretativas de la conducta humana en el marco de referencia del individuo o del grupo social en el que actúa.

Por último las técnicas participativas, estarían entre las dos anteriores, pero partiendo la implicación de la población en el desarrollo de las técnicas. Además dependiendo del tipo de técnica participativa que usemos, ésta puede proporcionar datos objetivos o bien otros de carácter interpretativo.

• Técnicas cuantitativas: encuesta, medición directa  u observación cuantitativa , el censo y análisis económico-financiero.
• Técnicas cualitativas: Entrevista, Grupos de discusión, análisis documental, observación estructurada.
• Técnicas participativas: El marco en torno al cual se desarrollan suele denominarse “taller” (trabajo colectivo, cuyos resultados requieren de la participación interactiva de todas y todos y cuyos objetivos y tareas se mantiene en el tiempo de forma paralela al proceso de empoderamiento del grupo). Son ejemplos:diagrama de Venn, diagrama de flujo, el termómetro, la diana, semáforo, etc.

Para que los datos recopilados sean de mayor riqueza y fiabilidad, es muy importante optar por la triangulación metodológica.

El Informe de Evaluación debe contener, cuando menos, un texto descriptivo que detalle la información recogida, un apartado explicativo que establezca las correspondientes relaciones de causa y efecto, y un apartado que incluya conclusiones, recomendaciones y sugerencias.

Su finalidad principal es comunicar los resultados, por tanto todo ello deberá estar  orientado hacia la acción y hacia el fortalecimiento de la toma de decisiones.

Por su parte, la memoria  es documento pedagógico y administrativo donde se hace el recuento de lo sucedido de forma amplia.

Es un estudio que sistematiza tanto el pro­ceso seguido desde el principio hasta su finalización, como los resultados obtenidos. En él quedan recogi­dos tanto los puntos fuertes como las limitaciones encontradas a lo largo del desarrollo de la intervención social. 

La memoria es un documento donde debemos reflejar lo que se ha hecho en cada momento del proceso de intervención, cómo se ha hecho y el grado o nivel de logro o éxito. Es decir, la memoria recoge lo que los resultados de la evaluación nos han indicado.

En la memoria se debe incluir una relación de todo lo que se ha hecho, fechas y circunstancias; cómo se han llevado a cabo las distintas etapas de la programación y las dificultades que han surgido. Es importante destacar no sólo los logros sino también las dificultades encontradas.

Esquema del informe

Un informe deberá incluir los apartados siguientes:

• Portada:

  • Título del proyecto.

  • Tipo de evaluación: externa, interna, mixta, participativa; simultánea, final, de impacto; etc.

  • Situación del Informe: borrador, preliminar, final.

  • Fecha.

  • Equipo evaluador.

• Resumen:

  Se detallarán, en un espacio reducido, las características y elementos centrales del Informe.

• Introducción:

  • Breve descripción del proyecto.
  • Objetivos de la evaluación.
  • Enfoque metodológico.
  • Ámbito de aplicación.
  • Limitaciones y obstáculos detectados.

  • Principales técnicas utilizadas para la recogida y procesamiento de la información. Estructura del Informe.

• Descripción de la información:

  Se trata de presentar, de forma agrupada y sistematizada, la información recogida haciendo alusión a los criterios e indicadores de la evaluación final. En esta fase el equipo evaluador se limita a describir y ordenar los datos más sobresalientes por componentes, resultados o estrategias.

• Valoración de la información:

  Se trata de incorporar las explicaciones necesarias en cuanto a la información descrita, estableciendo las relaciones de causas y efectos que procedan. Estas explicaciones también deben ser presentadas atendiendo a los criterios  e indicadores, haciendo referencia a : eficiencia, eficacia, impacto, pertinencia, viabilidad, con sus correspondientes factores de desarrollo. Se realizará una valoración tanto cuantitativa como cualitativa de los resultados.

• Conclusiones y recomendaciones:

  Se trata, por un lado, de plantear las principales conclusiones del proceso de evaluación. Por otro, de establecer recomendaciones y sugerencias para mejorar la calidad de la ejecución del proyecto en sus siguientes fases, absorber determinados obstáculos detectados  o extraer aprendizajes para intervenciones futuras.

• Anexos:

  Se adjuntará toda aquella documentación de interés que ilustre el desarrollo del proceso de evaluación (encuestas, cuestionarios, referencias documentales, etc.) y que complemente los contenidos del Informe.

  Las características fundamentales que han de cumplir los informes para mejorar la difusión de la información son las siguientes:

  • Que sean concretos y breves.
  • Que estén escritos con un lenguaje comprensible para las personas o grupos a los que se dirige.
  • Que los gráficos utilizados ayuden a la comprensión del contenido y no a aumentar su complejidad.
  • Que las explicaciones no se pierdan en largas discusiones metodológicas. 

Esquema de la memoria

Una memoria deberá incluir los apartados siguientes:

• Portada:
  • Título: “Memoria  del evento cultural X”.
  • Tipo de evaluación: externa, interna, mixta, participativa; simultánea, final, de impacto; etc.
  • Situación de la memoria: borrador, preliminar, final.
  • Fecha.

  • Equipo evaluador.

• Resumen:

  Se detallarán, en un espacio reducido, las características y elementos centrales de la memoria.

• Introducción:

  • Breve descripción del proyecto  al que se hace memoria.
  • Objetivos de la evaluación. Enfoque metodológico.
  • Descripción de cada etapa del proceso de intervención social evaluado: diagnóstico, diseño, evaluación procesual y final.

  • Descripción de la evaluación aplicada a cada elemento de la programación de intervención.

• Desarrollo de la memoria:

  • Exposición de resultados siguiendo   los criterios e  indicadores  de la evaluación diagnóstica aplicados, de diseño, procesual y final.
  • Exposición de resultados en función de los instrumentos de evaluación de la evaluación diagnóstica, de diseño, procesual y final.
  • Exposición de los resultados de la evaluación diagnóstica, de diseño, procesual y final.

  • Exposición de una valoración cuantitativa y cualitativa de los resultados.

• Valoración de la información:

  Se trata de incorporar las explicaciones necesarias en cuanto a la información descrita, estableciendo las relaciones de causas y efectos que procedan. Estas explicaciones también deben ser presentadas atendiendo a los criterios  e indicadores , haciendo referencia a : eficiencia, eficacia, impacto, pertinencia, viabilidad, con sus correspondientes factores de desarrollo. Se realizará una valoración tanto cuantitativa como cualitativa de los resultados.

• Conclusiones y recomendaciones:

  Se trata, por un lado, de plantear las principales conclusiones del proceso de evaluación. Por otro, de establecer recomendaciones y sugerencias para mejorar la calidad de la ejecución del proyecto en sus siguientes fases, absorber determinados obstáculos detectados  o extraer aprendizajes para intervenciones futuras. 

• Anexos:

  Se adjuntará toda aquella documentación de interés que ilustre el desarrollo del proceso de evaluación (encuestas, cuestionarios, referencias documentales, etc) y que complemente los contenidos de  la memoria.

Comunicación de resultados

De cómo se realice la presentación de los resultados de la evaluación, puede depender la incidencia del proyecto, por esta razón, debe considerarse como una fase de gran importancia.

A continuación de enumeran algunas reco­mendaciones que se deben tener en cuenta sobre cómo informar de los resultados de la evaluación.

• Al informar a las personas implicadas:

  • Conocer adecuadamente a los distintos gru­pos implicados.
  • Pedir información sobre lo que estos grupos desean conocer sobre la valoración y por qué.

  • Tratar de comprender el punto de vista de las distintas audiencias.

• Al dar un mensaje de evaluación:

  • Relacionar la información con las acciones que hayan de emprenderse.

  • No dar excesiva información, de forma que lo accesorio impida atender a lo sustancial.

• Al dar información en forma escrita:

  • Comenzar por las frases que expresan los as­pectos más relevantes.
  • Enfatizar todo aquello que se desea resaltar.

  • Redactar con claridad la información.

• Al realizar una presentación oral:

  • Preparar una presentación interesante y amena.
  • Adoptar un tono natural.
  • Presentar gráficos y esquemas comprensibles y claros que sinteticen los resultados de la evaluación o lo que se pretende expresar.
  • Implicar a la audiencia en la presentación.

  • Dejar un tiempo para preguntas.

• Al relacionarse con la prensa:

  • Explicar el vocabulario técnico.
  • Tratar de escribir personalmente la noticia.
  • Presentar material gráfico.

Cuando vimos los tipos de evaluación comentamos que “la acreditación-certificación” es un tipo de evaluación peculiar muy asociado al control de calidad.

Consiste en comprobar si un proceso u organización, cumple con unos criterios establecidos y reconocidos universalmente, de forma que se garantiza unos niveles mínimos respecto de la calidad y fiabilidad esperada de sus productos o servicios.

Este tipo de evaluación se asocia con la necesidad de incrementar los niveles de seguridad, transparencia y confianza en las relaciones comerciales y de consumo.

La normalización, homologación, certificación, acreditación son procesos de evaluación basados en estándares o nomas conocidas y aceptadas por el sector que llevan a cabo entidades oficiales especializadas y autorizadas para realizar este tipo de evaluaciones.

La introducción en la cultura de la calidad supone:

• La aceptación de la crítica como una oportuni­dad de mejora y no como una situación que hay que evitar.                                                                     
• La implicación de todos los agentes en la mejo­ra contínua.
• La necesidad de conocer la opinión de los usua­rios/as con el fin de mejorar el servi­cio en lugar de actuar de manera irreflexiva.
• Evitar centrarse en la búsqueda de culpables ante un problema y esforzarse en analizar la causa y combatirla.
• Enfatizar las líneas estratégicas de la organiza­ción en detrimento de las decisiones individua­les o aisladas.

En los proyectos de intervención social la gestión de la calidad presenta las siguientes ventajas:

• Mejora del rendimiento de los recursos disponi­bles y, por tanto, de la eficiencia de la interven­ción.
• Aporta una mayor transparencia de acuerdo con las exigencias de la propia sociedad.
• Aumenta la satisfacción, tanto de las personas usuarias como de las promotoras del proyecto y también del entorno.
• Produce un incremento del prestigio social dan­do mayor confianza a la propia institución o entidad.
• Mejora de la seguridad, el respeto por el medio ambiente y la responsabilidad social.
• La institución o el servicio mejora la gestión de manera progresiva y aprende a partir de la in­tervención llevada a cabo.

Una auditoría es un examen metódico, que se lle­va a cabo para comprobar si las actividades y los resultados de la gestión de la calidad de la entidad cumplen los requisitos establecidos (normati­vos y/o de la propia entidad) y que son adecuados para conseguir los objetivos establecidos.

Las cartas de servicios son documentos en los que la institución informa y se compromete, de manera pública  a ofrecer y mantener una serie de compromisos para la calidad del servicio ofre­cido

Los indicadores de calidad  permiten controlar y valorar la calidad de una acti­vidad en un momento y lugar determinados.Los que más frecuentemente se utilizan en la gestión de la calidad en el ámbito social son:

• Indicadores para la evaluación procesual: Miden la eficiencia del proceso (de la ejecución del proyecto), valorando la capacidad de las actividades para llegar a cubrir los objetivos propuestos con los recursos dispo­nibles.
• Indicadores para la evaluación final o de resultados: Valoran especialmente las actividades o servicios realizados por el proyecto y los resultados obtenidos.

Los indicadores pueden ser:

• De eficacia, comparan resultados obtenidos con los objetivos propuestos.
• De excelencia, valoran la calidad perci­bida por los destinatarios respecto a las actividades realizadas.
• De equidad, miden la igualdad de opor­tunidades para acceder a las actividades.
• De efectividad, dan información sobre el impacto del proyecto sobre la población destinataria.
• De eficiencia, valoran si los recursos empleados en el proyecto (tanto materiales, como humanos y financieros) han sido utilizados de forma eficiente.

Cuando realicemos la evaluación de nuestra intervención cultural deberemos cuidar de no caer en los siguientes errores:

• Autoengañarse, realizando el proceso al revés; es decir, decidiendo de antemano “qué es lo que quiero que salga”.
• Reducir la evaluación a datos, números y porcentajes. Los datos en sí mismos no dicen nada sin una referencia al contexto que les da sentido. Es necesario completar los datos cuantitativos con datos cualitativos e información sobre el contexto para valorarlos en su justa medida.
• La subjetividad. Un animador riguroso no puede conformarse con evaluaciones que se resuelven en afirmaciones tales como: “la gente lo ha pasado bien”. Se trata de aportar no sólo descripción de hechos, sino una interpretación, y sobre todo proponer formas de mejorar la acción.
• No diferenciar a quién le interesa la evaluación: entidad organizadora, destinatarios o institución que la financia.
• La burocratización de la evaluación, donde se convierte en un puro trámite que no aporta nada nuevo ni mejora lo anterior.

Los aspectos éticos asociados a la evaluación que de­bes tener en cuenta son:

• El consentimiento libre y explícito de los parti­cipantes.
• La confidencialidad y el derecho a la privacidad.
• La equidad en las relaciones, a través del fortaleci­miento de las relaciones horizontales entre evaluadores y evaluados. Esto supone desarrollar estilos democráticos y participativos de evalua­ción que consideren a los participantes protagonistas y copartícipes del proceso.
• La consideración del impacto de los resultados y de los beneficios de la evaluación, previendo los efectos directos e indirectos y potenciando la utilidad social de los resultados.
• Garantizar las exigencias de la metodología científica. Algunos ejemplos de incumplimiento de este requisito serían re­coger sólo los datos que interesen al investiga­dor, falsificar los datos y manipular los datos para mejorar su presentación.
• En la devolución de los resultados, ser siempre honesto y no ir más allá de los datos.

Unas de las normas más conocidas de carácter in­ternacional son las normas ISO establecidas por la Organización Internacional de Normalización. Todos los países de la UE han decidido numerar las ediciones nacionales de las normas ISO, añadiendo sus abreviaturas, por ello encontramos la abreviatura UNE (norma española) ( añadiendo EN  el caso que también sea europea).  En cuestión de calidad, la norma UNE-EN ISO 9001:2015, sistemas de gestión de la calidad, requisitos, determina los requisitos para una gestión de calidad.

Las normas ISO facilitan la implantación de un sistema de gestión de la calidad para cualquier tipo de or­ganización.

Tienen como finalidad principal: orientar, coordinar, simplificar y unificar los usos para conseguir menores costes y mayor efectivi­dad.

Cualquier organización puede optar por obtener la certificación de acuerdo con las normas ISO. Una vez obtenida la certificación, la empresa, si desea mantenerla, deberá continuar pasando una auditoría externa anualmente.

A nivel nacional tenemos la Asociación Española de Normaliza­ción y Certificación (AENOR), encargada de editar normas exclusivamente españolas para los diferentes sectores.

Ningún recurso de fuentes externas que requiera citar explícitamente sus datos de licencia ha sido usado en esta unidad, por lo que este anexo queda vacío. Todos los recursos utilizados, de fuentes internas, se acogen al Aviso Legal de la plataforma.