A lo largo del módulo hemos estudiado el proceso de la intervención social.

Partimos de su definición y su planificación en un proyecto de intervención social, donde quedaba implícita, como punto de partida, el proceso de estudio de la realidad.

Vimos como todo proyecto, si quiere tener éxito, debe ser publicitado y difundido, usando diferentes canales y medios adecuados al mismo.

Además, siendo conscientes del momento que vivimos, donde la igualdad es una asignatura pendiente, aprendimos que a todo proyecto de intervención social hay que a darle un enfoque de género, tanto en su diseño como en la evaluación; y llegados a este último tema, la evaluación, vamos a plantearnos el estudio partiendo de su definición, analizando sus diferentes características y lo que ellas implican.

Conoceremos los diferentes tipos de evaluación en función de diferentes criterios, así como vincularemos la evaluación con los procesos de calidad, por ser éstos un tipo singular de evaluación.

También aprenderemos cómo planificar el proceso de evaluación y cómo implementarlo  en cada una de las fases de la intervención social.

Observaremos que hemos tocado el tema de la evaluación en prácticamente todas las unidades anteriores, y ello porque la evaluación debe ser vista como un proceso continuo, que se desarrolla en las diferentes fases de la intervención social, lo cual nos permitirá una adaptación constante a la realidad  o circunstancias que se vayan presentando.

Por último, la inclusión de los procesos de calidad en la intervención social, no es otra cosa que ratificar el uso de la evaluación, como medio de promover la mejora continua dentro de las organizaciones que implementan proyectos de intervención social.

Utilizando palabras del trabajador social y sociólogo Pablo de la Rosa Gimeno, en su artículo “La evaluación de programas de intervención social”, publicado en  el número 83 de la revista Servicios Sociales y Política Social, editada por el Consejo General de Colegios Oficiales de Diplomados  en Trabajo Social, “la evaluación puede ser considerada como un ejercicio de reflexión respecto del valor de determinados elementos comprendidos en un proceso de intervención, en base a las informaciones obtenidas de forma sistemática, con el propósito de contribuir a la mejora del proceso y, con ello, a la satisfacción de necesidades de todos los implicados”.

Observamos que el autor destaca cinco elementos esenciales en la evaluación:

• Reflexión: referida a los tres momentos en los que se da o ha dado  la intervención social: presente, pasado y futuro, siendo preciso acotar sobre qué centrar el análisis en cada uno de esos momentos, pues con su elección se determina la utilidad de la evaluación y con ello su éxito.

• Valor: referido a atribuir méritos o deméritos a aquello en lo que hemos decidido centrar la atención en base a unos criterios, o aspectos a tener en cuenta.

• Informaciones: la evaluación está muy unida a los procesos de búsqueda de información, en este punto solemos confundir evaluación e investigación, pues ambas utilizan los mismos métodos y técnicas para el acercamiento a la realidad social, no obstante no son lo mismo. Según Pablo de la Rosa la investigación sólo usa valores relativos a la calidad (rigor) de la información obtenida, mientras que la evaluación emite juicios sobre lo observado; la investigación establece generalizaciones, mientras que la evaluación pretende facilitar la toma de decisiones; la investigación  busca explicar la realidad y propone y contrasta teorías, si embargo la evaluación informa sobre la acción y sus efectos además de orientar la intervención.

• Mejora: la evaluación pretende contribuir al incremento de la calidad y eficacia, favoreciendo así la superación de obstáculos, rectificación de estrategias.

• Satisfacción de necesidades: relacionadas con obtener información útil para tomar decisiones por parte de  los profesionales y de las organizaciones, así como permitir conocer en qué medida los diferentes implicados ven satisfechas sus necesidades, las cuáles justificaron la inversión e intervención y si éstas están siendo atendidas de forma adecuada.

Características y criterios de la evaluación.

Para llegar a obtener conclusiones que permitan tomar decisiones y mejorar la intervención social, toda evaluación debe cumplir las siguientes características  y criterios:

• Eficacia. En qué medida se han logrado los objetivos y resultados previstos.

• Eficiencia.  Relación entre los resultados obtenidos y los recursos utilizados. Un proyecto será eficiente cuando se utilizan menos recursos para lograr un mismo objetivo.

• Idoneidad. En qué medida el proyecto responde a las necesidades de sus destinatarios. Relación entre proyecto necesario y proyecto real.

• Utilidad. Las actividades o acciones realizadas son provechosas para las personas implicadas en el proyecto, y permiten alcanzar los objetivos marcados.

• Impacto. Valoración de las consecuencias del proyecto, pueden ser previstas o no, pueden ser positivas o negativas.

• Viabilidad. Capacidad de los resultados obtenidos de permanecer en el tiempo

• Suficiencia. En qué medida las acciones realizadas fueron suficientes y adecuadas para alcanzar los objetivos marcados.

• Participativa. Ha de procurar integrar a la mayoría de agentes implicados en la intervención.

• Sistemática. Porque responde a una metodo­logía planificada e intencionada.

Según Vergara Espinoza, además la evaluación deberá ser:

• Objetiva. Aplicando procedimientos y herramientas de evaluación que nos eviten caer en lo subjetivo.
• Fiable. La evaluación incluye pruebas de evaluación fiables (cuando aplicada a las mismas personas en distintas ocasiones produce resultados similares). Ej. cuestionario de satisfacción.
• Válida. Exige que los datos o la información que obtenemos se ajusten a la realidad que es­tamos evaluando. Está vinculada a que los ins­trumentos utilizados midan realmente lo que queramos medir y no otras cosas.
• Oportuna. Debe ser aplicada en el momento adecuado, para que no se produzcan distorsiones de la situación evaluada, además sus conclusiones deberán ser entregadas en el momento oportuno.
• Práctica. Estará condicionada por el destino que se le quiera dar, debiendo servir de inicio al proceso de toma de decisiones en relación a la situación evaluada.

Realizaremos la clasificación de los tipos de evaluación aludiendo a una serie de aspectos o criterios:

• Según el objeto de la evaluación:

  • Evaluación del procedimiento, se evalúa el diseño y se intenta:

    • Garantizar su cohe­rencia y contribuir a su aplicabilidad.

    • Evaluar cada uno de los elementos del proyecto valorando su viabilidad y la coherencia entre ellos.

  • Evaluación del proceso: se evalúa la implementación del proyecto.

  • Evaluación de resultados: eficacia y efectividad del proyecto.

• Según su función o propósito:

  • Formativa: aporta información mientras se está realizando el proyecto, aporta datos que ayudan a cambiar  el proceso y adecuarlo a las circunstancias.(coincide con la “evaluación durante” siguiendo el criterio tiempo).

  • Sumativa: se realiza al final del proyecto, establece relación objetivos previstos y la consecución de los mismos, coincide con la “evaluación final” siguiendo el criterio tiempo.

• Según momento de la evaluación:

  • Ex ante: se realiza con anterioridad a la ejecución. Trata de conocer la situación inicial antes de poner en marcha una acción, también llamada “evaluación inicial o de diagnóstico”, se realizan las siguientes acciones:

    • Identificar las características del contexto: circunstancias sociales, oportunidades, problemas (causas, consecuencias y posibles soluciones), posibles beneficios del proyecto, percepción de los destinatarios del problema, etc.

    • Evaluar si existe claridad y coherencia entre recursos existentes, necesidades detectadas y los objetivos que se platean inicialmente.

  • Durante: durante el momento de la implementación, también llamada evaluación del proceso, y según la función o propósito: “evaluación formativa o de seguimiento, se realizan las siguientes acciones:

    • Comprobar de qué manera se va desarrollando la intervención.

    • Facilitar la toma de decisiones sobre la necesi­dad de modificar o reorientar la intervención, permitiéndonos introducir cambios y ajustes necesarios para mejorar los resultados.

    • Medir la forma en que se funciona y la calidad de las actuaciones y acciones del proyecto.

    • Evaluar cada uno de los elementos del proyecto durante la ejecución del mismo.

  • Final: al final todas las acciones programadas y al final del proyecto, también llamada según la función o propósito:  “evaluación sumativa o de resultados”,  se realizan las siguientes acciones:

    • Valorar los efectos o la repercusión del proyecto.

    • Evaluar la consecución de los objetivos y obtención de resultados y nos permite pronunciarnos sobre el éxito o el fracaso de la interven­ción diseñada y ejecutada.

    • Ayudar a la toma de decisiones futuras y a verificar la eficacia y la rentabilidad de los resultados.

    • Evaluar: las actividades realizadas, los resultados obtenidos (relación coste beneficios), los procedimientos o métodos utilizados, la adecuación y aprovechamiento de los recursos, el impacto (en la propia institución y en la comunidad),  los efectos en las personas benefi­ciarias, la organización y participación de sus protagonistas, etc.

  • Ex post o retrospectiva: se realiza transcurrido un tiempo, para conocer el impacto de la intervención.

• Según metodología de la evaluación:

  • Evaluación cuantitativa. Los datos recogidos son numéricos, de acuerdo con indicadores cuantificables, y siguen las normas de la metodología estadística. Se busca primordialmente la objetividad y resultados.

  • Evaluación cualitativa. Observa variables no medibles directamente de forma numérica. La objetividad y los resultados no constituyen el objetivo prioritario, sino que valora especialmente los motivos, efectos no deseados, las opiniones, etc.

  • Cuantitativa y cualitativa.

• Según agentes y sujetos implicados en la evaluación:

  • Autoevaluación. Es aquella evaluación que al­guien hace de sí mismo. Para que pueda reali­zarse es necesario conocer el proyecto, sus ob­jetivos, recursos, etc.

  • Evaluación interna. Es la que efectúa el equi­po humano que forma parte del propio proyec­to o la entidad que lo promueve.

  • Evaluación externa. Es la realizada por personal externo al proyecto o a la organización.

  • Evaluación mixta. En esta evaluación, el equi­po que la efectúa está formado por evaluado­res internos y externos al proyecto.

• Según la extensión de la evaluación:

  • Evaluación parcial, si recoge algunas partes del proyecto.

  • Evaluación global, en caso de contemplar la totalidad de la intervención.

• Otros tipos de evaluación:

  • Meta-evaluación: cuando la evaluación es sometida a la valoración  de expertos   (proceso de evaluación de las evaluaciones), donde se pide se respeten todos los criterios señalados en el apartado anterior (objetividad, fiabilidad, validez, coherencia, etc.) y en relación  a los evaluadores,  se exige recogida sistemática de información, competencia, integridad, honestidad, etc.

  • Acreditación o certificación: es un tipo de evaluación asociado al control de la calidad. Consiste en comprobar si un proceso u organización cumple con unos criterios establecidos y reconocidos universalmente,  de forma que garantiza unos niveles mínimos  respecto de la calidad y fiabilidad esperada de sus productos o servicios. De ello hablaremos en epígrafes posteriores aludiendo a la gestión de la calidad.

La evaluación debe ser vista como una actividad continua y que se da en cada una de las fases del proyecto de intervención, siendo una de las funciones contribuir a la toma de decisiones. Estaremos hablando de un proceso para el cual será preciso contar con los siguientes elementos:

• Planificación del proceso de la evaluación.
• Variables, criterios e  indicadores de evaluación.
• Técnicas y herramientas en la evaluación.
• Las Tics como ayuda en la evaluación.

Planificación del proceso de evaluación:

Hemos estudiado que una de las funciones de la evaluación es la de contribuir en la toma de decisiones, por ello la evaluación no debe ser vista solo  como una parte del ciclo del proyecto, sino como una actividad  continua  que ayuda en cada una de las fases.

Para ello, deberá aportar información transparente y clara, con  resultados explicativos  que den retroalimentación y guíen la intervención hacia la mejora continua.

Para planifi­car este proceso adecuadamente, debemos plantearnos y dar respuesta a las siguientes pregun­tas:

• ¿Por qué se evalúa?,  fundamentación de la eva­luación.
• ¿Para qué se evalúa?, objetivos de la evaluación.
• ¿Qué se evalúa?, contenidos de la evaluación.
• ¿Cómo se evalúa?, metodología.
• ¿Cuándo, dónde  se evalúa?, temporalización y localización.
• ¿Quién y con qué se evalúa?, recursos humanos, materiales y financieros.

Fundamentación de la eva­luación:

En interven­ción social evaluamos porque queremos:

• Comprobar el grado de cumplimento de los ob­jetivos previstos con los resultados obtenidos.
• Mejorar la intervención, a través del feed-back, sobre las actuaciones realizadas.
• Corregir las actuaciones o reajustar la interven­ción durante la aplicación del proyecto.
• Tomar decisiones acerca de la variación de la intervención, su continuidad, la necesidad de un nuevo proyecto o su supresión.
• Analizar la realidad y detectar necesidades.
• Valorar la rentabilidad social, es decir, la relación entre los recursos invertidos y los beneficios o prestaciones conseguidas.
• Comprender los factores que han influido en el proyecto o actividad.
• Como ejercicio de responsabilidad social, es el caso, por ejemplo, de un proyecto que haya sido financiado con fondos públicos.

Objetivos de la evaluación:

Como todo diseño de planificación, en el momen­to de planificar la evaluación se deben formular unos objetivos, de manera concreta, sobre lo que se quiere obtener con el proceso de evaluación.

Cada proyecto dispondrá de sus propios objetivos de evaluación, aunque en general todos ellos ha­rán hincapié en:

• Medir el grado de adecuación, eficacia y efi­ciencia de un  proyecto.
• Determinar la existencia de consecuencias no previstas y el grado en que se han producido.
• Orientar la toma de decisiones en la mejora de la intervención.
• Facilitar el análisis prospectivo de intervencio­nes futuras.

Contenidos de la evaluación:

Vendrá definido por los diferentes tipos de evaluación o momento en el que ésta se realiza.  Así tendremos:

• Evaluación de necesidades o de la fase diagnóstica
• Evaluación del diseño o de la programación de intervención.
• Evaluación del proceso o implementación
• Evaluación de los resultados.

Además para operativizar el alcance de estos contenidos, será preciso convertirlos en unidades medibles, ello lo haremos extrayendo variables generales sacadas de los contenidos y concretando en indicadores.

Metodología de la evaluación:

En la metodología se  define cómo vamos a  recoger y analizar la información, es por ello que se vinculará a los  instrumentos de recogida de información.

Además la metodología elegida, deberá estar en concordancia con la función y el objeto de la misma.

A continuación de enumeran las ETAPAS METODOLÓGICAS BÁSICAS en el proceso de evaluación:

• Elección y preparación de los instrumentos para recopilar la información.
• Recogida de datos, a través de instrumentos variados. Los datos recogidos deben ser: fidedignos (no manipulados o falseados); representativos; exactos (sin  ambigüedades); suficientes y  significativos (que sean relevantes y digan algo sobre lo que queremos saber).
• Tratamiento de los datos obtenidos: estudio y valoración del cumplimiento de los criterios e indicadores de evaluación, comparación entre los resultados obtenidos y los resultados esperados y valoración y reflexión para la toma de deci­siones en las diferentes fases del proceso de intervención.
• Comunicación y difusión de los resultados.

Temporalización y localización de la evaluación:

Se referirá a los momentos en los que se llevará a cabo la evaluación y a los espacios a usar para tal fin.

Recursos humanos, materiales y financieros.

• Sobre los recursos humanos, deberán figurar las personas o los equipos que realizarán la evaluación, por otro lado también se deberá contemplar si la evaluación será: interna, externa, mixta o autoevaluativa.
• Sobre los recursos materiales, se refiere a los instrumentos que se van a usar (pautas, escalas, cuestionarios, entrevistas, registros, etc.)

En la planificación del diseño de evaluación comenzaremos elaborando variables abstractas, que posteriormente se irán concretando para llegar a definir indicadores.

Contaremos también con los criterios de evaluación, que son categorías o aspectos a analizar de forma más concreta, un ejemplo sería: grado de participación.

Los  indicadores de evaluación, son unidades de información que señalan si un criterio de evaluación se ha logrado o no.

Los indicadores de evaluación nos permiten concretar y traducir, en términos medibles, los criterios que hemos elegido para nuestra evaluación, orientándonos a la selección y sistematización de la información.

Los indicadores permiten comprobar de manera científica y objetiva la consecución de los resultados previstos.

Su información se logra habitualmente a través de preguntas: ¿qué grado de participación se consiguió?, ¿se promovió la participación de de los destinatarios?, etc.

Según Espinoza Vergara los indicadores deben tener los siguientes requisitos:

• Medibles: contener criterios de calidad, cantidad y tiempo, incluyendo unidades de medida para verificar cuántas veces caben esas unidades en el total alcanzado.
• Objetivamente verificables: cualquier persona que aplique el indicador debe llegará a la misma conclusión.
• Mide lo que es importante: ello significa que unido a otros va a medir lo realmente sustantivo de la meta, descartándose la existencia de indicadores distractores o superfluos.

En las siguientes tablas puedes ver ejemplos de evaluación:

EVALUAR EL DISEÑO DEL PROYECTO DE LA INTERVENCIÓN SOCIAL
ASPECTO DEL PROYECTO  A EVALUAR	CRITERIOS DE EVALUACIÓN	INDICADORES DE EVALUACIÓN
FUNDAMENTACIÓN	Valoración de la fundamentación del proyecto.	¿La fundamentación del proyecto es coherente con los resultados del diagnóstico?
OBJETIVOS	Coherencia de los objetivos y valoración crítica de los mismos.	¿Son coherentes con la realidad analizada y permitirán que se cubran las necesidades detectadas? ¿Están bien formulados?
METODOLOGÍA	Idoneidad de la metodología propuesta y de las actividades. Congruencia entre actividades, metodología y objetivos propuestos.	¿Es  ade­cuada para alcanzar los objetivos? ¿Es adecuada para la realización de las actividades previstas? ¿Las actividades son las más indicadas para alcanzar los objetivos? ¿Las actividades son congruentes con la metodología elegida?
TEMPORALIZACIÓN	Idoneidad de la temporalización propuesta.	¿Los plazos de ejecución de cada tarea están bien distribuidos en el tiempo?
RECURSOS ECONÓMICOS, HUMANOS Y MATERIALES	Adecuación de los recursos económicos, humanos y materiales previstos.	¿Son suficientes o están sobredimensionados? ¿Se ha previsto cómo conseguirlos? ¿se dispone de ellos?

EVALUAR LA IMPLEMENTACIÓN DEL PROYECTO DE INTERVENCIÓN SOCIAL
ASPECTO DEL PROYECTO A EVALUAR	CRITERIOS DE EVALUACIÓN	INDICADORES DE EVALUACIÓN
OBJETIVOS	Grado de alcance de los objetivos marcados. Coherencia entre los objetivos pro­puestos con las actividades propuestas.	¿Se están consiguiendo los objetivos propuestos? ¿Existe una coherencia clara entre los objetivos marcados y las actividades que se están ejecutando?
METODOLOGÍA	Coherencia entre la metodología y las acti­vidades que se están llevando a cabo.	¿Es la metodología utilizada la más adecuada para la consecución de los objetivos y la resolu­ción del problema? ¿Es necesario introducir modificaciones en la metodología para obtener mejores resultados, tanto desde el punto de vista cuantitativo como cualitativo? ¿Las actividades desarrolladas dan respuesta sa­tisfactoria a los diferentes objetivos del proyec­to? ¿La secuenciación y la dificultad de las activida­des es la más adecuada?
TEMPORALIZACIÓN	Idoneidad de la temporalización del proyecto.	¿La temporalización de las actividades y las ta­reas se va desarrollando acorde al cronograma? ¿Se producen incidencias significativas?
DESTINATARIOS	Implicación y la participación de los destinatarios.	¿Los participantes se sienten satisfechos con el proyecto?
RECURSOS ECONÓMICOS, HUMANOS Y MATERIALES	Idoneidad, disponibilidad y eficiencia en el uso de los recursos.	¿Están siendo los recursos los más indicados para la intervención? ¿Disponemos de los recursos previstos? ¿Se están dando dificultades para conseguir los recursos previstos? ¿Los recursos han sido utilizados de forma eficiente (buscando su máxima rentabilidad?

EVALUAR LOS RESULTADOS DEL PROYECTO DE INTERVENCIÓN SOCIAL
ASPECTO DEL PROYECTO  A EVALUAR	CRITERIOS DE EVALUACIÓN	INDICADORES DE EVALUACIÓN
GENERAL	Idoneidad del proyecto: eficacia, eficiencia e impacto.	¿Se ejecutó el proyecto como se pretendía? ¿Cuáles fueron los puntos fuertes y los débiles del proyecto? ¿Qué factores se dieron para que el proyecto se desarrollara de esa manera? ¿Qué efectos positivos y negativos ha producido el proyecto? ¿Se corresponden los resultados obtenidos con los esfuerzos dedicados? Implicación de otras instituciones en la ejecución del proyecto. ¿Cómo han cambiado las necesidades detectadas al principio? ¿Presentan nuevas demandas respecto a las necesidades abordadas? ¿Aparecen características nuevas en la demanda que no estaban previstas en el proyecto? ¿Qué resultados no previstos se han producido en la comunidad? ¿Cómo ha influido el proyecto en el entorno y en el territorio? ¿Cuál es la relación entre los efectos del proyecto a corto, medio y largo plazo?
OBJETIVOS	Nivel de consecución de los objetivos y valoración crítica de los mismos. Nivel de cumplimiento y alcance.	¿Hasta qué punto se han cumplido los objetivos? Nivel de consecución del objetivo 1. Nivel de consecución del objetivo 2, etc. Porcentajes en la consecución de los objetivos. Número de actividades que comenzaron y acabaron en los tiempos previstos. ¿Cómo y cuándo se ha conseguido cada objetivo? ¿Las acciones realizadas han sido útiles? ¿Ha habido resultados inesperados?
METODOLOGÍA	Idoneidad de la metodología empleada. Adecuación de las actividades.	Cantidad de actividades Número de deserciones (personas que inician la actividad pero no la terminan). ¿La metodología empleada durante el desarrollo de las actividades fue acertada? ¿Las actividades se han desarrollado adecuadamente? ¿Se ejecutaron las actividades como se pretendía? ¿Qué actividades han resultado ser más eficientes? ¿Qué actividades han resultado ser menos eficientes? ¿Cuáles fueron los puntos fuertes y los débiles de las actividades? ¿Puede haber una mejora de las actividades con las mismas condiciones y recursos? ¿Cuáles son los ajustes necesarios? ¿Qué actuaciones o actividades deberían mantenerse en el futuro? ¿Con qué periodicidad? ¿Quién tiene capacidad para asumirlo? Valoración (descriptiva) de los participantes de las actividades.
LOCALIZACIÓN	Idoneidad de los espacios.	¿El espacio donde se desarrollaron las actividades fue el adecuado?
TEMPORALIZACIÓN	Nivel de Cumplimiento de los tiempos previstos y los motivos, en su caso, de su incumplimiento. Adecuación de horarios, duración, …	¿Se cumplieron todos los plazos previstos para las distintas fases del proyecto? ¿Se han cumplido los tiempos previstos para cada una de las actividades? En caso de incumplimiento ¿cuáles fueron los motivos? Número de actividades que comenzaron y/o acabaron más tarde lo previsto. Número de actividades que “sufrieron” cambios de fecha. Número de actividades que se ejecutaron en las fechas previstas. Existencia de factores internos/externos que provocaron cambios en la temporalización.
DESTINATARIOS	Participación de los destinatarios. Grado de satisfacción de los destinatarios.	¿A cuántas personas se ha llegado con el proyecto? Número de participantes. Frecuencia de la asistencia. ¿Qué grado de participación se consiguió? ¿Se promovió la participación de los destinatarios? ¿Se llegó al grupo de participantes previsto? ¿Cómo se ha llegado a la población? ¿Ha sido suficiente la información de promoción y difusión? ¿Cómo llegaron los participantes al proyecto? ¿Cómo evolucionó el grupo? ¿Se beneficiaron todos los destinatarios de igual manera? ¿Qué grado de satisfacción se dio? Nivel de aceptación del proyecto. Nivel de satisfacción respecto a las actividades. ¿Se han cubierto las necesidades reales de la población a la que va dirigido? ¿Cuántas veces se ha visto el grupo sin la presencia del animador, una vez finalizado el proyecto? Implicación e integración del grupo en su barrio o comunidad. Proyección de lo aprendido por el grupo hacia el exterior (a otras personas).
RECURSOS	Adecuación de los recursos materiales y financieros en la intervención llevada a cabo. Eficacia, eficiencia, coordinación y organización de los recursos humanos.	RECURSOS MATERIALES Y FINANCIEROS ¿Los recursos utilizados en las actividades eran suficientes/adecuados? ¿Se han movilizado recursos suficientes para el desarrollo de las actividades y el logro de los objetivos? ¿Tuvimos los recursos necesarios? Los medios materiales fueron suficientes y adecuados en las actividades.   RECURSOS HUMANOS ¿Cuántos profesionales y voluntarios han participado en el proyecto? ¿Qué cualificación tenían? ¿Cómo se interaccionó con los participantes? Existencia de un trato adecuado de los profesionales hacia los usuarios. ¿Funcionó el equipo adecuadamente? ¿Estuvieron bien organizadas y distribuidas las tareas? ¿Asumió cada uno su responsabilidad? ¿Existieron conflictos? ¿Se resolvieron de manera constructiva? Relación del animador con los participantes.   AMBOS ¿Se utilizaron los recursos económicos, materiales, humanos de una manera adecuada? ¿Se podrían explotar u optimizar mejor? Se podría haber conseguido lo mismo por menos dinero, esfuerzo o tiempo, etc.?

La mayoría de las técnicas de la evaluación de los proyectos de acción social provienen de otras áreas del conocimiento y han sido adaptadas, con mayor o menor fortuna, al campo de la social.

Ya hemos comentado que no debe confundirse la evaluación con un proceso de investigación científica, pues su finalidad última no es la de asentar conocimientos, sino la de permitirnos tomar decisiones que mejoren nuestras intervenciones actuales y futuras. No obstante, ambas comparten el uso de las mismas técnicas e instrumentos.

Las técnicas que se pueden usar son variadas, pero destacan las técnicas: cuantitativas, cualitativas y las de carácter participativo.

Como ya se explicó en la unidad dos, las  técnicas cuantitativas ponen el énfasis en la medición objetiva, la demostración de la causalidad y la generalización de los resultados; por su parte, las técnicas cualitativas se centran en la descripción y comprensión interpretativas de la conducta humana en el marco de referencia del individuo o del grupo social en el que actúa.

Por último las técnicas participativas, estarían entre las dos anteriores, pero partiendo la implicación de la población en el desarrollo de las técnicas. Además dependiendo del tipo de técnica participativa que usemos, ésta puede proporcionar datos objetivos o bien otros de carácter interpretativo.

• Técnicas cuantitativas: encuesta, medición directa  u observación cuantitativa , el censo y análisis económico-financiero.
• Técnicas cualitativas: Entrevista, Grupos de discusión, análisis documental, observación estructurada.
• Técnicas participativas: El marco en torno al cual se desarrollan suele denominarse “taller” (trabajo colectivo, cuyos resultados requieren de la participación interactiva de todas y todos y cuyos objetivos y tareas se mantiene en el tiempo de forma paralela al proceso de empoderamiento del grupo). Son ejemplos:diagrama de Venn, diagrama de flujo, el termómetro, la diana, semáforo, etc.

Para que los datos recopilados sean de mayor riqueza y fiabilidad, es muy importante optar por la triangulación metodológica.

El proceso de intervención social y su evaluación se ha visto facilitado por la aparición de soportes móviles e  informáticos que permiten un procesamiento y tratamiento de los datos mu­cho más rápido,ayudando a  la presentación de los resultados.

A la hora de trabajar memorias  e informes, las TIC, con sus avances tecnológicos y los software especializados , permiten de forma fácil manejar y cruzar datos de diferente tipo, así como usar imágenes que aportan gran información ya sean gráficos o fotografías. Las tecnologías actuales nos permiten tomar fotografías y adjuntarlas directamente a un documento mediante un dispositivo móvil, además de facilitar el poder hacer anotaciones y actualizaciones a nuestras notas de campo en cualquier momento.

Habrá que considerar que, aunque es muy sencillo y rápido, para la recogida e inclusión de datos personales (fotos, videos, etc) siempre se debe contar con el consentimiento de la persona usuaria y cumpliendo de forma exhaustiva los  criterios de privacidad y confidencialidad.

Señalaremos a título informativo, algunos recursos y programas para la elaboración de documentos y tratamiento de datos, de los cuáles podrás obtener mayor información en la web, dado que  la herramienta de internet te permitirá acercarte de forma sencilla a su manejo y constante actualización.

• Programas de tratamiento de texto: Word, pdf, ...
  
• Hojas de cálculo como Excel.
• Programas de presentación tipo diapositivas o prezi, útiles para mostrar resultados de los proyectos.
• Bases de datos, para trabajar con gran cantidad de información  y realizar consultas precisas en tiempo real.
• Programas de edición de video, con tutoriales que failitan el trabajo de imágenes.
• Maxqda. Software para el manejo de datos cualitativos.
• Atlas.ti. Programa de manejo de datos cualitativos.
• Spss. Permite manejar gran cantidad de  datos cuantitativos.
• Nvivo. Programa de análisis de datos cualitativos y mixtos. Ayuda en la gestión y organización del material obtenido  a lo largo de la investigación.

El Informe de Evaluación debe contener, cuando menos, un texto descriptivo que detalle la información recogida, un apartado explicativo que establezca las correspondientes relaciones de causa y efecto, y un apartado que incluya conclusiones, recomendaciones y sugerencias.

Su finalidad principal es comunicar los resultados, por tanto todo ello deberá estar  orientado hacia la acción y hacia el fortalecimiento de la toma de decisiones.

Por su parte, la memoria  es documento pedagógico y administrativo donde se hace el recuento de lo sucedido de forma amplia.

Es un estudio que sistematiza tanto el pro­ceso seguido desde el principio hasta su finalización, como los resultados obtenidos. En él quedan recogi­dos tanto los puntos fuertes como las limitaciones encontradas a lo largo del desarrollo de la intervención social. 

La memoria es un documento donde debemos reflejar lo que se ha hecho en cada momento del proceso de intervención, cómo se ha hecho y el grado o nivel de logro o éxito. Es decir, la memoria recoge lo que los resultados de la evaluación nos han indicado.

En la memoria se debe incluir una relación de todo lo que se ha hecho, fechas y circunstancias; cómo se han llevado a cabo las distintas etapas de la programación y las dificultades que han surgido. Es importante destacar no sólo los logros sino también las dificultades encontradas.

Esquema del informe

Un informe deberá incluir los apartados siguientes:

• Portada:

  • Título del proyecto.

  • Tipo de evaluación: externa, interna, mixta, participativa; simultánea, final, de impacto; etc.

  • Situación del Informe: borrador, preliminar, final.

  • Fecha.

  • Equipo evaluador.

• Resumen:

  Se detallarán, en un espacio reducido, las características y elementos centrales del Informe.

• Introducción:

  • Breve descripción del proyecto.
  • Objetivos de la evaluación.
  • Enfoque metodológico.
  • Ámbito de aplicación.
  • Limitaciones y obstáculos detectados.

  • Principales técnicas utilizadas para la recogida y procesamiento de la información. Estructura del Informe.

• Descripción de la información:

  Se trata de presentar, de forma agrupada y sistematizada, la información recogida haciendo alusión a los criterios e indicadores de la evaluación final. En esta fase el equipo evaluador se limita a describir y ordenar los datos más sobresalientes por componentes, resultados o estrategias.

• Valoración de la información:

  Se trata de incorporar las explicaciones necesarias en cuanto a la información descrita, estableciendo las relaciones de causas y efectos que procedan. Estas explicaciones también deben ser presentadas atendiendo a los criterios  e indicadores, haciendo referencia a : eficiencia, eficacia, impacto, pertinencia, viabilidad, con sus correspondientes factores de desarrollo. Se realizará una valoración tanto cuantitativa como cualitativa de los resultados.

• Conclusiones y recomendaciones:

  Se trata, por un lado, de plantear las principales conclusiones del proceso de evaluación. Por otro, de establecer recomendaciones y sugerencias para mejorar la calidad de la ejecución del proyecto en sus siguientes fases, absorber determinados obstáculos detectados  o extraer aprendizajes para intervenciones futuras.

• Anexos:

  Se adjuntará toda aquella documentación de interés que ilustre el desarrollo del proceso de evaluación (encuestas, cuestionarios, referencias documentales, etc.) y que complemente los contenidos del Informe.

  Las características fundamentales que han de cumplir los informes para mejorar la difusión de la información son las siguientes:

  • Que sean concretos y breves.
  • Que estén escritos con un lenguaje comprensible para las personas o grupos a los que se dirige.
  • Que los gráficos utilizados ayuden a la comprensión del contenido y no a aumentar su complejidad.
  • Que las explicaciones no se pierdan en largas discusiones metodológicas. 

Esquema de la memoria

Una memoria deberá incluir los apartados siguientes:

• Portada:
  • Título: “Memoria  del proyecto X”.
  • Tipo de evaluación: externa, interna, mixta, participativa; simultánea, final, de impacto; etc.
  • Situación de la memoria: borrador, preliminar, final.
  • Fecha.

  • Equipo evaluador.

• Resumen:

  Se detallarán, en un espacio reducido, las características y elementos centrales de la memoria.

• Introducción:

  • Breve descripción del proyecto  al que se hace memoria.
  • Objetivos de la evaluación. Enfoque metodológico.
  • Descripción de cada etapa del proceso de intervención social evaluado: diagnóstico, diseño, evaluación procesual y final.

  • Descripción de la evaluación aplicada a cada elemento de la programación de intervención.

• Desarrollo de la memoria:

  • Exposición de resultados siguiendo   los criterios e  indicadores  de la evaluación diagnóstica aplicados, de diseño, procesual y final.
  • Exposición de resultados en función de los instrumentos de evaluación de la evaluación diagnóstica, de diseño, procesual y final.
  • Exposición de los resultados de la evaluación diagnóstica, de diseño, procesual y final.

  • Exposición de una valoración cuantitativa y cualitativa de los resultados.

• Valoración de la información:

  Se trata de incorporar las explicaciones necesarias en cuanto a la información descrita, estableciendo las relaciones de causas y efectos que procedan. Estas explicaciones también deben ser presentadas atendiendo a los criterios  e indicadores , haciendo referencia a : eficiencia, eficacia, impacto, pertinencia, viabilidad, con sus correspondientes factores de desarrollo. Se realizará una valoración tanto cuantitativa como cualitativa de los resultados.

• Conclusiones y recomendaciones:

  Se trata, por un lado, de plantear las principales conclusiones del proceso de evaluación. Por otro, de establecer recomendaciones y sugerencias para mejorar la calidad de la ejecución del proyecto en sus siguientes fases, absorber determinados obstáculos detectados  o extraer aprendizajes para intervenciones futuras. 

• Anexos:

  Se adjuntará toda aquella documentación de interés que ilustre el desarrollo del proceso de evaluación (encuestas, cuestionarios, referencias documentales, etc) y que complemente los contenidos de  la memoria.

Comunicación de resultados

De cómo se realice la presentación de los resultados de la evaluación, puede depender la incidencia del proyecto, por esta razón, debe considerarse como una fase de gran importancia.

A continuación de enumeran algunas reco­mendaciones que se deben tener en cuenta sobre cómo informar de los resultados de la evaluación.

• Al informar a las personas implicadas:

  • Conocer adecuadamente a los distintos gru­pos implicados.
  • Pedir información sobre lo que estos grupos desean conocer sobre la valoración y por qué.

  • Tratar de comprender el punto de vista de las distintas audiencias.

• Al dar un mensaje de evaluación:

  • Relacionar la información con las acciones que hayan de emprenderse.

  • No dar excesiva información, de forma que lo accesorio impida atender a lo sustancial.

• Al dar información en forma escrita:

  • Comenzar por las frases que expresan los as­pectos más relevantes.
  • Enfatizar todo aquello que se desea resaltar.

  • Redactar con claridad la información.

• Al realizar una presentación oral:

  • Preparar una presentación interesante y amena.
  • Adoptar un tono natural.
  • Presentar gráficos y esquemas comprensibles y claros que sinteticen los resultados de la evaluación o lo que se pretende expresar.
  • Implicar a la audiencia en la presentación.

  • Dejar un tiempo para preguntas.

• Al relacionarse con la prensa:

  • Explicar el vocabulario técnico.
  • Tratar de escribir personalmente la noticia.
  • Presentar material gráfico.

Cuando realicemos la evaluación de nuestra intervención social deberemos cuidar de no caer en los siguientes errores:

• Autoengañarse, realizando el proceso al revés; es decir, decidiendo de antemano “qué es lo que quiero que salga”.
• Reducir la evaluación a datos, números y porcentajes. Los datos en sí mismos no dicen nada sin una referencia al contexto que les da sentido. Es necesario completar los datos cuantitativos con datos cualitativos e información sobre el contexto para valorarlos en su justa medida.
• La subjetividad. Un animador riguroso no puede conformarse con evaluaciones que se resuelven en afirmaciones tales como: “la gente lo ha pasado bien”. Se trata de aportar no sólo descripción de hechos, sino una interpretación, y sobre todo proponer formas de mejorar la acción.
• No diferenciar a quién le interesa la evaluación: entidad organizadora, destinatarios o institución que la financia.
• La burocratización de la evaluación, donde se convierte en un puro trámite que no aporta nada nuevo ni mejora lo anterior.

Los aspectos éticos asociados a la evaluación que de­bes tener en cuenta son:

• El consentimiento libre y explícito de los parti­cipantes.
• La confidencialidad y el derecho a la privacidad.
• La equidad en las relaciones, a través del fortaleci­miento de las relaciones horizontales entre evaluadores y evaluados. Esto supone desarrollar estilos democráticos y participativos de evalua­ción que consideren a los participantes protagonistas y copartícipes del proceso.
• La consideración del impacto de los resultados y de los beneficios de la evaluación, previendo los efectos directos e indirectos y potenciando la utilidad social de los resultados.
• Garantizar las exigencias de la metodología científica. Algunos ejemplos de incumplimiento de este requisito serían re­coger sólo los datos que interesen al investiga­dor, falsificar los datos y manipular los datos para mejorar su presentación.
• En la devolución de los resultados, ser siempre honesto y no ir más allá de los datos.

Cuando vimos los tipos de evaluación comentamos que “la acreditación-certificación” es un tipo de evaluación peculiar muy asociado al control de calidad.

Consiste en comprobar si un proceso u organización, cumple con unos criterios establecidos y reconocidos universalmente, de forma que se garantiza unos niveles mínimos respecto de la calidad y fiabilidad esperada de sus productos o servicios.

Este tipo de evaluación se asocia con la necesidad de incrementar los niveles de seguridad, transparencia y confianza en las relaciones comerciales y de consumo.

La normalización, homologación, certificación, acreditación son procesos de evaluación basados en estándares o nomas conocidas y aceptadas por el sector que llevan a cabo entidades oficiales especializadas y autorizadas para realizar este tipo de evaluaciones.

La introducción en la cultura de la calidad supone:

• La aceptación de la crítica como una oportuni­dad de mejora y no como una situación que hay que evitar.                                                                     
• La implicación de todos los agentes en la mejo­ra contínua.
• La necesidad de conocer la opinión de los usua­rios/as con el fin de mejorar el servi­cio en lugar de actuar de manera irreflexiva.
• Evitar centrarse en la búsqueda de culpables ante un problema y esforzarse en analizar la causa y combatirla.
• Enfatizar las líneas estratégicas de la organiza­ción en detrimento de las decisiones individua­les o aisladas.

En los proyectos de intervención social la gestión de la calidad presenta las siguientes ventajas:

• Mejora del rendimiento de los recursos disponi­bles y, por tanto, de la eficiencia de la interven­ción.
• Aporta una mayor transparencia de acuerdo con las exigencias de la propia sociedad.
• Aumenta la satisfacción, tanto de las personas usuarias como de las promotoras del proyecto y también del entorno.
• Produce un incremento del prestigio social dan­do mayor confianza a la propia institución o entidad.
• Mejora de la seguridad, el respeto por el medio ambiente y la responsabilidad social.
• La institución o el servicio mejora la gestión de manera progresiva y aprende a partir de la in­tervención llevada a cabo.

Una auditoría es un examen metódico, que se lle­va a cabo para comprobar si las actividades y los resultados de la gestión de la calidad de la entidad cumplen los requisitos establecidos (normati­vos y/o de la propia entidad) y que son adecuados para conseguir los objetivos establecidos.

Las cartas de servicios son documentos en los que la institución informa y se compromete, de manera pública  a ofrecer y mantener una serie de compromisos para la calidad del servicio ofre­cido

Los indicadores de calidad  permiten controlar y valorar la calidad de una acti­vidad en un momento y lugar determinados.Los que más frecuentemente se utilizan en la gestión de la calidad en el ámbito social son:

• Indicadores para la evaluación procesual: Miden la eficiencia del proceso (de la ejecución del proyecto), valorando la capacidad de las actividades para llegar a cubrir los objetivos propuestos con los recursos dispo­nibles.
• Indicadores para la evaluación final o de resultados: Valoran especialmente las actividades o servicios realizados por el proyecto y los resultados obtenidos.

Los indicadores pueden ser:

• De eficacia, comparan resultados obtenidos con los objetivos propuestos.
• De excelencia, valoran la calidad perci­bida por los destinatarios respecto a las actividades realizadas.
• De equidad, miden la igualdad de opor­tunidades para acceder a las actividades.
• De efectividad, dan información sobre el impacto del proyecto sobre la población destinataria.
• De eficiencia, valoran si los recursos empleados en el proyecto (tanto materiales, como humanos y financieros) han sido utilizados de forma eficiente.

Unas de las normas más conocidas de carácter in­ternacional son las normas ISO establecidas por la Organización Internacional de Normalización. Todos los países de la UE han decidido numerar las ediciones nacionales de las normas ISO, añadiendo sus abreviaturas, por ello encontramos la abreviatura UNE (norma española) ( añadiendo EN  el caso que también sea europea).  En cuestión de calidad, la norma UNE-EN ISO 9001:2015, sistemas de gestión de la calidad, requisitos, determina los requisitos para una gestión de calidad.

Las normas ISO facilitan la implantación de un sistema de gestión de la calidad para cualquier tipo de or­ganización.

Tienen como finalidad principal: orientar, coordinar, simplificar y unificar los usos para conseguir menores costes y mayor efectivi­dad.

Cualquier organización puede optar por obtener la certificación de acuerdo con las normas ISO. Una vez obtenida la certificación, la empresa, si desea mantenerla, deberá continuar pasando una auditoría externa anualmente.

A nivel nacional tenemos la Asociación Española de Normaliza­ción y Certificación (AENOR), encargada de editar normas exclusivamente españolas para los diferentes sectores.

Modelos de evaluación de la calidad de la organización: el modelo EFQM:

El modelo EFQM de calidad y excelencia ha sido desarrollado por la Fundación Europea para Gestión de la Calidad.  

Básicamente se emplea para la evaluación de las organizaciones, bien por personal interno o externo, llegando a conocer cuál es su estado respecto al ideal de excelencia empresarial que encarna el modelo, así como sus oportunidades de mejora.

Permite enfocar la transformación cultural de la organización, en la búsqueda por la excelencia. Supone una mejora permanente, una innovación continua.

Los principales conceptos o características que conforman el modelo EFQM serían los siguientes:

• Orientación hacia los resultados.
• Orientación al cliente.
• Liderazgo y coherencia.
• Gestión por procesos y hechos.
• Desarrollo e implicación de las personas.
• Proceso continuo de aprendizaje, innovación y mejora.
• Desarrollo de alianzas.
• Responsabilidad social de la organización.

A través de la autoevaluación el modelo EFQM pretende una gestión más eficaz y eficiente. La identificación de los puntos fuertes y débiles aplicados a diferentes ámbitos de la organización son el punto de partida para el proceso de mejora continua.

Es uno de los modelos de la gestión de la calidad más utilizados. Ahora, el nuevo Modelo EFQM (versión 2020) ha sido reinventado para ayudar a las organizaciones a afrontar el cambio, a impulsar el rendimiento y a prepararse para el futuro.

La estructura del Modelo EFQM se basa en una lógica sencilla pero muy poderosa, que responde a tres cuesiontes:

• ¿"Por qué" existe la organización? ¿"Qué" propósito cumple? ¿"Por qué" esta estrategia concreta? => DIRECCIÓN
• ¿"Cómo" tiene la intención de cumplir con su propósito y estrategia => EJECUCIÓN
• ¿"Qué" ha logrado hasta ahora? ¿"Qué" quiere lograr en el futuro? => RESULTADOS

La Norma ONG Calidad es un estándar de gestión de la calidad para las ONG, basado en un enfoque de principios y valores. La Norma incluye requisitos para un sistema de gestión de la calidad aplicable a cualquier organización del Tercer Sector, además de valores y principios que guían la aplicación de dichos requisitos.

Las normas ISO y algunos modelos usados en la gestión de la calidad, como el EFQM, no se adaptan de manera directa al trabajo realizados por las organizaciones del tercer sector.

Por ello, surgen nuevos enfoques que pretenden dar una respuesta  personalizada a las organizaciones que trabajan en el ámbito, así se crea la norma ONG calidad, creada directamente para el tercer sector con el fin de recoger los principios de la gestión de organizaciones, adaptándola a sus particularidades.

El Instituto para la Calidad de las ONG es el encargado del desarrollo de la norma y de la acreditación de sistemas de gestión de la calidad basada en ésta.

• AGUILAR, M. Y ANDEREGG, E. (1994). Evaluación de servicios y programas sociales. Buenos Aires, Argentina. Editorial Lumen

• CRUZ ROJA INTERNACIONAL (1994A). Cooperación internacional: Delegados/as de proyectos de cooperación internacional: Formación especializada para el voluntario CRE: Manual del alumno/a, Cruz Roja Española, Madrid

• SIERRA BRAVO, R. (1995). Técnicas de Investigación Social: Teoría y ejercicios. Madrid

• PLATAFORMA DE ONG DE ACCIÓN SOCIAL. Guía de evaluación de Programas   y Proyectos Sociales.  Madrid.

• FEDERACIÓN INTERNACIONAL DE SOCIEDADES DE LA CRUZ ROJA Y DE LA MEDIA LUNA ROJA. Microproyectos sociales.2014

• ESPINOZA VERGARA,M. Evaluación de proyectos sociales. Buenos Aires. Humanitas 1993.

• DE KELETE,J.M. Observación y evaluación de la práctica educativa. Madrid. Visor. 1984

• RODRÍGUEZ ROCA,J. Evaluación de las intervenciones sociales en RODRÍGUEZ ROCA,J.(coord.). Evaluación y técnicas de intervención social. Barcelona. UOC,2008.

• MERINO,J. Programas de animación sociocultural. Tres instrumentos para su diseño y evaluación. Madrid. Narcea ,1997.

• GARCÍA HERRERO, G.A., RAÍREZ NAVARRO, J.M. Diseño y evaluación de proyectos sociales . Zaragoza. Libros Certeza.1996

• DE LA ROSA GIMENO, P.  artículo  “La evaluación de programas de intervención social”, publicado en  el número 83 de la revista Servicios Sociales y Política Social, editada por El Consejo General de Colegios Oficiales de Diplomados  en Trabajo Social, en el tercer trimestre 2008.

• LOSADA MÉNDEZ,S. Metodología de la intervención social. Madrid. Síntesis.2016

• GUTIÉRREZ ,I., SORRIBAS, M. Metodología de la intervención social. Barcelona. Altamar.2012

• SlideShare. DE LA VEGA ALEMPARTE, R.  Taller sobre la meta-evaluación. https://www.slideshare.net/ricardodelavega/metaevaluacin.

• Plan estratégico del tercer sector de la acción social. Guía de evaluación de programas y proyectos sociales. Elaborado por el equipo técnico de análisisis y desarrollo social , coordinado por Perea Arias, O. Editado por Plataforma de ONG de acción Social. Madrid. https://www.msssi.gob.es/ssi/familiasInfancia/ongVoluntariado/docs/evaluaciondeprogramasyproyectossociales.pdf

• GALLEGO, I. Investigador asociado  del instituto Unversitario de desarrollo y cooperación de la universidad complutense de Madrid (IUDC-UCM)

• Enfoque del monitoreo y la evaluación participativa (MEP): Batería de Herrramientas metodológicas).

• Blog de Jacqueline Wigodski. Metodología de la investigación. Variables. http://metodologiaeninvestigacion.blogspot.com.es/2010/07/variables.html

• Video. ONG. 8 horas con la calidad. (QR 1). http://icong.webcastlive.es/moviles.htm?video=04

• Video . Avanzando en la mejora de la calidad y transparencia en entidades (QR 2). https://vimeo.com/155497294.