Y comenzamos como lo hemos hecho hasta ahora, es decir, preguntándonos ¿qué es evaluar?

Siguiendo a Mario Espinoza, evaluar es medir el grado de consecución de los objetivos marcados en el proyecto de intervención para facilitar la toma de decisiones, previendo dificultades y aprovechando oportunidades.

Para Cembranos, se puede decir que la evaluación se concibe como un proceso en el cual se recoge y analiza sistemáticamente una información sobre un programa, actividad intervención con la intención de utilizar ese análisis en la mejora del programa, actividad o intervención. (Cembranos,1992:184)

Evaluar forma parte del proceso metodológico de la ASC: análisis de la realidad, programación, intervención y evaluación. El que esté en la última fase no debe confundirse con que debe realizarse al final del proceso, es decir, una vez se implemente el proyecto,  sino que es de aplicación a lo largo del mismo.

Siguiendo a Cembranos, la evaluación puede ser utilizada en animación sociocultural por dos razones básicas:

• Es una manera de recibir feedback sobre la intervención y los programas que se llevan a cabo (...) al fin y al cabo, la evaluación puede ser un proceso de aprendizaje de la propia intervención.

• Es una responsabilidad social y política, especialmente si las actividades se financian con fondos públicos, ya que la ciudadanía, contribuyente del sistema, tiene el derecho de saber en qué y cómo se está empleando el dinero público. (Cembranos,1992:187)

Características:

Siguiendo al profesor Xavier Úcar, estas son algunas de las características de la evaluación en la animación sociocultural:

• Una primera característica definitoria de la ASC que condicionará cualquier proceso evaluativo es su extraordinaria heterogeneidad, tanto en lo que se refiere a los programas, como a los objetivos, ámbitos, actividades, tiempos o participantes en o con los que aquellos se desarrollan.

• Una segunda característica que debe vertebrar los procesos de evaluación en ASC es la flexibilidad. La realidad social -donde la intervención se  desenvuelve- es móvil, mutable, dinámica y compleja. Cualquier planteamiento evaluador ha de estar abierto al cambio, a la adaptación, al ajuste a las transformaciones operadas en la realidad.

• Una tercera característica deviene de la función más esencialmente educativa de la ASC. Me refiero al traspaso de funciones y técnicas del animador a la colectividad. S i el objetivo terminal de la animación es que la colectividad sea autónoma en la planificación, gestión y ejecución de sus propios proyectos, también deberá serlo para evaluarlos.

• La cuarta característica nace de este mismo planteamiento; el grupo o la comunidad  deben participar activamente, de una u otra manera, en el diseño y ejecución de la  evaluación. Sólo así promocionaremos verdaderamente su autonomía y se generará, al  mismo tiempo, una nueva cultura que contemple la evaluación como un proceso  deseable y necesario en la transformación que se espera operar en las dinámicas  sociales (Úcar, 2004:195).

Además de todo esto, la evaluación debe ser:

• Objetiva: captar la realidad tal y como es evitando juicios de valor y opiniones subjetivas.

• Ofrecer información suficiente: para lo que será necesario centrarse en los aspectos concretos para no dispersarnos en la obtención de datos lo que traerá consigo mucha información que quizás no podamos gestionar.

• Continua: tiene que darse durante todo el proceso de intervención no sólo al final

• Validez: los instrumentos a utilizar deben servir para obtener información real de lo que queremos evaluar.

Y siguiendo a Cembranos añadimos que la evaluación ha de ser:

• Útil: porque la información que nos ofrezca debe servir para la mejora del programa, actividad o intervención.

• Práctica: porque debe estar dirigida a la acción.

Tipos de evaluación Se puede clasificar la evaluación en función de:

• El momento en el que se realiza.

  • Evaluación diagnóstica, inicial: la que se realiza al comienzo del proceso, programa, proyecto o actividad.

  • Evaluación formativa, procesual, parcial: se realiza a partir de que el proyecto comienza a ser ejecutado y es la que nos permite llevar el seguimiento del programa o actividad. Posee la función de revisión del proceso y retroalimentación para ir realizando ajustes conforme se interviene.

  • Evaluación final, sumativa, global: Se lleva a cabo al finalizar la intervención permitiendo valorar el grado de consecución de los objetivos o qué efectos no deseados se han producido, valorando así los resultados y orientando la toma de decisiones.

• Las personas que intervienen.

  • Autoevaluación: es aquella evaluación que se hace una a sí misma.

  • Evaluación interna: es la que realiza el equipo de profesionales que forman parte del proyecto y de la programación de actividades.

  • Evaluación externa: es la que realiza personal externo a la organización del proyecto.

  • Evaluación mixta: evaluación combinada que realiza el equipo humano responsable del proyecto conjuntamente con un grupo de personas externas a la institución.

• El tipo de información que se quiera obtener.

  • Evaluación cuantitativa: los datos que se recogen son numéricos. Se busca básicamente objetividad en los resultados.

  • Evaluación cualitativa: los datos obtenidos no son cuantificables sino valorados en términos de calidad. La objetividad y sus resultados no son el objetivo prioritario.

  • Evaluación mixta: combina ambos tipos. En la ASC, lo ideal es aplicar este tipo de evaluación.

Observación

Los instrumentos de evaluación pueden ser cualquier herramienta de recogida de información que se ajuste al tipo de información que queremos, por ello, cualquier instrumento puede ser válido, siempre y cuando nos dé una buena información que dé respuesta a los interrogantes planteados (Cembranos ob. citada).

La observación es uno de los instrumentos de evaluación por excelencia en la intervención en ASC ¿porqué?

• Supone una obtención continua de información.

• Es el instrumento que a priori no necesita elaboración alguna.  

• Y porque, querámoslo o no, siempre nos acompaña.

Pero para observar lo primero que se necesita hacer es entrenar nuestra mirada: que la mirada no sólo mire y vea, sino que mire y observe.  Así la observación puede ser de dos tipos:

• Estructurada: Se definen de antemano las variables que se van a observar.

• No estructurada: no se definen las variables y quién observa es una persona participante más de la actividad que se esté desarrollando.

Entrevistas

Es aquella técnica que permite el trasvase de información entre dos personas o más. En toda entrevista hay una persona entrevistadora y otra entrevistada, aunque también la persona entrevistada pueden ser más de una.

La entrevista puede ser:

• Estructurada: la persona que entrevista lleva un guión previamente establecido con preguntas concretas que hacer.

• Semiestructurada: se lleva un guión flexible y que podemos ir modificando conforme realizamos la entrevista (añadiendo preguntas, eliminando otras,...)

• No estructurada: no se lleva guión previo y es totalmente abierta.

Cuestionarios

Cuando la entrevista tiene formuladas preguntas previamente, y a su vez ofrece unas respuestas cerradas, categorizadas y limitadas, hablamos de la encuesta. El instrumento por excelencia utilizado para realizar una encuesta es el cuestionario.

El carácter práctico del cuestionario se fundamenta en que si queremos obtener la misma información de un gran grupo de personas sobre un tema en particular, podemos seleccionar una parte, es decir, a un grupo reducido que servirá como muestra. Para determinar esta muestra se utilizan herramientas estadísticas fiables que permiten que la información que obtengamos sea extensible y generalizable a todo el grupo.

Un registro es un documento, en soporte papel o medios electrónicos, que proporciona evidencia de las actividades realizadas, de los resultados obtenidos de su puesta en práctica o una combinación de ambas.

Los registros nos permiten demostrar que:

• Las actividades se desarrollan según lo previsto.

• Los resultados obtenidos son adecuados y en el caso de que no lo sean, se interviene para realizar los ajustes necesarios.

Visto así el registro se convierte en el instrumento que nos permite ir evaluando de forma procesual las actividades que forman parte del proyecto.

Un registro de seguimiento debe contener:

• Nombre de la actividad.

• Fecha y hora de realización.

• Datos de identificación del profesional que lo realiza.

• Instrumento utilizado.

• Observaciones/Imprevistos, incidencias, ...

• Firma y fecha.

Además se debe determinar el soporte del registro que puede ser papel o en soporte informático si la institución para la que se trabaja cuenta con alguna aplicación informática en este sentido.

Por ejemplo, una actividad programada “Visita cultural al Museo Canario”, el registro sería:

• Nombre de la actividad visita cultural al Museo Canario.

• Fecha y hora de realización indicar día, mes, año y hora en la que se realiza.

• Datos de identificación del profesional que lo realiza nombre del TASOCT.

• Instrumento utilizado: hoja de inscripción de la actividad  y el  número de personas asistentes.

• Observaciones/Imprevistos, incidencias, ...

• Firma y fecha.

• Soporte utilizado: ficha de registro en papel.

La importancia de elaborar un registro radica en que:

• Es una herramienta fundamental de control y seguimiento de la actividad.

• Facilita el intercambio de información entre profesionales generando transparencia y confianza.

• Facilita la gestión, ya que de ellos se extrae una gran cantidad de información, que, convenientemente analizada, puede ayudar a una a la mejora de la calidad de la intervención.

Contenido de una memoria o informe de seguimiento:

• Nombre del proyecto.

• Datos de identificación del profesional que lo realiza.

• Instrumentos utilizados: cuestionarios, entrevistas, informe de seguimiento, observación, ...

• Objetivos: Grado de cumplimiento de los objetivos.

• Actividades:  previstas realizadas y no previstas realizadas.

• Recursos: previstos utilizados y no previstos utilizados.

• Nivel de participación y aprovechamiento de las actividades por parte de las personas destinatarias.

• Efectos logrados no previstos.

• Firma y fecha.

• La memoria es conveniente que vaya acompañda de registros visuales realizados durante la implementación del proyecto: fotografías, cartelería utilizada, ...

Importancia de la transmisión de la información para el desarrollo de proyectos de animación de ocio y tiempo libre:

Además de las utilidades vistas de una memoria tienen también otra utilidad muy importante: elemento transmisor de información.

Así la memoria permite dar a conocer y visibilizar los resultados del proyecto a:

• Las personas destinatarias de la intervención.

• Las personas responsables de la institución para las cuales se ha desarrollado el proyecto.

• Las personas ajenas que estén interesadas en conocer la experiencia.

Y por último y no menos importante, con dicha memoria, estaremos en disposición de justificar posibles subvenciones que se hayan recibido para el desarrollo del proyecto. 

Siguiendo lo planteado por el  Equipo del Observatorio del Tercer Sector de Bizkaia) la calidad es:  

• Una filosofía por la que todas las personas de la organización aprenden, practican, participan y fomentan la mejora continua.

• Una estrategia de las entidades para mantenerse y asegurar su supervivencia.

• Una práctica, un modo de hacer que aporta valor añadido a los resultados de la organización.

• Un sistema de gestión resultado de adoptar la perspectiva de todos los clientes de la entidad.

Cuando se formulan proyectos de animación sociocultural es frecuente tener en cuenta lo siguiente:

• Orientar nuestra actividad a la satisfacción de las personas destinatarias, mediante la generación de productos o servicios de calidad.

• Mediante la práctica, se va mejorando la capacidad de aprendizaje organizativo y ello se traduce en el desarrollo de procesos cada vez más eficientes, incluyendo el uso de recursos.

• Una preocupación por una gestión ética y transparente, consiguiendo así mayor legitimación social.

• Búsqueda de la innovación y mejora permanente.

La implantación de sistemas de gestión de la calidad puede permitir a las organizaciones:

• Mejorar la eficacia y eficiencia pudiendo así ofrecer más y mejores servicios, así como cumplir en mayor medida nuestra misión.

• Adoptar una dinámica de mejora continua o formalizarla.

• Mejorar la organización interna, reforzando la colaboración entre servicios, programas, profesionales, voluntariado… a través de la gestión por procesos.

• Impulsar la creación de productos y servicios innovadores. La implantación de sistemas de gestión de la calidad, favorece la investigación, estimulando el estudio de líneas de mejora y permite reflexionar sobre errores y soluciones nuevas. 

• Organizar la documentación y la información, interna y externa, de la que dispone la entidad facilitando así la toma de decisiones.

• Ordenar y sistematizar los procedimientos, agilizándolos, simplificándolos, mejorándolos y evaluándolos de forma más eficaz, demostrando que se siguen procedimientos adecuados en la intervención social. (Equipo del Observatorio del Tercer Sector de Bizkaia)

Uno de los modelos de gestión de la calidad total es el modelo de excelencia empresarial de la Fundación Europea para la gestión de la calidad (European Foundation for Quality Management), que constituye un sistema de gestión de la organización que además de controlar los resultados y asegurar los procedimientos se orienta a la mejora continua abordando la gestión global de la organización.

Cuando hablamos de gestión de calidad nos referimos al conjunto de normas de una empresa u organización por las cuales se administra de manera ordenada su calidad, en la búsqueda de la satisfacción de las necesidades y expectativas de sus clientes.

Una de las normas de calidad más conocidas de carácter internacional son las Normas ISO.

Las normas ISO son documentos que especifican requerimientos que pueden ser empleados en organizaciones para garantizar que los productos y/o servicios ofrecidos por dichas organizaciones cumplen con su objetivo.

El objetivo perseguido por las normas ISO es asegurar que los productos y/o servicios alcanzan la calidad deseada. Para las organizaciones son instrumentos que permiten minimizar los costos, ya que hacen posible la reducción de errores y sobre todo favorecen el incremento de la productividad.

Existen muchas normas ISO y periódicamente aparecen nuevas. Para una mayor clasificación e identificación se agrupan por familias o series, cada una de ellas con una nomenclatura específica, una de las más conocidas en el ámbito de las organizaciones de la intervención social es  la Gestión de Calidad (serie ISO 9000). Esta norma está enfocada a homogeneizar los estándares de calidad de los productos o servicios de las organizaciones públicas y privadas, independientemente de su tamaño o actividad.

Desde su publicación inicial en 1987, las normas ISO 9000 han logrado un gran alcance y reputación en el contexto internacional y también en España. Estas normas son aplicables a cualquier tipo de organización y, aunque en un primer momento fue la empresa privada la que irrumpió con más fuerza en el ámbito de la certificación y normalización, cada vez más se están incorporando a actividades sociales desarrolladas por la Administración pública y organizaciones no gubernamentales.

La entidad responsable de la certificación es la Asociación Española de Normalización y Certificación (AENOR), que se creó en 1986, con la misión de contribuir a mejorar la calidad de empresas, productos y servicios, a través de actividades de normalización y certificación. La certificación de la gestión de la calidad se realiza según la normativa UNE-ISO 9000. (Sánchez Izquierdo, AT. y Sánchez Pérez, MªC).

La comprobación del control de calidad.

Una vez puesto en marcha el sistema de gestión de calidad es preciso hacer su seguimiento y evaluación, el grado de comprobación del mismo se realiza a través de las auditorias. La auditoría es un ejercicio de comprobación, un examen que permitirá establecer si los resultados en la gestión de la institución, como es el caso de las actividades, cumplen los requisitos establecidos y son adecuados para conseguir los objetivos establecidos.

Cuando una institución recibe la certificación de acuerdo con las normas ISO, ha verificado que la entidad es acorde con las normas y las especificaciones técnicas que se le aplican.

Ningún recurso de fuentes externas que requiera citar explícitamente sus datos de licencia ha sido usado en esta unidad, por lo que este anexo queda vacío. Todos los recursos utilizados, de fuentes internas, se acogen al Aviso Legal de la plataforma.