Evaluación

1. Introducción

La OEI (Organización de Estados Iberoamericanos para la Educación, la Ciencia y la Cultura) ha solicitado a tatum la evaluación del Programa de Intercambio y Movilidad Académica PIMA, en su convocatoria 2009-2010.

Esta evaluación es especialmente relevante para realizar un balance de lo hecho hasta ahora e implementar los ajustes necesarios en la gestión, instrumentos y procedimientos. También se recogerá la opinión que los coordinadores y responsables académicos tienen sobre la medida en que se están cumpliendo los objetivos estratégicos del Programa.

La evaluación incluye a todos los actores: Coordinadores Institucionales (CI), Responsables Académicos (RA) de cada Proyecto PIMA y estudiantes, mediante técnicas tanto cualitativas como cuantitativas.

Temas que incluye la evaluación:

• Valoración de los aspectos conceptuales del PIMA, los objetivos del programa. En qué se diferencia de otros programas de intercambio. En qué medida se cumplen los objetivos.
• Evaluación de la satisfacción general de todos los perfiles implicados y evaluación de los puntos más sensibles de la gestión, como son:
• Comunicación e información bidireccional entre las universidades de la red y entre la universidad coordinadora de la red y OEI (movilidades, cambios de coordinadores, etc.).
• Comunicación interna entre instancias implicadas dentro de cada universidad (Relaciones Internacionales, Dr. de Programas, Administración…).
• Información ofrecida a los estudiantes sobre las condiciones del programa, trámites, alojamiento, derechos y obligaciones.
• Asesoramiento y tutoría ofrecida a los estudiantes en origen y en destino.
• Valoración de los dispositivos de red: Valoración de la organización en redes, con movilidades entre todas las universidades de la red que no sean de un mismo país, frente a la bidireccionalidad España Latinoamérica. Esfuerzos de la universidad coordinadora por potenciar la red.
• Valoración de las redes para alcanzar objetivos relacionados con integración territorial, fortalecimiento de los sistemas educativos superiores (reconocimiento de los estudios), fortalecimiento de la cooperación horizontal…
• Detección de carencias en los flujos y vínculos de comunicación que, en ocasiones, provocan que lo más valorado (multilateralidad, integración iberoamericana…) sea lo menos comunicado.
• Cómo sacar más partido al dispositivo en red y cómo evitar que una red se desintegre aunque sufra cambios en su nodo central (universidad coordinadora).
• Detección de líneas futuras de actuación del Programa PIMA: Repercusión del Programa en la creación de nuevas líneas de investigación entre Univ.
• Priorización de temáticas en función de los intereses de los países participantes (I+D, proyección exterior…).
• Conveniencia de unir redes de temáticas similares en macro-redes (campus de excelencia).
• Otras formas de intercambios y más abiertas (p.e., coordinación entre varias univ.).
• Facilitar la entrada de varias universidades por país latinoamericano (sin movilidad interna).
• Propuestas para la evaluación del seguimiento: indagar entre los Coordinadores Institucionales y los Responsables Académicos la conveniencia de realizar una evaluación de seguimiento de los estudiantes que ya han terminado sus movilidades, y conocer en qué aspectos debería incidir dicha evaluación: comunicación posterior, seguimiento…

2. Metodología

Para obtener una información más completa se utilizaron técnicas cualitativas (focus groups con Coordinadores de Redes) y técnicas cuantitativas (cuestionarios online a los Coordinadores Institucionales y Académicos de todas las Universidades participantes y a los estudiantes con movilidades en el presente curso académico).

2.1. Etapa cuantitativa

El análisis de esta etapa cualitativa sirvió de base para elaborar los 2 cuestionarios, que se "colgaron" del servidor de tatum para su cumplimentación online, a aplicar a:

Coordinadores Institucionales y Académicos de las universidades participantes

El cuestionario de Coordinadores era bastante extenso y estaba diseñado con una gran cantidad de preguntas abiertas, de modo que se obtuviera información de más "calidad" analítica.

El cuestionario de Coordinadores estuvo disponible para su cumplimentación, desde el 14 de julio hasta el 9 de agosto.

Estudiantes con movilidades

El cuestionario de alumnos fue más concreto y, en la medida de lo posible, con preguntas cerradas y pre-codificadas.

Este cuestionario ha estado disponible para su cumplimentación desde el 28 de julio hasta el 27 de setiembre.

Una vez finalizados estos plazos, se codificaron las preguntas abiertas de los cuestionarios cumplimentados y se procedió a la explotación estadística de todos los resultados.

3. Síntesis y conclusiones

3.1. Conclusiones generales

El presente Informe es el resultado de la evaluación que la OEI (Organización de Estados Iberoamericanos) ha realizado sobre el funcionamiento y la gestión del Programa PIMA y sobre el grado de satisfacción de sus participantes.

Para realizar dicha evaluación se utilizaron técnicas cualitativas y técnicas cuantitativas (cuestionarios online a Coordinadores Institucionales y Académicos y a estudiantes con movilidades).

Este programa de movilidad de estudiantes de grado, de característica multilateral, se inició en el curso 2001/2002.

El curso que se evalúa en el presente documento es el 2009/2010, cuyas características son:

• Se han realizado 162 movilidades y están en funcionamiento 20 Redes.
• 46 Universidades han enviado alumnos y 44 Universidades han recibido alumnos.
• 16 países han enviado alumnos y 15 países han recibido alumnos.

A partir de todos los resultados obtenidos, podemos concluir que la valoración general del Programa es muy positiva:

• El 100% de los coordinadores señala que ha sido muy y bastante positiva, y lo mismo dicen el 95,2% de los alumnos.
• Para el 97,8% de los coordinadores sus expectativas se han cumplido mucho y bastante, y lo mismo ocurre para el 89,5% de los alumnos.
• Los coordinadores le dan al programa una calificación de 8,7 y los alumnos de 8,2 (sobre 10)
• El 98% de los alumnos recomendarían esta experiencia a otros estudiantes.

Puntos fuertes del Programa:

Según los coordinadores:

• Brindar experiencias de realidades muy distintas.
• Aportar a la construcción de un espacio de conocimiento iberoamericano.
• Ser la primera experiencia genuinamente iberoamericana.
• Su estructura en red.
• Los objetivos son claros, tanto los generales del programa como los específicos de las Redes. Los elementos conceptuales son bien conocidos por todos los coordinadores.

Los alumnos internacionalizan su experiencia. Amplían miras. Obtienen un beneficio académico y cultural.

• Las universidades participantes enriquecen sus programas. Se eleva el nivel académico. Produce efectos de reflexión y mejoras internas. Adquieren experiencia internacional.
• Es un Programa ya "rodado" por lo que surgen escasos problemas en general.

Según los estudiantes:

• La mayoría de los alumnos (82%) están satisfechos con la atención que reciben en su Universidad y en la Universidad de destino.
• El 70% ve muy y bastante útiles los conocimientos adquiridos.
• Les ha permitido tomar contacto con una cultura diferente.
• Les ha hecho madurar como persona.
• Les ha permitido tomar contacto con otros sistemas de enseñanza y establecer fuertes vínculos personales.

Puntos débiles del Programa

Según los coordinadores:

• Algunos de los objetivos del Programa se cumplen solo en parte porque se deberían relacionar más los coordinadores académicos, debería haber más comunicación entre las universidades de la Red, se deberían realizar más movilidades y se deberían incluir movilidades de profesores.
• El tema más comentado que produciría especialmente que no se realicen más movilidades y más actividades en general, es la limitación presupuestaria como gran aspecto de debilidad del Programa.
• La falta de comunicación entre los coordinadores es algo sobre lo que sí se puede trabajar, de forma independiente al tema presupuestario.
• Esta falta de comunicación produce, especialmente, conflictos en los aspectos académicos ya que no se conocen bien las posibilidades que le brinda la Universidad de destino al alumno que va a realizar la movilidad. Esto dificulta poder realizar una buena asesoría académica.
• Muchas Universidades no tienen sus programas de estudio y actividades disponibles en un sitio web para su consulta.
• Aunque en general se valora muy positivamente la comunicación con la Universidad Coordinadora de su Red, habría un déficit de relación y de comunicación entre las Universidades que componen la Red.
• Se valora muy positivamente la reunión inicial de los coordinadores de la red, pero en muchos casos no se realiza (48%).
• El 39% de los coordinadores opinan que hay que trabajar más en el proyecto de intercambio entre las Universidades de su Red.
• El 35% de los coordinadores se han encontrado con dificultades de comunicación con las otras Universidades de su Red.

Se indican algunos procedimientos que todavía no funcionan de forma adecuada:

• El hacer efectiva la ayuda económica al alumno (hay retrasos, no se tienen en cuenta las comisiones, etc.)
• Problemas con los visados (un 38% de los coordinadores aun no conocen los requisitos de entrada que exige cada país.
• Convocatorias muy cercanas a la fecha en la que comienzan los estudios. Produce falta de tiempo para hacer la convocatoria de alumnos, la selección de su plan de estudios, la resolución de temas prácticos como visados, alojamiento, etc.1
• Lo anterior se ve agravado por la lentitud en las respuestas cuando se tramitan las solicitudes entre las universidades.
• La información práctica al alumno no está establecida. Un 42% opina que la información que tienen los alumnos antes de partir a la Universidad de destino no es suficiente.
• Seguimiento de las movilidades, durante y posteriormente a la experiencia. Sólo en un 35% de los casos se hace algún tipo de seguimiento de los alumnos, sin embargo, todos los coordinadores opinan que sería de mucha utilidad realizar el seguimiento.
• No hay actualmente comunicación entre los alumnos y de los alumnos con la universidad (foros, blogs, espacios en la web, etc.). Falta feedback.

Según los estudiantes:

• Inciden en los mismos puntos que los coordinadores: quejas respecto al retraso en el cobro de la ayuda económica y también a su cuantía (la mitad de los mismos).
• Problemas con la tramitación del visado. Un 49% de los alumnos no está satisfecho con la forma de resolución de estos problemas.
• Problemas de coordinación que afectó sobre todo al cumplimiento de los objetivos académicos.(un 22% no cumple con los mismos)
• Un 43% de los estudiantes han tenido problemas causados por la falta de información de los programas de las materias y un 46% de los mismos no están satisfechos con la resolución de dichos problemas.
• Un 42% de los alumnos piensan que no existe una buena comunicación y coordinación entre su universidad y la de destino.
• Las Universidades participantes deberían cuidar más los materiales informativos que les dan a los estudiantes ya que la mitad de los mismos los consideran regulares, malos o muy malos. Aunque consideran que se les da bastante información, les gustaría que hubiera más detalles organizativos, sobre planes de estudio y sobre el calendario académico.
• En los aspectos académicos existe una cierta distancia entre la importancia que le dan a que se amplíen sus conocimientos y lo que el programa ha hecho para ello. Se debe cuidar, por lo tanto, este aspecto académico para garantizar que los alumnos obtengan un efectivo enriquecimiento de sus conocimientos
• Lo mismo ocurre con el que hayan podido conocer otros enfoques dentro de su especialidad.
• No parece que se favorezca especialmente, por parte de las Universidades participantes en el Programa, el que se realicen actividades en otras instituciones como parte de su plan de estudios, y lo mismo ocurriría con la posibilidad de realizar prácticas / investigación. En ambos casos, son menos de la mitad de los estudiantes los que indican que se cumplen estos aspectos.

3.2. Conclusiones especiales de algunos temas significativos

3.2.1. Aspectos financieros

Las opiniones sobre las dotaciones económicas de las becas pueden agruparse en dos o tres cuestiones:

• La primera tiene que ver con el concepto de los fondos PIMA en dos aspectos:
  • la dotación total del Programa
  • la ayuda PIMA como tal, que en el programa es definida como una ayuda complementaria, no como una beca. Y en ese sentido es superior a las ayudas que se dan en otros programas de grado.
• La segunda tiene que ver con la gestión de las ayudas.
• La tercera tiene que ver con las ideas/sugerencias que se proponen para mejorar estos aspectos.

Con respecto a la primera cuestión los coordinadores resaltan su percepción de que los fondos globales para el programa no son suficientes para propiciar el crecimiento y el impacto del PIMA, es decir ponen en primer plano la limitación presupuestaria, con sus consiguientes efectos en cuanto a la generación de expectativas (nº de movilidades, más redes, etc.); cumplimiento de los objetivos generales del programa (impacto), y la distribución de los mismos entre las redes.

Como sugerencias para la mejora:

• Hay consenso en cuanto a no aumentar el monto individual de las ayudas sino ampliar movilidades, aunque paradójicamente se dice que habría que aumentar el monto de la ayuda, (posiblemente porque se vincule a algunos casos de reales dificultades).
• Hay división de opiniones en cuanto a distribuir los fondos según resultados de ejecuciones anteriores. Es importante señalar que mientras los coordinadores sugieren no aumentar las ayudas a favor de mayor nº de movilidades (76,6%), los estudiantes (46%) las consideran insuficientes. (Posiblemente haya una mala información sobre el concepto, y esperan becas totales)
• Se proponen identificar y diversificar fuentes de financiación públicas y privadas (ya sea las universidades, o la OEI) complementar con otros instrumentos a los que se puede tener acceso (becas de bancos, proyectos internacionales, implicar a más U. españolas, etc.) y también alcanzar autofinanciación ( aunque no se explica cómo).

Con respecto a la gestión de las ayudas, un 30% de coordinadores y un 51 % de estudiantes señalan que hubo retrasos en la disposición de las mismas. Las razones son variadas: demoras en la universidad de origen en enviar los datos, envío de datos erróneos, dificultades para retirar los fondos de las instituciones, etc. (No se puede diferenciar en qué eje se dieron las demoras de gestión (Andalucía – A. Latina – Andalucía; A. Latina - A. Latina)

Como sugerencia:

• La opinión más consensuada es generalizar una práctica de gestión que en esta edición era optativa: depositar las ayudas en cuentas personales de los estudiantes.
• También es general una demanda a la OEI para que estudie la posibilidad de concertar la eliminación de las comisiones bancarias, y hacer efectiva la ayuda en una única cuota.

Con respecto a la cuantía insuficiente, se recoge al menos un caso de falta de recursos económicos, y cinco casos que no percibieron ninguna ayuda, aunque no se especifica si la plaza era libre o financiada.

3.2.2. Aspectos relacionados con la comunicación

Los coordinadores mencionan en el estudio cualitativo que existe una dificultad en la comunicación de los contenidos de las asignaturas para garantizar el reconocimiento de los estudios.

Este problema se resolvería por dos vías:

• Bien que las universidades tengan publicados los contenidos de la oferta de estudios (incluyendo los calendarios en su sitio web).
• Bien con una comunicación más fluida entre los coordinadores académicos.

En el estudio cuantitativo surge también la demanda de una mayor comunicación entre los integrantes de la red, no sólo para mayor información sobre los planes de estudio sino para conocer las distintas modalidades de la enseñanza, los sistemas de evaluación, los enfoques teóricos, etc. No habría entonces, sólo, una necesidad de mayor información sino una coordinación más estrecha, garantizada por una mayor fluidez en la comunicación.

Esta relación más bien "escasa", según su definición, que se produce en algunas de las redes, los lleva a considerar que el objetivo general del programa: "Fortalecer la cooperación institucional en el campo de la enseñanza superior…" se cumple sólo en parte.

También se señala que hay casos en los que, si bien existe una buena comunicación con la universidad coordinadora, ésta falla entre las universidades participantes, y se sugiere que se realicen actividades específicas para cubrir este objetivo.

El 39% de los coordinadores piensa que se debe trabajar más en el proyecto de intercambio entre las Universidades de su Red, y entre los aspectos que se deben trabajar se menciona que todas las universidades participen en el diseño de los proyectos y aporten propuestas, que haya más comunicación para ello y más reuniones, si no es posible presenciales, que por lo menos sean virtuales. En general que haya más intercambio de información y de experiencias entre los integrantes de la red.

Casi la mitad de los coordinadores señalan que no han realizado reunión preparatoria en su Red, sin embargo todos indican que este tipo de reuniones son muy positivas justamente para crear ese espacio para la discusión y toma de acuerdos y han comprobado que si se realizan luego la comunicación es más fluida.

Para los coordinadores consultados, la comunicación entre las universidades es, junto a la escasa financiación y las reducidas movilidades, uno de los principales obstáculos para un mejor funcionamiento del PIMA.

Esta falta de coordinación la acusan también los alumnos ya que un 54% de los mismos opina que le faltan detalles en la información que reciben. Además de detalles de tipo organizativo y sobre la ayuda, señalan poca información sobre los planes de estudio y sobre los calendarios académicos.

Un 78% de los alumnos ha tenido problemas causados por temas académicos, la mayoría de los cuales producidos por la falta de coordinación entre las universidades (falta de información de los programas, materias que no se impartían, imposibilidad de cursar las materias elegidas, etc.) Y un 43% no ha quedado suficientemente satisfecho con la solución obtenida.

Por último, un 42% de los estudiantes han tenido la impresión de que no existía buena comunicación y coordinación entre su universidad y la de destino.

Es, por lo tanto, urgente, buscar soluciones a esta falta de comunicación.

3.2.3. Aspectos relacionados con las cuestiones administrativas

Los procedimientos están ya "rodados" en la mayoría de las universidades, sin embargo, pueden surgir dificultades en el caso de nuevas universidades y/o nuevos coordinadores. Para solucionar este aspecto se sugiere el diseño de una guía de actuación, práctica, con lo que hay que hacer en cada momento.

También se sugiere la modificación de la página web para que se pueda llevar desde allí toda la operativa del Programa (tal como se hace actualmente con el Programa Pablo Neruda).

Se comenta varias veces, por parte de los coordinadores, la necesidad de que haya un plazo más prolongado entre las convocatorias y que se puedan realizar las movilidades en el siguiente curso. Este problema ya fue contemplado por la OEI y, dado que actualmente se depende totalmente de cuando se concede la financiación, se encontró la solución de permitir que hubiera un plazo de tres semestres para ejecutar el programa desde el momento de la concesión de fondos. A pesar de esto, las Universidades prefieren una ejecución más próxima a la concesión de financiación del programa.

Dentro de los problemas administrativos surge el problema del visado. Se considera que cada vez se agrava más este tema: un 46% de los coordinadores menciona que ha habido problemas con el visado, y lo mismo señala el 27% de los alumnos. Se opina que la OEI tendría que hacer algo respecto a este problema.

También se señala la necesidad de dar una información mayor sobre alojamientos y todo tipo de instrucciones que faciliten la integración del estudiante en el país de origen. El 25% de los alumnos ha tenido problemas con el alojamiento, el 22% se ha sentido perdido al llegar, el 18% tuvo problemas con el seguro médico.

Sugerencias

Cuestiones de tipo práctico:

• Generalizar como procedimiento que la ayuda económica se haga efectiva en la cuenta del alumno, preferentemente en origen.
• Hacer una guía práctica / manual de procedimiento del programa, para que todos los coordinadores tengan claro los pasos a seguir.
• Hacer una guía práctica para el alumno.
• Modificar la web (hacerla más dinámica, enriquecerla, etc.). Mejorar la web: que se pueda realizar parte de la operativa, que tenga noticias, información de redes, etc.
• Abrir espacios virtuales para el intercambio de información, tanto para coordinadores como para profesores y estudiantes.

Aspectos que tienen que ver con las cuestiones académicas:

• Realizar más encuentros entre los coordinadores, reuniones; en general mejorar la comunicación entre ellos. Abrir nuevos canales. Fomentar la comunicación a distancia, etc.
• Que haya reunión preparatoria (quizás reservar parte de fondos para la misma)
• Ampliar las actividades de otro tipo (en otras instituciones, además de la Universidad) dentro de su plan de estudios, que sólo académicas.
• Que las Universidades cuiden los aspectos académicos en general (posibilidad de investigación, coherencia de nivel, posibilidad de contrastar enfoques, etc.)
• Implicar más a los profesores, quizás incorporándolos a los intercambios.

Reforzar el Programa:

• Ampliar movilidades (buscando nuevas formas de financiación).
• Ampliar número de Universidades por Red (se reparten en partes iguales lo que quieren una red de entre 3 y 6 universidades, que los que plantean entre 8 y 10)
• Crear espacios de encuentro para Coordinadores y para alumnos.
• Realizar seguimiento.

 

Subir