Moodle es una herramienta muy completa y versátil para la docencia en línea, con múltiples opciones para diseñar la interacción telemática con el alumnado y con tareas que son capaces de proporcionar una versión virtual de cualquier actividad que se pueda proponer en un aula.  Esto convierte a este LMS en una buena elección cuando se pretende impartir un curso de forma no presencial o complementar uno presencial con un aula virtual.

Sin embargo, el uso de Moodle para la realización de pruebas individuales de evaluación (los temidos exámenes) siempre ha generado cierta desconfianza , especialmente en el contexto de la educación a distancia. Lo cierto es que estos exámenes, muchas veces, tienen un peso elevado en la evaluación y la falta de supervisión directa del alumnado, así como las posibilidades de un ordenador conectado a Internet (que es la herramienta de que dispone el alumnado para hacer la prueba en su casa) pueden  hacer poco fiable el resultado obtenido.

A lo anterior se han de sumar los posibles problemas derivados de la heterogeneidad en lo que refiere a las condiciones de acceso y conexión del alumnado. Hay que anticiparse a los problemas que se puedan ocasionar (desconexiones, errores en el servidor, etc.), y preparar la actividad para poder dar una solución a gran parte de estos problemas, principalmente, para la tranquilidad del alumnado.

Además de eso, muchas veces la elección y/o diseño de las preguntas puede ser poco aprppiado, no consiguiendo medir adecuadamente lo que se pretende medir pues, al fin y al cabo, de lo que se trata es de que el alumnado demuestre su grado de adquisición de los resultados de aprendizaje propuestos. Y para eso es necesario elegir muy bien las preguntas.

Moodle dispone de una tarea para realizar cuestionarios y una sección de banco de preguntas para diseñar las preguntas que se usarán en esos cuestionarios, con muchas posibilidades de configuración . Esto permite, entre otras cosas, preparar nuestros exámenes en línea con mayores garantías de fiabilidad y analizar nuestras preguntas para validar su eficacia a la hora de medir el grado de adquisición de los objetivos.

El propósito de esta entrada es dar algunas ideas para aprovechar las funcionalidades de los cuestionarios de Moodle (o AULES.EDU, que es el nombre que recibe la aplicación basada en Moodle proporcionada por la GVA) con el objetivo de conseguir exámenes a distancia más eficaces:

#1 Usar formatos de importación de preguntas

Una de las primeras cosas con las que se encuentra quien empieza a poblar el banco de preguntas de Moodle es lo tedioso que resulta ir editando pregunta a pregunta directamente desde la web. Esto es especialmente desesperante cuando se han de generar baterías grandes de preguntas (pongamos más de 50).

Afortunadamente, existen un método muy ágil para redactar esas preguntas desde un editor sencillo de texto usando unos formatos determinados que luego, pueden ser importados a Moodle, que ya se encarga de generar todas las preguntas automáticamente.

Por ejemplo, si las preguntas que se quieren generar son todas de opción múltiple, se puede usar el formato Aiken que es más sencillo de todos: basta con escribir en un documento de Notepad (extensión .txt) las preguntas con el siguiente formato:

¿Cuál es la respuesta correcta a esta pregunta?
A. ¿Es esta?
B. ¿Quizá esta?
C. ¿Tal vez esta otra?
D. ¡Debe ser esta!
ANSWER: D

¿Cuál es la respuesta correcta a esta OTRA pregunta?
A. Podría ser esta
B. No, mejor esta
C. ¡Esta es la correcta!
D. Esta seguro que no es
ANSWER: C

(...)

Es decir, cada pregunta está formada por su enunciado, cada una de las opciones de respuestas precedida de una letra con un punto y, al final, la palabra ANSWER: con la opción correcta.

Si se quieren usar otros tipos de pregunta además de las de opción múltiple, hay que recurrir a otros formatos, como GIFT. El funcionamiento es similar (escribir las preguntas en un documeento de texto plano), aunque con una sintaxis diferente.

Si se quieren añadir imágenes al enunciado de la pregunta, GIFT permite usar el etiquetado markdown en el enunciado, lo que nos permite subir la imagen a un servicio de almacenamiento de imágenes como PostImage y pegar el enlace generado al texto (precedido por la etiqueta [markdown], para que reconozca la imagen):

Lo pondríamos de la siguiente manera en formato GIFT:

[markdown]¿Cuál es la respuesta correcta a la pregunta de esta imagen? [unnamed.jpg](https://postimg.cc/hXtDx5qK)
{
~ ¿Es esta?
~ ¿Quizá esta?
~ ¿Tal vez esta otra?
= ¡Debe ser esta!
}

Para importar las preguntas, una vez tenemos el documento de texto plano (*.txt) con las preguntas redactados en el formato seleccionado, vamos a Banco de preguntas -> Importar, seleccionamos el formato de importación y subimos el archivo de texto.

#2 Usar preguntas abiertas

Las preguntas de opción múltiple pueden sor útiles para evaluar determinados aspectos del aprendizaje, pero al ser respuestas cerradas, no dan opción para evaluar otros, como la capacidad de análisis o reflexión a la hora de seleccionar una respuesta o la expresión escrita u oral del alumnado.

De hecho, al poder seleccionar entre un conjunto de opciones cerrado, la persona evaluada puede jugar con el azar para responder, devaluando la fiabilidad del resultado obtenido.

Por ello, resulta interesante añadir preguntas de tipo abierta, en las que el alumnado deba de redactar la respuesta con sus propias palabras. Para eso tenemos la pregunta Ensayo como una de los tipos de preguntas que se pueden crear en el Banco de preguntas.

En este tipo de pregunta, se hace una pregunta abierta para la que se tiene un campo de texto para responder. Incluso se puede definir una plantilla de respuesta para que salga en la caja de texto y así guiar o estructurar la manera en la que se redactará dicha respuesta.

También se tiene la opción de subir archivos, con lo que el alumnado, puede grabar un audio o vídeo y subirlo como respuesta a la pregunta.

Evidentemente, este tipo de preguntas se han de corregir individualmente, a diferencia de las de opción múltiple que, una vez configuradas, se corrigen automáticamente.

#3 Usar la aleatorización

Cuando se hacen exámenes en los que no se puede tener una supervisión en alumnado, siempre cabe la posibilidad de que alguien tenga la tentación de hacer trampas: varias personas en una casa haciendo el examen juntos, usar una aplicación de chat para responder entre todos o cualquier otra variante que suponga hacer examen de forma colaborativa eliminando el componente de individualidad requerido para una correcta evaluación. La aleatorización en las preguntas puede dificultar estas prácticas, haciendo que los exámenes de todos los alumnos sean diferentes.

Esta aleatorización que puede ser usada de diferentes maneras:

Para generar exámenes con preguntas diferentes

Creando un banco de preguntas muy grande, por ejemplo de 100 preguntas de las cuales se seleccionen 20 al azar para cada ejemplar del examen. De esta manera, cada examen sería diferente. Esto se puede hacer a la hora de editar las preguntas de un examen, seleccionando en Editar cuestionario la opción de Añadir preguntas aleatorias:

Para que el orden de la preguntas sea aleatorio

Esto hará que las preguntas no se muestren en el mismo orden que en la pantalla de editar cuestionario, por lo que cada ejemplar del examen tendrá las preguntas en un orden diferente, en diferentes páginas, provocando que sea difícil responderlo «en paralelo». Esto se hace marcando la casilla en Editar cuestionario:

Para que el orden de las respuestas sea aleatorio

Es decir, para que no se corresponda al orden definido al redactar la pregunta, lo que provoca que en unos intentos la respuesta a una pregunta sea la A y en otros la B. Eso se activa desde Editar ajustes cuestionario en Comportamiento de las preguntas:

Preguntas de cálculo con números aleatorios

Si la pregunta requiere de realizar cálculos, podemos plantearla de manera que Moodle sepa la fórmula para obtener la respuesta y a cada intento le de una combinación de valores diferentes. Por tanto cada alumno tendrá que operar con valores diferentes y el resultado será distinto en cada caso. Esto se hace desde el banco de preguntas, añadiendo una pregunta de tipo calculada.

Evidentemente, todas estas opciones pueden ser combinadas para dar todavía un mayor grado de entropía a la generación del examen.

#4 Crear variantes de preguntas

A veces, en lugar de tener una gran de cantidad de preguntas diferentes en el banco de preguntas, es conveniente crear variantes de una misma pregunta. De este modo, el alumnado no recibe en cada instancia del examen una selección completamente distinta de preguntas, lo que puede crear suspicacias sobre «la suerte» en las preguntas recibidas, sino que reciben preguntas similares en cuanto a temática, pero en las que se preguntan cosas diferentes para que la respuesta no sea la misma.

Para hacer esto, basta con definir las variantes que se quieren hacer de una misma pregunta y ponerlas todas bajo la misma subcategoria.

Por ejemplo, creamos una categoría Examen3EV y dentro de ellas, las siguientes subcategorías:

• Examen3EV
  • E3EV-Pregunta1
  • E3EV-Pregunta2
  • E3EV-Pregunta3
  • E3EV-Pregunta4
  • E3EV-Pregunta5

Ahora lo que haríamos sería crear, por ejemplo cinco variantes para la pregunta 1 (por ejemplo, se plantea el mismo enunciado, pero en cada variante se pregunta el cálculo de un aspecto diferente del mismo).

Para hacer esto, resulta muy interesante la opción de duplicar pregunta, así sólo tenemos que modificar la última variante cada vez.

Una vez hemos creado varias variantes para cada pregunta y la hemos puesto cada una en la categoría correspondiente, diseñaríamos el examen con cinco preguntas, de manera que la pregunta 1 sería una pregunta aleatoria de la categoría E3EV-Pregunta1, la pregunta 2 una aleatoria de la categoría E3EV-Pregunta1 y así sucesivamente.

De ese modo, no habrán dos exámenes iguales, aunque los contenidos de todos los exámenes sí serán muy similares.

#6 Controlar el comportamiento de las preguntas antes, durante y tras la prueba

Una de las ventajas de los cuestionarios de Moodle es que, una vez diseñados, se corrigen automáticamente. De este modo, el alumnado puede recibir el feedback de la evaluación en el preciso instante en que le dan clic a entregar. Sin embargo, quizá no sea una buena idea que en un entorno no controlado como el de los alumnos haciendo el examen en casa, unos alumnos ya puedan saber si han hecho bien o mal el examen, que preguntas han fallado o cuáles eran las respuestas correctas.

Para controlar esto, hay una serie de opciones en la configuración del cuestionario que nos permiten definir cómo se comportará el cuestionario una vez se haya entregado.

Si vamos a Editar ajustes en una actividad de tipo cuestionario, las veremos.

Lo primero es determinar cuándo se abre y se cierra el formulario, esto es, entre que dos momentos el alumnado podrá acceder al cuestionario. Eso está en Temporalización.

La siguiente opción que nos interesa son las Opciones de revisión.

Para entender esa tabla, lo que hay que tener claro son los diferentes estados por los que puede pasar un cuestionario, pues eso es lo que se está definiendo:

• Durante el intento: Lo que verán en el moemnto mismo en que estén haciendo el intento. Por defecto, sólo ven las preguntas (el intento)
• Inmediatamente después del intento: Esto es lo que podrán ver cuando le den a Terminar y durante unos minutos. Por defecto, al estar todo desactivado, no tendrían acceso a nada (ni siquiera volver a ver las preguntas) una vez entregan.
• Posteriormente, cuando el intento aún está abierto: Esto es lo que podrán ver después de esos minutos y mientras el formulario esté abierto (no se haya llegado a la fecha de cierre definida anteriormente). En el ejemplo, los alumnos podrían ver la nota obtenida, pero ni las preguntas acertadas, ni las correctas.
• Una vez el cuestionario esté cerrado: Esto es lo que podrán ver cuando ya se haya vencido la fecha de entrega, es decir, cuando ya todos han finalizado el examen, por tanto ya se puede dar más información (revisar el examen, saber qué se ha fallado, ver las respuestas correctas…). Lo que interese en cada caso.

#7 Paginar el examen

Cuando se seleccionan las preguntas del examen, se le puede definir cuantas preguntas habrá en cada página. Adicionalmente, en Editar ajustes del cuestionario se puede repaginar a otro valor. Con esto, podemos controlar cuántas preguntas aparecerán al alumnado en cada página.

¿Y por qué es esto importante? Pues porque cada vez que se cambia de página, Moodle guarda las respuestas que ha introducido el alumnado. De esa manera, si se le cuelga el navegador, se le apaga el ordenador, se va la luz u ocurre cualquier otra imprevisible situación que haga que un alumno se desconecte del examen, las preguntas que haya introducido se recuperan en el momento que vuelve a conectarse.

No hace falta imaginar lo desastroso que sería una situación como esta para cualquier estudiante, cuando a 10 minutos del final del examen se le acaba la batería del portátil, ¡con 30 preguntas ya respondidas!

De este modo, solo se perderían las respuestas dadas en página en la que estaba en el momento del «accidente» (que es la única que no se ha guardado). En el peor de los casos, con la configuración mostrada anteriormente, serían 5 preguntas.

Hay que tener en cuenta que el hecho de que se guarden las preguntas consignadas no implica que el examen se entregue con esas preguntas en caso que el alumno no pudiese reengancharse. Dependerá de la configuración del cuestionario.

#8 Controlar el tiempo

Una de las medidas más efectivas para garantizar la fiabilidad de la prueba a distancia es limitar el tiempo para resolver la prueba. De esa manera, se limitan las opciones para buscar asesoramiento en otras personas, en el libro de texto o Internet.

Para hacerlo, hay que indicar el Límite de tiempo en los ajustes de cuestionario. Incluso se puede definir un periodo de gracia, que se iniciaría en el momento que se llegue a la hora de cierre del cuestionario, en el cual el alumnado ya no puede responder a más preguntas y tiene que decidir si entregar o no.

Cuando se activa esta opción, a los alumnos se les muestra en una zona visible del cuestionario el tiempo que les queda restante. El temporizador empieza a contar desde el momento que se accede.

Un dato curioso: según la documentación de Moodle, si un alumno empieza el cuestionario mientras aún esta abierto, pero lo entrega después de que esté cerrado (porque el límite de tiempo es mayor) sólo se tienen en cuenta para la calificación las preguntas consignadas antes de que se cierre el cuestionario. Cuidado con esto.

En cualquier caso, recomiendo sincronizar el comienzo de la prueba, para que todos los alumnos empiecen al mismo tiempo y, si es necesario ampliar el plazo para el cierre del cuestionario para todos. Esto se puede hacer poniendo una contraseña para acceder al examen desde los Ajustes del cuestionario, que no se dará al alumnado hasta que todos hayan conseguido llegar a la pantalla del password. Así todos empiezan a la vez.

#9 Analizar el desempeño de las preguntas

Para que un examen en línea sea eficaz, no basta con configurar correctamente la actividad, también hay que seleccionar y redactar adecuadamente las preguntas que se van a hacer.

En primer lugar, antes de redactar las preguntas, es importante tener claro el nivel de conocimiento del alumnado que queremos evaluar, para así seleccionar enunciados acordes a lo que se quiere medir.

Aún así, es posible que las preguntas seleccionadas no sean los instrumentos adecuados para medir el nivel de conocimiento, pero eso sólo lo sabremos una vez hayamos probado el cuestionario.

Moodle, nos ofrece una herramienta para analizar las estadísticas del examen y determinar qué preguntas son demasiado fáciles (más del 70% del alumnado las aciertan) o demasiado difíciles (menos del 20% del alumnado la acierta). Para acceder a ella, una vez realizado el examen, vamos a Administración > Administración del examen > Resultados > Estadísticas

Dentro de esta sección, podemos ver las estadísticas generales del cuestionario y las estadísticas pregunta a pregunta.

Donde:

• Q#: Muestra el número de la pregunta (su posición), ícono del tipo de pregunta, y los íconos de vista previa y edición
• Nombre de la pregunta: El nombre de la pregunta.
• Intentos: Cuantos estudiantes intentaron esta pregunta. Puede variar en caso de aleatorización.
• Índice de Facilidad: El porcentaje de estudiantes que contestó correctamente la pregunta.
• Desviación estándar: Cuánta variación hay en la puntuación para esta pregunta.
• Puntación por adivinar aleatoriamente: Lo que obtendría estudiante adivinando aleatoriamente.
• Peso Deseado/Efectivo: El peso deseado es lo que se ha configurado cuando se edita el examen. Si la pregunta 1 vale 3 puntos de un total de 10 que vale el examen completo, entonces el peso deseado es 30%. El peso efectivo es un intento para estimar, a partir de los resultados, cuanto de la variación real se debió a esta pregunta. Así, idealmente los pesos efectivos deberían estar cercanos a los pesos deseados.
• Índice de Discriminación y Eficiencia Discriminatoria : Es la correlación entre la puntuación para esta pregunta y la puntuación para el examen completo. Así, para una buena pregunta, se espera que los estudiantes que obtengan una calificación alta en esta pregunta sean los mismos estudiantes que tengan calificación alta en el examen completo. Los números mayores son mejores.

A partir de un análisis de estos resultados, podemos determinar qué preguntas son más efectivas y replantear aquellas que no lo sean.

Esta herramienta también es muy interesante para cuando se usan variantes de una pregunta, como se ha explicado más arriba, para determinar que todas las variantes tienen un índice de facilidad similar.

Aprovecho este punto para enumerar una serie de recomendaciones que, generalmente, conducen a la redacción de preguntas más eficientes:

• Evitar preguntas capciosas. No se trata de confundir al alumnado, sino de averiguar qué es lo que saben.
• Evitar usar demasiadas preguntas de Falso/Verdadero. Hay que tener en cuenta que, especialmente en el campo de las ciencias, pocas afirmaciones son siempre 100% verdaderas o siempre 100% falsas. Además, este tipo de preguntas tiene un 50% de probabilidad estadística de ser acertadas al azar.
• Evitar demasiados ítems para relacionarse en preguntas de los tipos de relacionar columnas. Esto, además de apabullar al alumnado, provoca que se presenten demasiados ítems a la vez y causa demasiado desplazamiento del cursor, dificultando la lectura. Por la misma razón, evitar que las respuestas sean muy extensas.
• Para las preguntas de opción múltiple con múltiples respuestas correctas, hay que asignarles puntos negativos a las opciones incorrectas, para que los estudiantes no reciban una calificación positiva si seleccionan todas las opciones.
• Evitar crear respuestas que sean obviamente incorrectas. Las respuestas han de ser plausibles (creíbles para los que no están seguros). Esta puede ser una de las partes más difíciles al redactar preguntas.
• Procurar que la longitud de todas las respuestas sea similar a la longitud de la respuesta correcta. Muchas veces, la respuesta correcta es la más larga, y esto permite identificarla a los estudiantes.
• Evitar usar la palabras como no o excepto en la redacción de las preguntas. Generalmente, la negación en los enunciados dificultan la comprensión del la pregunta.
• No se recomienda usar las fórmulas «Ninguna de las anteriores» o «Todas las anteriores» como opción de respuesta verdadera o falsa. Y si se usan, para evitar problemas con la aleatorización, es recomendable redactarlas como «Ninguna de estas» o «Todas estas»

#10 Renovar preguntas con frecuencia

A partir del momento en que se realiza un examen, las preguntas del mismo son susceptibles de ser recopiladas, especialmente si no hay supervisión directa por parte del profesorado (recordemos que hablamos de exámenes a distancia). Con un poco de ingeniería social, es bastante plausible que todas o casi todas las preguntas del banco de preguntas acaben en un documento que acabe circulando entre el alumnado.

Con ese documento y un poco de destreza en el uso de las herramientas del procesador de texto, localizar la respuesta a una pregunta es cuestión de segundos. Ni siquiera la limitación de tiempo por pregunta explicada más arriba puede dificultar esta práctica.

Dicho de otro modo, no es recomendable usar el mismo banco de preguntas más de una vez. Ni siquiera en cursos académicos o grupos diferentes.

Esto implica que hay que ir actualizando el banco de preguntas constantemente. Si lo enlazamos con el punto anterior, esto supone una oportunidad para ir actualizando las preguntas a partir de los resultados estadísticos obtenidos en el análisis de las mismas.

De hecho, lo ideal sería crear cada curso académico (o grupo) un nuevo banco de preguntas, basado en el de cursos anteriores, pero que también incorpore preguntas específicas sobre debates y ejemplos que se hayan visto durante el presente curso. En ese sentido, es muy recomendable ir poblando el banco de preguntas a medida que se avanza materia y no de golpe en cuando se acerca el momento de la evaluación. Pues, como bien sabemos, estudiar todo el día antes del examen no es siempre la mejor estrategia para obtener unos buenos resultados.

Conclusiones

Como se ha visto, Moodle es una herramienta muy versátil a la hora de diseñar cuestionarios, contemplando una gran cantidad de supuestos y casos de aplicación. Esto permite usar este tipo de actividades tanto para la realización de exámenes finales, actividades de repaso o como mera herramienta para recolectar información (por ejemplo, para hacer una evaluación inicial).

En ocasiones, este exceso de parámetros configurables suele ser motivo de críticas hacia Moodle, por su complejidad. Es cierto que tanta opción puede abrumar un poco al principio, pero en cuanto se empieza a hacer pruebas y se investiga un poco, en seguida se le encuentra la justificación y utilidad a cada una de ellas. A diferencia de otras herramientas, mucho más sencillas y fáciles de utilizar, que a la larga resultan muy limitadas.

Seleccionar una combinación u otra de los posibles valores de la configuración dependerá del tipo de prueba que se quiera realizar, del perfil del alumnado al que se vaya a aplicar y de los contenidos que se quieran evaluar. En definitiva, es el docente el que tiene que seleccionar estas opciones en función a sus necesidades y no al revés.