Archivo de la etiqueta: Moodle

Cómo usar puntuación basada en la certeza (PBC) en Moodle

Una de las características más utilizadas en Moodle para la realización de exámenes en línea es los cuestionarios de opción múltiple. En la entrada anterior del blog he comentado algunas de las características que ofrece Moodle para este tipo de pruebas. En efecto, la realización de estas pruebas tienen la ventaja de proporcionar un feedback rápido al alumnado, facilita el análisis de los instrumentos de evaluación al profesorado (que puede analizar la validez de las preguntas) y, por esta, y otras razones, suele ser un sistema al que recurren un gran número de docentes.

No obstante, el uso de estas pruebas objetivas para la evaluación siempre conlleva un componente de incertidumbre debido a la posibilidad de responder al azar las preguntas que no se saben (y acertarlas).

Frente a esta situación, se suelen plantear estrategias como penalizar las respuestas equivocadas, para desalentar la respuesta al azar, o aumentar el número de opciones en las preguntas para disminuir la probabilidad de acierto.

Pero existe una tercera vía que no se basa en desalentar la respuesta cuando no se sabe o no se está completamente seguro (no olvidemos que equivocarse es la mejor forma de aprender), sinó en valorar también el grado de seguridad con la que el alumnado marca esa respuesta: en ese caso, la puntuación estará basada en la certeza.

Puntuación basada en la certeza (PBC)

La puntuación basada en la certeza (PBC) incluye a cada pregunta de opción múltiple del cuestionario un «medidor de certeza», mediante el que el alumnado deberá indicar el grado de seguridad que tiene en que la respuesta que ha marcado sea correcta, entre bajo (está poco seguro), medio y alto (está muy seguro).

Ejemplo de pregunta con PBC

Así, la calificación obtenida en la pregunta dependerá, no sólo de la corrección de la respuesta, sinó del grado de certeza indicado, tal y como indica la siguiente tabla:

Fuente: https://docs.moodle.org/all/es/Usando_Puntuaci%C3%B3n_Basada_en_Certeza

De ese modo, si la respuesta es correcta, se obtendrá mayor puntuación en el caso de que se tenga más certeza (3 puntos), pero si no existe mucha certeza (es decir, si se ha acertado al azar) se obtendría sólo 1 punto.

Para el caso de la respuesta incorrecta, si se ha marcado con bajo nivel de certeza ni suma ni resta, pero a medida que aumenta la certeza ante una respuesta incorrecta, se penaliza la puntuación. Así, marcar una respuesta incorrecta con una certeza absoluta restaría 6 puntos.

Según la tabla, se entiende por una certeza alta el estar seguro a más de un 80% y una baja certeza si se está menos de un 67%. Lo que hay entre medias, es el grado medio de certeza.

Así, ante una pregunta, si el alumno está seguro de la opción correcta, se deberá marcar la certeza como alta. Pero si la respuesta fuese incorrecta, ¡ se perdería el doble de puntos (-6)!.

Si se está inseguro, para evitar la pérdida de puntos, se debería marcar que el grado de certeza es bajo.

Si no se está del todo seguro ante una respuesta, se debería marcar un grado de certeza intermedio: se ganarían o perderían 2 puntos, en función de si se acierta o no.

Como se puede observar, en esta variante de la tradicional penalización por respuesta incorrecta, se tiene una serie de ventajas:

  • Obliga al alumnado a reflexionar sobre su respuesta y autoevaluarla.
  • Motiva a los estudiantes a que traten de entender los enunciados y no respondan lo primero que les pase por la cabeza.
  • Supone un desafío: si un estudiante no se arriesga a perder puntos si se equivoca, entonces es porque realmente no conoce la respuesta.
  • Ayuda a ganar confianza al alumnado.
  • Es más justo, pues una respuesta correcta pensada y certera merece más puntos que una adivinanza afortunada.

Interesante, ¿no os parece? Veamos cómo se puede activar esta manera de evaluar en Moodle.

Cómo activar la PBC en Moodle

La PBC está implementada en Moodle, aunque se recomienda realizar una serie de actuaciones administrativas previas a su uso (o verificar que se han hecho con los administradores del sitio).

Para añadir PBC a un cuestionario, es tan sencillo como ir a Editar ajustes y en la sección Comportamiento de las preguntas, seleccionar retroalimentación diferida con CBM (si se selecciona retroalimentación inmediata con CBM, el cuestionario se calificará pregunta a pregunta, y no todo junto al final)

CBM son las siglas en inglés, Certanly-Based Marking

Con eso, las preguntas sobre el grado de certeza se añadirán automáticamente a todas las preguntas del cuestionario.

Resultado de un cuestionario con PBC (cuestionario con 22 preguntas)

Como se puede ver en la captura, tras realizar el cuestionario, el valor de las preguntas varía en función al grado de certeza indicado. Por tanto, las calificaciones oscilarán entre -600 y 300, en lugar de entre 0 y 100 que sería lo habitual.

Atención a la configuración de Moodle

La modificación en la escala de calificación que provoca la PBC puede ocasionar problemas si el Moodle no está configurado adecuadamente, ya que que el calificador «trunca» una nota superior a 100 a 100. Así, a un alumno que obtenga un 150 en la prueba, se le asignará un 100 en el calificador, la misma nota que el que ha obtenido un 300 (como si hubiese sacado 10, en lugar de un 5, que es la nota que le correspondería).

Como te puedes imaginar, eso puede generar una gran cantidad de dieces en el examen. En realidad, cualquier alumno que responda un 33% de las preguntas del examen con certeza alta (y acierte) sacaría un 10 si dejase el resto del examen en blanco. Y con un poco más del 15% de las preguntas ya llegaría al 5.

Es más, debido a esta limitación, si un alumno marca siempre la opción de certeza baja, el comportamiento del examen será exactamente el mismo que si no hubiese PBC: si está correcta suma un punto, en otro caso no.

Con las notas negativas no hay problema, ya que el calificador las convierte en 0, por lo que no afectarían negativamente al promedio del curso. Bueno sí, pero no restando.

Para evitar que eso ocurra, ‘Calificaciones sin límites‘ debe estar activada en ‘ Administración del sitio -> Calificaciones -> Configuraciones generales ‘ para que las calificaciones no estén limitadas al 100%. Para ello, habría que contactar con el equipo de administración del sitio Moodle, exponerles la situación y solicitar la activación de esa casilla.

Y, ¿que pasa si, por el motivo que sea, se decide no activar esa casilla? En el siguiente apartado, propongo una solución «manual» al problema.

Por cierto, esto NO está activado en AULES.EDU, así que si utilizas esa plataforma, sigue leyendo.

Evitar la sobrecalificación de forma manual

Si la configuración general de el sitio Moodle no se puede modificar para acomodar las modificaciones en la escala de calificación de la PBC y, aún así, queremos utilizar esta modalidad de calificación sin provocar que el calificador puntúe con un 10 a todos los alumnos que hayan obtenido un 100 o más (poco más de un 3), habrá que consignar las calificaciones obtenidas de forma manual.

En primer lugar, lo que haremos será ocultar en el calificador de Moodle el cuestionario que se va a calificar con PBC. Para ello, crearemos una categoría oculta y trasladaremos el cuestionario a ella. Además, haremos que esa categoría no sea tenida en cuenta a la hora de calcular la calificación del curso. De ese modo, evitamos confundir al alumnado, que ya no verá esa nota truncada.

Para ello, vamos al Calificador > Configuración de calificaciones y creamos una categoría nueva, por ejemplo «Calificaciones ocultas».

El acceso a esta sección dependerá del tema y la versión de Moodle
El botón para añadir categoría está en la parte inferior
Dejamos rel resto de valores por defecto y le damos a Guardar Cambios

Ahora, trasladamos el cuestionario a esa categoría. Desde Configuración de calificaciones, buscamos el cuestionario y lo «movemos» a la nueva categoría.

Para mover el cuestionario a otra categoría, apretar en las flechitas

Ahora, el cuestionario estará dentro de la categoría «Calificaciones ocultas». Buscamos la categoría, le ponemos una ponderación de 0, para que no tenga en cuenta esas calificaciones en el cálculo de la calificación global y la ocultamos, dándole a Editar > Ocultar

El alumnado no verá la categoría en su libro de calificaciones

El siguiente paso es añadir un ítem de calificación manual en la categoría en la que se encontraba anteriormente el cuestionario. Para ello pulsamos el botón que hay bajo «Añadir catagoría». Yo voy a ponerle al ítem el mismo nombre que tenía el cuestionario, para hacer transparente el cambio:

Lo demás lo dejo por defecto
Ubico el ítem de calificación en el lugar que solia ocupar el cuestionario, para no levantar sospechas.

Volvemos al informe del calificador, donde aparece el nuevo ítem en su sitio. Le damos al icono del lápiz para editar las calificaciones manualmente.

Seleccionamos el icono del lápiz

Ahora se trata de poner la calificación realmente obtenida por el alumno en cada caso. Para ello, tenemos que que hacer la regla de 3, para ver cual es el valor sobre 100 de la calificación obtenida por el alumno sobre 300 con PBC. Por ejemplo, si el alumno tiene un 135 en cuestionario, lo multiplicamos por 100 y dividimos el resultado por 300. En realidad, tiene un 45, que es la nota que pondremos manualmente. Así con todos (una hoja de cálculo puede ser de gran ayuda para hacer esto).

Ponemos la nota real calculada «a mano»

Con eso, el alumnado verá en su libro de calificaciones la nota real y, lo que también es importante, esta es la calificación que se agregará con las demás para obtener la calificación global del trimestre o curso.

Vista del alumnado del libro de calificaciones modificado

Pero, atención, si el alumno entra al cuestionario, allí seguirá viendo la nota obtenida en el intento (sobre 300). Para evitar confusiones, se recomienda poner una advertencia en el enunciado del cuestionario indicando que el cuestionario se evalúa sobre 300 puntos. Así, no se llevarán ninguna sorpresa al ver que la calificación difiere de la que hay en el calificador, que es lo mismo, pero sobre 100 puntos.

PBC en AULES.EDU

Para los usuarios de AULES.EDU, el entorno de aprendizaje de la Generalitat Valenciana, la opción de puntuación basada en la certeza está disponible, pero NO está activada la opción para su integración con la hoja de calificaciones, por lo que será necesario configurar manualmente el ítem de calificación, tal y como se explica en el apartado anterior.

Conclusiones

En definitiva, la PBC pretende aproximar una calificación más justa en las pruebas de respuesta objetiva, invitando a la reflexión y autoevaluación del resultado. No hay que dejar de lado las lecturas que puede hacer el alumnado del resultado de la prueba a partir de los resultados obtenidos para cada grado de certeza: quizá sabe más de lo que cree (o al contrario).

No olvidemos que hay ciertas competencias que son difíciles de evaluar con una prueba objetiva con preguntas de «tipo test», como pueden ser la creatividad, el análisis o la capacidad de síntesis. Además de eso, en este tipo de pruebas la calidad de las preguntas también es muy importante para hacer una buena lectura de evaluación y la PBC no resuelve ese problema.

Si bien es cierto que la falta de integración «por defecto» de este tipo de puntuación con el calificador de Moodle puede generar algún problema si n o tomamos las precauciones adecuadas.

En cualquier caso, si optamos por ella, la PBC supone una herramienta útil para estimular un pensamiento más cuidadoso y un mejor aprendizaje que la simple calificación de acertado/erróneo en las cuestionarios con preguntas de opción múltiple.

10 ideas para hacer exámenes en línea eficaces con Moodle

Moodle es una herramienta muy completa y versátil para la docencia en línea, con múltiples opciones para diseñar la interacción telemática con el alumnado y con tareas que son capaces de proporcionar una versión virtual de cualquier actividad que se pueda proponer en un aula.  Esto convierte a este LMS en una buena elección cuando se pretende impartir un curso de forma no presencial o complementar uno presencial con un aula virtual.

Sin embargo, el uso de Moodle para la realización de pruebas individuales de evaluación (los temidos exámenes) siempre ha generado cierta desconfianza , especialmente en el contexto de la educación a distancia. Lo cierto es que estos exámenes, muchas veces, tienen un peso elevado en la evaluación y la falta de supervisión directa del alumnado, así como las posibilidades de un ordenador conectado a Internet (que es la herramienta de que dispone el alumnado para hacer la prueba en su casa) pueden  hacer poco fiable el resultado obtenido.

A lo anterior se han de sumar los posibles problemas derivados de la heterogeneidad en lo que refiere a las condiciones de acceso y conexión del alumnado. Hay que anticiparse a los problemas que se puedan ocasionar (desconexiones, errores en el servidor, etc.), y preparar la actividad para poder dar una solución a gran parte de estos problemas, principalmente, para la tranquilidad del alumnado.

Además de eso, muchas veces la elección y/o diseño de las preguntas puede ser poco aprppiado, no consiguiendo medir adecuadamente lo que se pretende medir pues, al fin y al cabo, de lo que se trata es de que el alumnado demuestre su grado de adquisición de los resultados de aprendizaje propuestos. Y para eso es necesario elegir muy bien las preguntas.

Moodle dispone de una tarea para realizar cuestionarios y una sección de banco de preguntas para diseñar las preguntas que se usarán en esos cuestionarios, con muchas posibilidades de configuración . Esto permite, entre otras cosas, preparar nuestros exámenes en línea con mayores garantías de fiabilidad y analizar nuestras preguntas para validar su eficacia a la hora de medir el grado de adquisición de los objetivos.

El propósito de esta entrada es dar algunas ideas para aprovechar las funcionalidades de los cuestionarios de Moodle (o AULES.EDU, que es el nombre que recibe la aplicación basada en Moodle proporcionada por la GVA) con el objetivo de conseguir exámenes a distancia más eficaces:

#1 Usar formatos de importación de preguntas

Una de las primeras cosas con las que se encuentra quien empieza a poblar el banco de preguntas de Moodle es lo tedioso que resulta ir editando pregunta a pregunta directamente desde la web. Esto es especialmente desesperante cuando se han de generar baterías grandes de preguntas (pongamos más de 50).

Afortunadamente, existen un método muy ágil para redactar esas preguntas desde un editor sencillo de texto usando unos formatos determinados que luego, pueden ser importados a Moodle, que ya se encarga de generar todas las preguntas automáticamente.

Por ejemplo, si las preguntas que se quieren generar son todas de opción múltiple, se puede usar el formato Aiken que es más sencillo de todos: basta con escribir en un documento de Notepad (extensión .txt) las preguntas con el siguiente formato:

¿Cuál es la respuesta correcta a esta pregunta?
A. ¿Es esta?
B. ¿Quizá esta?
C. ¿Tal vez esta otra?
D. ¡Debe ser esta!
ANSWER: D

¿Cuál es la respuesta correcta a esta OTRA pregunta?
A. Podría ser esta
B. No, mejor esta
C. ¡Esta es la correcta!
D. Esta seguro que no es
ANSWER: C

(...)

Es decir, cada pregunta está formada por su enunciado, cada una de las opciones de respuestas precedida de una letra con un punto y, al final, la palabra ANSWER: con la opción correcta.

Si se quieren usar otros tipos de pregunta además de las de opción múltiple, hay que recurrir a otros formatos, como GIFT. El funcionamiento es similar (escribir las preguntas en un documeento de texto plano), aunque con una sintaxis diferente.

Si se quieren añadir imágenes al enunciado de la pregunta, GIFT permite usar el etiquetado markdown en el enunciado, lo que nos permite subir la imagen a un servicio de almacenamiento de imágenes como PostImage y pegar el enlace generado al texto (precedido por la etiqueta [markdown], para que reconozca la imagen):

Cuando subimos una imagen a PostImage, nos proporciona, entre otros, lo que tenemos que pegar en el enunciado de la pregunta GIFT

Lo pondríamos de la siguiente manera en formato GIFT:

[markdown]¿Cuál es la respuesta correcta a la pregunta de esta imagen? [unnamed.jpg](https://postimg.cc/hXtDx5qK)
{
~ ¿Es esta?
~ ¿Quizá esta?
~ ¿Tal vez esta otra?
= ¡Debe ser esta!
}

Para importar las preguntas, una vez tenemos el documento de texto plano (*.txt) con las preguntas redactados en el formato seleccionado, vamos a Banco de preguntas -> Importar, seleccionamos el formato de importación y subimos el archivo de texto.

Es recomendable crear una categoría específica para importar las preguntas a ella (desplegar General), de ese modo si se produce algún fallo en la importación, las podremos borrar fácilmente.

#2 Usar preguntas abiertas

Las preguntas de opción múltiple pueden sor útiles para evaluar determinados aspectos del aprendizaje, pero al ser respuestas cerradas, no dan opción para evaluar otros, como la capacidad de análisis o reflexión a la hora de seleccionar una respuesta o la expresión escrita u oral del alumnado.

De hecho, al poder seleccionar entre un conjunto de opciones cerrado, la persona evaluada puede jugar con el azar para responder, devaluando la fiabilidad del resultado obtenido.

Por ello, resulta interesante añadir preguntas de tipo abierta, en las que el alumnado deba de redactar la respuesta con sus propias palabras. Para eso tenemos la pregunta Ensayo como una de los tipos de preguntas que se pueden crear en el Banco de preguntas.

En este tipo de pregunta, se hace una pregunta abierta para la que se tiene un campo de texto para responder. Incluso se puede definir una plantilla de respuesta para que salga en la caja de texto y así guiar o estructurar la manera en la que se redactará dicha respuesta.

En la caja de respuesta aparece loq ue se ha definido como plantilla de respuesta.

También se tiene la opción de subir archivos, con lo que el alumnado, puede grabar un audio o vídeo y subirlo como respuesta a la pregunta.

Evidentemente, este tipo de preguntas se han de corregir individualmente, a diferencia de las de opción múltiple que, una vez configuradas, se corrigen automáticamente.

#3 Usar la aleatorización

Cuando se hacen exámenes en los que no se puede tener una supervisión en alumnado, siempre cabe la posibilidad de que alguien tenga la tentación de hacer trampas: varias personas en una casa haciendo el examen juntos, usar una aplicación de chat para responder entre todos o cualquier otra variante que suponga hacer examen de forma colaborativa eliminando el componente de individualidad requerido para una correcta evaluación. La aleatorización en las preguntas puede dificultar estas prácticas, haciendo que los exámenes de todos los alumnos sean diferentes.

Esta aleatorización que puede ser usada de diferentes maneras:

Para generar exámenes con preguntas diferentes

Creando un banco de preguntas muy grande, por ejemplo de 100 preguntas de las cuales se seleccionen 20 al azar para cada ejemplar del examen. De esta manera, cada examen sería diferente. Esto se puede hacer a la hora de editar las preguntas de un examen, seleccionando en Editar cuestionario la opción de Añadir preguntas aleatorias:

Se pueden añadir de golpe tantas preguntas aleatorias como se quieran. Todo dependerá del tamaño del Banco de preguntas.

Para que el orden de la preguntas sea aleatorio

Esto hará que las preguntas no se muestren en el mismo orden que en la pantalla de editar cuestionario, por lo que cada ejemplar del examen tendrá las preguntas en un orden diferente, en diferentes páginas, provocando que sea difícil responderlo «en paralelo». Esto se hace marcando la casilla en Editar cuestionario:

Así, no habrá dos preguntas en el mismo orden en dos intentos diferentes

Para que el orden de las respuestas sea aleatorio

Es decir, para que no se corresponda al orden definido al redactar la pregunta, lo que provoca que en unos intentos la respuesta a una pregunta sea la A y en otros la B. Eso se activa desde Editar ajustes cuestionario en Comportamiento de las preguntas:

Es la opción por defecto

Preguntas de cálculo con números aleatorios

Si la pregunta requiere de realizar cálculos, podemos plantearla de manera que Moodle sepa la fórmula para obtener la respuesta y a cada intento le de una combinación de valores diferentes. Por tanto cada alumno tendrá que operar con valores diferentes y el resultado será distinto en cada caso. Esto se hace desde el banco de preguntas, añadiendo una pregunta de tipo calculada.

Evidentemente, todas estas opciones pueden ser combinadas para dar todavía un mayor grado de entropía a la generación del examen.

#4 Crear variantes de preguntas

A veces, en lugar de tener una gran de cantidad de preguntas diferentes en el banco de preguntas, es conveniente crear variantes de una misma pregunta. De este modo, el alumnado no recibe en cada instancia del examen una selección completamente distinta de preguntas, lo que puede crear suspicacias sobre «la suerte» en las preguntas recibidas, sino que reciben preguntas similares en cuanto a temática, pero en las que se preguntan cosas diferentes para que la respuesta no sea la misma.

Para hacer esto, basta con definir las variantes que se quieren hacer de una misma pregunta y ponerlas todas bajo la misma subcategoria.

Por ejemplo, creamos una categoría Examen3EV y dentro de ellas, las siguientes subcategorías:

  • Examen3EV
    • E3EV-Pregunta1
    • E3EV-Pregunta2
    • E3EV-Pregunta3
    • E3EV-Pregunta4
    • E3EV-Pregunta5

Ahora lo que haríamos sería crear, por ejemplo cinco variantes para la pregunta 1 (por ejemplo, se plantea el mismo enunciado, pero en cada variante se pregunta el cálculo de un aspecto diferente del mismo).

Para hacer esto, resulta muy interesante la opción de duplicar pregunta, así sólo tenemos que modificar la última variante cada vez.

Una vez hemos creado varias variantes para cada pregunta y la hemos puesto cada una en la categoría correspondiente, diseñaríamos el examen con cinco preguntas, de manera que la pregunta 1 sería una pregunta aleatoria de la categoría E3EV-Pregunta1, la pregunta 2 una aleatoria de la categoría E3EV-Pregunta1 y así sucesivamente.

De ese modo, no habrán dos exámenes iguales, aunque los contenidos de todos los exámenes sí serán muy similares.

#6 Controlar el comportamiento de las preguntas antes, durante y tras la prueba

Una de las ventajas de los cuestionarios de Moodle es que, una vez diseñados, se corrigen automáticamente. De este modo, el alumnado puede recibir el feedback de la evaluación en el preciso instante en que le dan clic a entregar. Sin embargo, quizá no sea una buena idea que en un entorno no controlado como el de los alumnos haciendo el examen en casa, unos alumnos ya puedan saber si han hecho bien o mal el examen, que preguntas han fallado o cuáles eran las respuestas correctas.

Para controlar esto, hay una serie de opciones en la configuración del cuestionario que nos permiten definir cómo se comportará el cuestionario una vez se haya entregado.

Si vamos a Editar ajustes en una actividad de tipo cuestionario, las veremos.

Lo primero es determinar cuándo se abre y se cierra el formulario, esto es, entre que dos momentos el alumnado podrá acceder al cuestionario. Eso está en Temporalización.

Si el cuestionario tiene fecha de apertura, el alumnado no podrá acceder a él hasta que llegue ese momento.

La siguiente opción que nos interesa son las Opciones de revisión.

¿Qué información tendrá el alumno en cada estado del formulario?

Para entender esa tabla, lo que hay que tener claro son los diferentes estados por los que puede pasar un cuestionario, pues eso es lo que se está definiendo:

  • Durante el intento: Lo que verán en el moemnto mismo en que estén haciendo el intento. Por defecto, sólo ven las preguntas (el intento)
  • Inmediatamente después del intento: Esto es lo que podrán ver cuando le den a Terminar y durante unos minutos. Por defecto, al estar todo desactivado, no tendrían acceso a nada (ni siquiera volver a ver las preguntas) una vez entregan.
  • Posteriormente, cuando el intento aún está abierto: Esto es lo que podrán ver después de esos minutos y mientras el formulario esté abierto (no se haya llegado a la fecha de cierre definida anteriormente). En el ejemplo, los alumnos podrían ver la nota obtenida, pero ni las preguntas acertadas, ni las correctas.
  • Una vez el cuestionario esté cerrado: Esto es lo que podrán ver cuando ya se haya vencido la fecha de entrega, es decir, cuando ya todos han finalizado el examen, por tanto ya se puede dar más información (revisar el examen, saber qué se ha fallado, ver las respuestas correctas…). Lo que interese en cada caso.

#7 Paginar el examen

Cuando se seleccionan las preguntas del examen, se le puede definir cuantas preguntas habrá en cada página. Adicionalmente, en Editar ajustes del cuestionario se puede repaginar a otro valor. Con esto, podemos controlar cuántas preguntas aparecerán al alumnado en cada página.

Cada 5 preguntas, será necesario pasar a otra página

¿Y por qué es esto importante? Pues porque cada vez que se cambia de página, Moodle guarda las respuestas que ha introducido el alumnado. De esa manera, si se le cuelga el navegador, se le apaga el ordenador, se va la luz u ocurre cualquier otra imprevisible situación que haga que un alumno se desconecte del examen, las preguntas que haya introducido se recuperan en el momento que vuelve a conectarse.

No hace falta imaginar lo desastroso que sería una situación como esta para cualquier estudiante, cuando a 10 minutos del final del examen se le acaba la batería del portátil, ¡con 30 preguntas ya respondidas!

De este modo, solo se perderían las respuestas dadas en página en la que estaba en el momento del «accidente» (que es la única que no se ha guardado). En el peor de los casos, con la configuración mostrada anteriormente, serían 5 preguntas.

Hay que tener en cuenta que el hecho de que se guarden las preguntas consignadas no implica que el examen se entregue con esas preguntas en caso que el alumno no pudiese reengancharse. Dependerá de la configuración del cuestionario.

Con esta opción, el examen se entrega automáticamente cuando se llega a la fecha de finalización.

#8 Controlar el tiempo

Una de las medidas más efectivas para garantizar la fiabilidad de la prueba a distancia es limitar el tiempo para resolver la prueba. De esa manera, se limitan las opciones para buscar asesoramiento en otras personas, en el libro de texto o Internet.

Para hacerlo, hay que indicar el Límite de tiempo en los ajustes de cuestionario. Incluso se puede definir un periodo de gracia, que se iniciaría en el momento que se llegue a la hora de cierre del cuestionario, en el cual el alumnado ya no puede responder a más preguntas y tiene que decidir si entregar o no.

Examen de 50 minutos con un periodo de gracia de 5 minutos

Cuando se activa esta opción, a los alumnos se les muestra en una zona visible del cuestionario el tiempo que les queda restante. El temporizador empieza a contar desde el momento que se accede.

Un dato curioso: según la documentación de Moodle, si un alumno empieza el cuestionario mientras aún esta abierto, pero lo entrega después de que esté cerrado (porque el límite de tiempo es mayor) sólo se tienen en cuenta para la calificación las preguntas consignadas antes de que se cierre el cuestionario. Cuidado con esto.

En cualquier caso, recomiendo sincronizar el comienzo de la prueba, para que todos los alumnos empiecen al mismo tiempo y, si es necesario ampliar el plazo para el cierre del cuestionario para todos. Esto se puede hacer poniendo una contraseña para acceder al examen desde los Ajustes del cuestionario, que no se dará al alumnado hasta que todos hayan conseguido llegar a la pantalla del password. Así todos empiezan a la vez.

La contraseña puede ser la primera pregunta del examen. Es broma.

#9 Analizar el desempeño de las preguntas

Para que un examen en línea sea eficaz, no basta con configurar correctamente la actividad, también hay que seleccionar y redactar adecuadamente las preguntas que se van a hacer.

En primer lugar, antes de redactar las preguntas, es importante tener claro el nivel de conocimiento del alumnado que queremos evaluar, para así seleccionar enunciados acordes a lo que se quiere medir.

Aún así, es posible que las preguntas seleccionadas no sean los instrumentos adecuados para medir el nivel de conocimiento, pero eso sólo lo sabremos una vez hayamos probado el cuestionario.

Moodle, nos ofrece una herramienta para analizar las estadísticas del examen y determinar qué preguntas son demasiado fáciles (más del 70% del alumnado las aciertan) o demasiado difíciles (menos del 20% del alumnado la acierta). Para acceder a ella, una vez realizado el examen, vamos a Administración > Administración del examen > Resultados > Estadísticas

Dentro de esta sección, podemos ver las estadísticas generales del cuestionario y las estadísticas pregunta a pregunta.

Resultados de un cuestionario en el que se aprecian preguntas con un índice de facilidad inapropiado.

Donde:

  • Q#: Muestra el número de la pregunta (su posición), ícono del tipo de pregunta, y los íconos de vista previa y edición
  • Nombre de la pregunta: El nombre de la pregunta.
  • Intentos: Cuantos estudiantes intentaron esta pregunta. Puede variar en caso de aleatorización.
  • Índice de Facilidad: El porcentaje de estudiantes que contestó correctamente la pregunta.
  • Desviación estándar: Cuánta variación hay en la puntuación para esta pregunta.
  • Puntación por adivinar aleatoriamente: Lo que obtendría estudiante adivinando aleatoriamente.
  • Peso Deseado/Efectivo: El peso deseado es lo que se ha configurado cuando se edita el examen. Si la pregunta 1 vale 3 puntos de un total de 10 que vale el examen completo, entonces el peso deseado es 30%. El peso efectivo es un intento para estimar, a partir de los resultados, cuanto de la variación real se debió a esta pregunta. Así, idealmente los pesos efectivos deberían estar cercanos a los pesos deseados.
  • Índice de Discriminación y Eficiencia Discriminatoria : Es la correlación entre la puntuación para esta pregunta y la puntuación para el examen completo. Así, para una buena pregunta, se espera que los estudiantes que obtengan una calificación alta en esta pregunta sean los mismos estudiantes que tengan calificación alta en el examen completo. Los números mayores son mejores.

A partir de un análisis de estos resultados, podemos determinar qué preguntas son más efectivas y replantear aquellas que no lo sean.

Esta herramienta también es muy interesante para cuando se usan variantes de una pregunta, como se ha explicado más arriba, para determinar que todas las variantes tienen un índice de facilidad similar.

Aprovecho este punto para enumerar una serie de recomendaciones que, generalmente, conducen a la redacción de preguntas más eficientes:

  • Evitar preguntas capciosas. No se trata de confundir al alumnado, sino de averiguar qué es lo que saben.
  • Evitar usar demasiadas preguntas de Falso/Verdadero. Hay que tener en cuenta que, especialmente en el campo de las ciencias, pocas afirmaciones son siempre 100% verdaderas o siempre 100% falsas. Además, este tipo de preguntas tiene un 50% de probabilidad estadística de ser acertadas al azar.
  • Evitar demasiados ítems para relacionarse en preguntas de los tipos de relacionar columnas. Esto, además de apabullar al alumnado, provoca que se presenten demasiados ítems a la vez y causa demasiado desplazamiento del cursor, dificultando la lectura. Por la misma razón, evitar que las respuestas sean muy extensas.
  • Para las preguntas de opción múltiple con múltiples respuestas correctas, hay que asignarles puntos negativos a las opciones incorrectas, para que los estudiantes no reciban una calificación positiva si seleccionan todas las opciones.
  • Evitar crear respuestas que sean obviamente incorrectas. Las respuestas han de ser plausibles (creíbles para los que no están seguros). Esta puede ser una de las partes más difíciles al redactar preguntas.
  • Procurar que la longitud de todas las respuestas sea similar a la longitud de la respuesta correcta. Muchas veces, la respuesta correcta es la más larga, y esto permite identificarla a los estudiantes.
  • Evitar usar la palabras como no o excepto en la redacción de las preguntas. Generalmente, la negación en los enunciados dificultan la comprensión del la pregunta.
  • No se recomienda usar las fórmulas «Ninguna de las anteriores» o «Todas las anteriores» como opción de respuesta verdadera o falsa. Y si se usan, para evitar problemas con la aleatorización, es recomendable redactarlas como «Ninguna de estas» o «Todas estas»

#10 Renovar preguntas con frecuencia

A partir del momento en que se realiza un examen, las preguntas del mismo son susceptibles de ser recopiladas, especialmente si no hay supervisión directa por parte del profesorado (recordemos que hablamos de exámenes a distancia). Con un poco de ingeniería social, es bastante plausible que todas o casi todas las preguntas del banco de preguntas acaben en un documento que acabe circulando entre el alumnado.

Con ese documento y un poco de destreza en el uso de las herramientas del procesador de texto, localizar la respuesta a una pregunta es cuestión de segundos. Ni siquiera la limitación de tiempo por pregunta explicada más arriba puede dificultar esta práctica.

Dicho de otro modo, no es recomendable usar el mismo banco de preguntas más de una vez. Ni siquiera en cursos académicos o grupos diferentes.

Esto implica que hay que ir actualizando el banco de preguntas constantemente. Si lo enlazamos con el punto anterior, esto supone una oportunidad para ir actualizando las preguntas a partir de los resultados estadísticos obtenidos en el análisis de las mismas.

De hecho, lo ideal sería crear cada curso académico (o grupo) un nuevo banco de preguntas, basado en el de cursos anteriores, pero que también incorpore preguntas específicas sobre debates y ejemplos que se hayan visto durante el presente curso. En ese sentido, es muy recomendable ir poblando el banco de preguntas a medida que se avanza materia y no de golpe en cuando se acerca el momento de la evaluación. Pues, como bien sabemos, estudiar todo el día antes del examen no es siempre la mejor estrategia para obtener unos buenos resultados.

Conclusiones

Como se ha visto, Moodle es una herramienta muy versátil a la hora de diseñar cuestionarios, contemplando una gran cantidad de supuestos y casos de aplicación. Esto permite usar este tipo de actividades tanto para la realización de exámenes finales, actividades de repaso o como mera herramienta para recolectar información (por ejemplo, para hacer una evaluación inicial).

En ocasiones, este exceso de parámetros configurables suele ser motivo de críticas hacia Moodle, por su complejidad. Es cierto que tanta opción puede abrumar un poco al principio, pero en cuanto se empieza a hacer pruebas y se investiga un poco, en seguida se le encuentra la justificación y utilidad a cada una de ellas. A diferencia de otras herramientas, mucho más sencillas y fáciles de utilizar, que a la larga resultan muy limitadas.

Seleccionar una combinación u otra de los posibles valores de la configuración dependerá del tipo de prueba que se quiera realizar, del perfil del alumnado al que se vaya a aplicar y de los contenidos que se quieran evaluar. En definitiva, es el docente el que tiene que seleccionar estas opciones en función a sus necesidades y no al revés.

Ranking Block en Moodle

Creo que a estas alturas nadie duda de la efectividad de la gamificación en la motivación del alumnado en los procesos de enseñanza-aprendizaje. Mediante el uso de técnicas y metodologías procedentes del mundo del videojuego, no sólo se dinamiza enormemente el diseño y ejecución de los cursos, sino que se hace utilizando unos códigos más cercanos al universo del alumno.

El curso pasado estuve utilizando con un grupo de alumnos el bloque de ranking de Moodle. Mi objetivo era motivar a los alumnos en para que se responsabilizaran de entregar todas las tareas y, además, se esforzaran en obtener buenas calificaciones en ellas. Para ello, instalé el plugin Ranking Block de Moodle y lo habilité en el curso en cuestión.

El funcionamiento del plugin es muy simple: funciona como una especie de clasificación deportiva. Cada vez que un alumno entrega una tarea, obtiene 2 puntos en la clasificación. Esto se puede configurar, si así se desea,  para que también se obtengan puntos cuando el alumno accede para leer a un recurso (por ejemplo, un enlace publicado en el aula virtual) o hace un comentario en el foro. Posteriormente, cuando se evalúa la tarea, el alumno suma en la clasificación el resultado de su calificación.

De esa manera, con tan sólo realizar unas cuantas tareas, la clasificación empieza a moverse y los alumnos empiezan a disputarse los primeros puestos en cada nueva actividad.

Aspecto del bloque de ranking tras dos tareas. A final de curso, hubo quien superó los 400 puntos!

Un bloque con los 10 primeros (esto se puede configurar) se muestra en una de las columnas laterales del aula virtual.

El uso de este plugin, no obstante, requiere ciertas consideraciones (por lo menos en las versiones de Moodle anteriores a la 3, como era el caso de la versión utilizada). Por un lado, es necesario habilitar el Rastreo de finalización en los ajustes del curso. Luego, para cada actividad que quiera ser «puntuada» en el ranking, hay que configurar las condiciones de finalización de la actividad.

Si queremos que se sume la calificación obtenida a los puntos del ranking, tenemos que marcar esta opción

Además, hay que seleccionar cada actividad en la sección Finalización del curso para que sea tenida en cuenta.

Desde aquí, se pueden seleccionar las actividades que se han de tener en cuenta para que Moodle considere el curso completado… y para que se puntúen en el ranking.

El resultado de la experiencia fue muy positivo; al final de curso pasé una encuesta a los alumnos y todos ellos se mostraron favorables (25%) o muy favorables (75%) ante la afirmación de que el uso del ranking había contribuido a que se esforzasen para superarse.

Se puede hacer mucho más en cuanto a la gamificación de nuestros cursos, pero lo cierto es que con este plugin se pueden conseguir unos buenos resultados de una manera muy simple. Eso sí, hay que estar preparado para que los alumnos os reclamen cada pequeña reducción que apliquéis a su calificación.

El caso de las tareas desaparecidas tras una restauración en Moodle

Estos días he tenido problemas tratando de restaurar un curso en Moodle: Tenía un curso creado originalmente con la versión 2.2 de Moodle que quería restaurar en un Moodle posterior (2.5). El proceso de restauración funcionaba sin problemas (ni errores), pero al acceder al curso restaurado me encontraba con que la mayoría de las tareas no aparecían.  Sin embargo, los nombres de las tareas «desparecidas» sí que aparecía en el libro de calificaciones.

Cara de "algo falla y no se que es"
Me he quedado, más o menos, con esta cara

La investigación

En primer lugar, he comprobado que todo estaba correcto en la copia de seguridad realizada. Basta con abrir el archivo comprimido que contiene la copia y navegar por sus contenidos; Básicamente, son archivos XML con la información de los diferentes elementos creados (etiquetas, páginas, tareas, cuestionarios, etc), además de los diferentes archivos subidos al curso. El resultado: todas las actividades estaban en el archivo de la copia de seguridad, con su nombre y descripción.

He tratado de localizar por Internet y en los foros de Moodle.org sin excesivo éxito (atendiendo a la solución, está claro que no he utilizado los términos de búsqueda adecuados).

Analizando de nuevo el problema, me he dado cuenta que las tareas que faltaban tras la restauración eran del tipo «Tarea (2.2)». Interesante. Ese detalle me ha dado una pista importante, ya que tirando de ese hilo es como he llegado a esta sección de la documentación de Moodle en el que aclara el misterio de las tareas desaparecidas.

El problema

El problema radica en que, a partir de la versión 2.3 de Moodle, las tareas pasaron a implementarse de otra forma, así que crearon el concepto «Tarea (2.2)» para garantizar la compatibilidad hacía atrás. Digamos que es un tipo de tarea especial, diferente de las que se usan en las versiones actuales para crear tareas, con la única finalidad de permitir importar tareas de versiones antiguas de Moodle.

Por ello, en las versiones actuales de Moodle, ese tipo de tarea está deshabilitada. Por defecto, no se pueden crear Tareas 2.2 ni, por tanto, se pueden importar.

La solución

Los pasos para solucionar el problema se explican a continuación:

Primero tenemos que activar la Tarea (2.2) en la versión de Moodle en la que queramos restaurar. Para ello, tenemos que ser el administrador del sitio, y acceder a  Administración del sitio / ► Extensiones / ► Módulos de actividad / ► Gestionar actividades y activamos Tarea (2.2).

Hay que activar ese tipo de actividad haciendo clic sobre el ojo.
Hay que activar ese tipo de actividad haciendo clic sobre el ojo.

Con la tarea activada, procedemos a la restauración del curso. Ahora sí salen todas las tareas.

Para evitar que el problema se replique a futuras copias de seguridad/importaciones realizadas a partir de la nueva copia del curso, hay que transformar las Tareas 2.2 a tareas normales (las que se utilizan en la actualidad). Para hacer eso, las versiones actuales de Moodle incorporan un script que realiza esa función.  Lo podemos encontrar en Administración del sitio ► Motor para la actualización de tareas

Una vez las tareas estén actualizadas, volvemos a Administración del sitio ► Extensiones ► Módulos de actividad  ► Gestionar actividades y volvemos a desactivar Tarea (2.2). Así ya no crearemos más tareas de este tipo por accidente.

Caso resuelto.