Una de las características más utilizadas en Moodle para la realización de exámenes en línea es los cuestionarios de opción múltiple. En la entrada anterior del blog he comentado algunas de las características que ofrece Moodle para este tipo de pruebas. En efecto, la realización de estas pruebas tienen la ventaja de proporcionar un feedback rápido al alumnado, facilita el análisis de los instrumentos de evaluación al profesorado (que puede analizar la validez de las preguntas) y, por esta, y otras razones, suele ser un sistema al que recurren un gran número de docentes.

No obstante, el uso de estas pruebas objetivas para la evaluación siempre conlleva un componente de incertidumbre debido a la posibilidad de responder al azar las preguntas que no se saben (y acertarlas).

Frente a esta situación, se suelen plantear estrategias como penalizar las respuestas equivocadas, para desalentar la respuesta al azar, o aumentar el número de opciones en las preguntas para disminuir la probabilidad de acierto.

Pero existe una tercera vía que no se basa en desalentar la respuesta cuando no se sabe o no se está completamente seguro (no olvidemos que equivocarse es la mejor forma de aprender), sinó en valorar también el grado de seguridad con la que el alumnado marca esa respuesta: en ese caso, la puntuación estará basada en la certeza.

Puntuación basada en la certeza (PBC)

La puntuación basada en la certeza (PBC) incluye a cada pregunta de opción múltiple del cuestionario un «medidor de certeza», mediante el que el alumnado deberá indicar el grado de seguridad que tiene en que la respuesta que ha marcado sea correcta, entre bajo (está poco seguro), medio y alto (está muy seguro).

Así, la calificación obtenida en la pregunta dependerá, no sólo de la corrección de la respuesta, sinó del grado de certeza indicado, tal y como indica la siguiente tabla:

De ese modo, si la respuesta es correcta, se obtendrá mayor puntuación en el caso de que se tenga más certeza (3 puntos), pero si no existe mucha certeza (es decir, si se ha acertado al azar) se obtendría sólo 1 punto.

Para el caso de la respuesta incorrecta, si se ha marcado con bajo nivel de certeza ni suma ni resta, pero a medida que aumenta la certeza ante una respuesta incorrecta, se penaliza la puntuación. Así, marcar una respuesta incorrecta con una certeza absoluta restaría 6 puntos.

Según la tabla, se entiende por una certeza alta el estar seguro a más de un 80% y una baja certeza si se está menos de un 67%. Lo que hay entre medias, es el grado medio de certeza.

Así, ante una pregunta, si el alumno está seguro de la opción correcta, se deberá marcar la certeza como alta. Pero si la respuesta fuese incorrecta, ¡ se perdería el doble de puntos (-6)!.

Si se está inseguro, para evitar la pérdida de puntos, se debería marcar que el grado de certeza es bajo.

Si no se está del todo seguro ante una respuesta, se debería marcar un grado de certeza intermedio: se ganarían o perderían 2 puntos, en función de si se acierta o no.

Como se puede observar, en esta variante de la tradicional penalización por respuesta incorrecta, se tiene una serie de ventajas:

• Obliga al alumnado a reflexionar sobre su respuesta y autoevaluarla.
• Motiva a los estudiantes a que traten de entender los enunciados y no respondan lo primero que les pase por la cabeza.
• Supone un desafío: si un estudiante no se arriesga a perder puntos si se equivoca, entonces es porque realmente no conoce la respuesta.
• Ayuda a ganar confianza al alumnado.
• Es más justo, pues una respuesta correcta pensada y certera merece más puntos que una adivinanza afortunada.

Interesante, ¿no os parece? Veamos cómo se puede activar esta manera de evaluar en Moodle.

Cómo activar la PBC en Moodle

La PBC está implementada en Moodle, aunque se recomienda realizar una serie de actuaciones administrativas previas a su uso (o verificar que se han hecho con los administradores del sitio).

Para añadir PBC a un cuestionario, es tan sencillo como ir a Editar ajustes y en la sección Comportamiento de las preguntas, seleccionar retroalimentación diferida con CBM (si se selecciona retroalimentación inmediata con CBM, el cuestionario se calificará pregunta a pregunta, y no todo junto al final)

Con eso, las preguntas sobre el grado de certeza se añadirán automáticamente a todas las preguntas del cuestionario.

Como se puede ver en la captura, tras realizar el cuestionario, el valor de las preguntas varía en función al grado de certeza indicado. Por tanto, las calificaciones oscilarán entre -600 y 300, en lugar de entre 0 y 100 que sería lo habitual.

Atención a la configuración de Moodle

La modificación en la escala de calificación que provoca la PBC puede ocasionar problemas si el Moodle no está configurado adecuadamente, ya que que el calificador «trunca» una nota superior a 100 a 100. Así, a un alumno que obtenga un 150 en la prueba, se le asignará un 100 en el calificador, la misma nota que el que ha obtenido un 300 (como si hubiese sacado 10, en lugar de un 5, que es la nota que le correspondería).

Como te puedes imaginar, eso puede generar una gran cantidad de dieces en el examen. En realidad, cualquier alumno que responda un 33% de las preguntas del examen con certeza alta (y acierte) sacaría un 10 si dejase el resto del examen en blanco. Y con un poco más del 15% de las preguntas ya llegaría al 5.

Es más, debido a esta limitación, si un alumno marca siempre la opción de certeza baja, el comportamiento del examen será exactamente el mismo que si no hubiese PBC: si está correcta suma un punto, en otro caso no.

Con las notas negativas no hay problema, ya que el calificador las convierte en 0, por lo que no afectarían negativamente al promedio del curso. Bueno sí, pero no restando.

Para evitar que eso ocurra, ‘Calificaciones sin límites‘ debe estar activada en ‘ Administración del sitio -> Calificaciones -> Configuraciones generales ‘ para que las calificaciones no estén limitadas al 100%. Para ello, habría que contactar con el equipo de administración del sitio Moodle, exponerles la situación y solicitar la activación de esa casilla.

Y, ¿que pasa si, por el motivo que sea, se decide no activar esa casilla? En el siguiente apartado, propongo una solución «manual» al problema.

Por cierto, esto NO está activado en AULES.EDU, así que si utilizas esa plataforma, sigue leyendo.

Evitar la sobrecalificación de forma manual

Si la configuración general de el sitio Moodle no se puede modificar para acomodar las modificaciones en la escala de calificación de la PBC y, aún así, queremos utilizar esta modalidad de calificación sin provocar que el calificador puntúe con un 10 a todos los alumnos que hayan obtenido un 100 o más (poco más de un 3), habrá que consignar las calificaciones obtenidas de forma manual.

En primer lugar, lo que haremos será ocultar en el calificador de Moodle el cuestionario que se va a calificar con PBC. Para ello, crearemos una categoría oculta y trasladaremos el cuestionario a ella. Además, haremos que esa categoría no sea tenida en cuenta a la hora de calcular la calificación del curso. De ese modo, evitamos confundir al alumnado, que ya no verá esa nota truncada.

Para ello, vamos al Calificador > Configuración de calificaciones y creamos una categoría nueva, por ejemplo «Calificaciones ocultas».

Ahora, trasladamos el cuestionario a esa categoría. Desde Configuración de calificaciones, buscamos el cuestionario y lo «movemos» a la nueva categoría.

Ahora, el cuestionario estará dentro de la categoría «Calificaciones ocultas». Buscamos la categoría, le ponemos una ponderación de 0, para que no tenga en cuenta esas calificaciones en el cálculo de la calificación global y la ocultamos, dándole a Editar > Ocultar

El siguiente paso es añadir un ítem de calificación manual en la categoría en la que se encontraba anteriormente el cuestionario. Para ello pulsamos el botón que hay bajo «Añadir catagoría». Yo voy a ponerle al ítem el mismo nombre que tenía el cuestionario, para hacer transparente el cambio:

Volvemos al informe del calificador, donde aparece el nuevo ítem en su sitio. Le damos al icono del lápiz para editar las calificaciones manualmente.

Ahora se trata de poner la calificación realmente obtenida por el alumno en cada caso. Para ello, tenemos que que hacer la regla de 3, para ver cual es el valor sobre 100 de la calificación obtenida por el alumno sobre 300 con PBC. Por ejemplo, si el alumno tiene un 135 en cuestionario, lo multiplicamos por 100 y dividimos el resultado por 300. En realidad, tiene un 45, que es la nota que pondremos manualmente. Así con todos (una hoja de cálculo puede ser de gran ayuda para hacer esto).

Con eso, el alumnado verá en su libro de calificaciones la nota real y, lo que también es importante, esta es la calificación que se agregará con las demás para obtener la calificación global del trimestre o curso.

Pero, atención, si el alumno entra al cuestionario, allí seguirá viendo la nota obtenida en el intento (sobre 300). Para evitar confusiones, se recomienda poner una advertencia en el enunciado del cuestionario indicando que el cuestionario se evalúa sobre 300 puntos. Así, no se llevarán ninguna sorpresa al ver que la calificación difiere de la que hay en el calificador, que es lo mismo, pero sobre 100 puntos.

PBC en AULES.EDU

Para los usuarios de AULES.EDU, el entorno de aprendizaje de la Generalitat Valenciana, la opción de puntuación basada en la certeza está disponible, pero NO está activada la opción para su integración con la hoja de calificaciones, por lo que será necesario configurar manualmente el ítem de calificación, tal y como se explica en el apartado anterior.

Conclusiones

En definitiva, la PBC pretende aproximar una calificación más justa en las pruebas de respuesta objetiva, invitando a la reflexión y autoevaluación del resultado. No hay que dejar de lado las lecturas que puede hacer el alumnado del resultado de la prueba a partir de los resultados obtenidos para cada grado de certeza: quizá sabe más de lo que cree (o al contrario).

No olvidemos que hay ciertas competencias que son difíciles de evaluar con una prueba objetiva con preguntas de «tipo test», como pueden ser la creatividad, el análisis o la capacidad de síntesis. Además de eso, en este tipo de pruebas la calidad de las preguntas también es muy importante para hacer una buena lectura de evaluación y la PBC no resuelve ese problema.

Si bien es cierto que la falta de integración «por defecto» de este tipo de puntuación con el calificador de Moodle puede generar algún problema si n o tomamos las precauciones adecuadas.

En cualquier caso, si optamos por ella, la PBC supone una herramienta útil para estimular un pensamiento más cuidadoso y un mejor aprendizaje que la simple calificación de acertado/erróneo en las cuestionarios con preguntas de opción múltiple.