Área o áreas de la institución que desarrollan la práctica
- Calidad
- Pedagógica / Académica
Problema o necesidad que originó la práctica
La universidad ha implementado una serie de tecnologías disruptivas desde el año 2020 que validan a los usuarios a través del reconocimiento facial con apoyo de la inteligencia artificial, a partir de un gran conjunto de datos de imágenes indexadas (usando entre otros, la distancia del espacio de los vectores de rasgos faciales). Así mismo, cuenta con la herramienta Block Watermark, que bloquea los principales comandos de captura de pantalla y permite, a través de una marca de agua, identificar a la persona que está presentando estas pruebas. Finalmente, ha realizado el uso de algoritmos genéticos para la generación de preguntas de forma masiva.
A partir de la implementación de estas herramientas, se requiere medir la incidencia de esta práctica dentro del campus virtual de la UNAD.
Mecanismo usado para identificar el problema
- Análisis institucional
- Evaluación inicial
Descripción del mecanismo
La universidad cuenta con tres elementos tecnológicos que han sido implementados en sus pruebas objetivas cerradas (POC) tipo cuestionario en los momentos finales de los cursos, con el propósito de disminuir los casos de suplantación por parte de los estudiantes. Estas herramientas son: reconocimiento facial, Block Watermark y algoritmos genéticos.
A partir de su implementación, se ha generado una evaluación inicial de las herramientas a través de un método cuantitativo con el cual se busca reconocer las principales incidencias generadas dentro de las evaluaciones tipo POC en el campus de la universidad por parte de los estudiantes.
Resultados cuantitativos esperados
- Se espera que menos del 2 % de los estudiantes que realizan pruebas tipo POC, generen algún tipo de sanción, como suplantación, apoyo presencial, entre otros mencionados en lineamientos.
- Se espera que el 100 % de las preguntas estén marcadas con el nombre de los usuarios, así como el bloqueo de captura de pantalla y las aplicaciones abiertas del usuario mientras realiza la prueba.
- Se espera que se tenga menos de un 10 % de posibilidad de que una pregunta pueda ser repetida en los exámenes en línea entre estudiantes de un mismo periodo y en un 20 % de estudiantes de otros periodos.
Resultados cualitativos esperados
- Se espera una conducta ética, en donde el estudiante presente evaluaciones sin recurrir a casos de plagio o ayuda externa, fomentando la cultura de la originalidad institucional.
De los docentes:
- Se espera mejoramiento en la calidad de las preguntas, de tal forma que se puedan masificar adecuadamente, evaluando los objetivos de aprendizaje descritos en los syllabuses de los cursos.
Actividades desarrolladas en la implementación
Pilotaje
Se realizaron pilotajes con cada una de las herramientas antes de su implementación desde el año 2021, a partir de estos pilotajes se lograron definir los lineamientos técnicos y operativos para su implementación
Implementación herramienta de reconocimiento facial y Block Watermark
A partir de los diferentes pilotajes realizados, se ubicaron las herramientas de forma escalonada en diferentes periodos académicos durante 2020 e inicio 2021.
Implementación de la herramienta de algoritmos genéticos para la generación de preguntas masivas
El proceso de algoritmos genéticos fue implementado a partir del periodo 8-03 y 16-02 del presente año, durante el mes de julio, para esto se seleccionaron 30 cursos para dar inicio al pilotaje.
Evaluación de las herramientas
Actualmente, se adelante un proceso inicial de orden cuantitativo de las herramientas, y se espera generar una investigación con mayor profundidad que permita identificar aspectos generados a partir de la implementación de estas tecnologías.
En articulación con:
- Otras áreas institucionales: Vicerrectoría de Medios y Mediaciones Pedagógicas (VIMEP), Vicerrectoría Académica y de Investigación (VIACI) y Gerencia de Plataformas e Infraestructura Tecnológica (GPTI)
Esta articulación consistió en:
Vicerrectoría Académica de Investigación: responsable de seleccionar los cursos en los que se implementarán las herramientas y la verificación de calidad de las preguntas que se ubicarán en cada uno de ellos.
Vicerrectoría de Medios y Mediaciones Pedagógicas: responsable de gestionar todos los aspectos tecnopedagógicos y el uso de tecnologías disruptivas dentro de los cursos y recursos educativos digitales en la UNAD, seleccionando, incorporando e implementándolos. Las tecnologías de IA como RF y algoritmos genéticos, así como el uso de la herramienta de Block Watermark fueron definidas y aplicada por esta vicerrectoría.
Gerencia de Plataformas e Infraestructura Tecnológica: unidad que brinda todo el apoyo tecnológico para que operen adecuadamente los cursos y sus evaluaciones.
Elementos innovadores de la práctica de acuerdo con el contexto
Algoritmos genéticos
La masificación de preguntas a través de algoritmos genéticos (son una técnica de IA, un método de búsqueda dirigida basada en probabilidad) a partir de la teoría de la evolución de Darwin, garantizando la aleatoriedad y masificación tanto en las respuestas como las opciones de preguntas que aparecen a los estudiantes, permitiendo la generación de preguntas masivas a partir de una pregunta semilla de forma inteligente. Su aplicación permite identificar las respuestas erradas de cada estudiante en cada ítem semilla, lo que permite emplear, entre otros, modelos bayesianos y el
ítem response theory que identifica el mejor orden en el que el usuario debe recibir el contenido: qué no están entendiendo los estudiantes y qué sí.
Block Watermark
El desarrollo se dio a partir de un reto propuesto sobre el canal de Telegram de la comunidad Moodle Colombia. El proyecto implementa el modelo de desarrollo Bazar, que expone Eric S. Raymond en su libro
La catedral y el bazar, el cual tiene 4 ramas:
- Disable-options: para trabajar el backend de la detección de eventos.
- Watermark: para trabajar el frontend asociado a la personalización de marca de agua.
- Develop: para versionar posibles funcionalidades que puedan pasar a producción.
- Master: para versionar el proyecto en producción.
Actualmente, la obra cuenta con licencia MIT, proyecto
open source desde diciembre de 2020.
Reconocimiento facial
Los algoritmos usados para el reconocimiento facial permiten, a partir de modelos biométricos del usuario, identificar a la persona que presenta el examen a través del monitoreo continuo de su cámara web y su continuo aprendizaje a partir de inteligencia artificial. El primer paso para la verificación de la identidad del usuario es su registro biométrico: el sistema captura las imágenes del usuario y se extrae un vector de identidad para utilizarlo en la verificación de la identidad en los exámenes. A partir de ahí, de los exámenes se extrae el vector de identidad del estudiante y se compara con el registro inicial, además de realizar otros procesos relacionados con el análisis de imagen.
Informes generados a los docentes
Con el ánimo de reconocer las diferentes actividades que desarrolla el estudiante durante la presentación del examen, se cuenta con la posibilidad de realizar grabación de las aplicaciones de las que hace uso el usuario. Estas son reportadas al tutor o director del curso, quienes penalizan o no el uso de las aplicaciones, a partir de los informes que brinda la herramienta.
Dentro de los reportes que pueden tener a su disposición los docentes, se encuentran las imágenes de los estudiantes usando dispositivos diferentes a los permitidos, el uso de aplicaciones no permitidas, la ausencia de los estudiantes mientras presenta el examen, la presentación del examen por más de dos personas y los pantallazos de las aplicaciones y las acciones generadas en estas.
Mecanismo de evaluación del desarrollo y los resultados obtenidos
- Análisis de informes finales
Descripción del mecanismo
Se aplica un análisis cuantitativo de los datos de los estudiantes, en particular, se comparan las calificaciones promedio y el tiempo de elaboración de las pruebas de los estudiantes que hicieron el curso en tres periodos académicos distintos (con tres tipos de prueba de hipótesis: test con varianzas iguales, diferentes y la prueba de hipótesis no paramétrica U Wilcoxon Mann Whitney: en el primero no se contaba con ninguna de las tecnologías, en otro se contaba con el proctoring, en el último periodo se contaba con procoring + watermark + bancos de preguntas masificados.
Resultados cuantitativos de la práctica
- Se encuentra una tendencia decreciente en el resultado de las notas obtenidas por los estudiantes.
- Se encuentra un aumento en los tiempos requeridos para las evaluaciones usando las herramientas.
- Este efecto es estadísticamente significativo al hacer pruebas (test) de diferencia de medias.
- Comparando tres tecnologías vs. proctoring, se encuentran diferencias significativas en los tiempos.
Resultados cualitativos de la práctica
- Los reportes identifican comportamientos suministrados al momento de la evaluación.
- Se identifica una mayor preparación para la presentación de los exámenes en línea.
- Se ha podido determinar una mejor lectura de las preguntas, dedicando mayor tiempo en las respuestas.
- Los algoritmos genéticos han permitido mejorar la calidad de las preguntas construidas.
Conclusiones generadas a partir de la evaluación
Se logra identificar que estas innovaciones tecnopedagógicas han generado un mayor esfuerzo por parte de los estudiantes, que se ha visto reflejado en la disminución en el valor de las calificaciones.
Se logra identificar que estas innovaciones tecnopedagógicas han generado un mayor esfuerzo por parte de los estudiantes, que se ha visto en el aumento en el tiempo para el desarrollo de las preguntas.
También se reconoce que la variación de los resultados y la obtención de “notas perfectas” que antes se podían obtener con mayor frecuencia, han disminuido considerablemente.
Esto permite reconocer una incidencia directa de la implementación de estas herramientas y, a partir del análisis preliminar, una disminución en los casos de suplantación y suministro de preguntas.
Principales transformaciones derivadas de la buena práctica
Por parte de los estudiantes:
A partir de la iniciativa, los estudiantes evidencian, claramente, el rigor con el que se establecen las evaluaciones en línea de la UNAD. Se ha logrado identificar una mayor preparación para la presentación de los exámenes en línea por parte de los estudiantes, quienes ya inician el alistamiento para la presentación de las POC con mínimo tres días antes, esto les ha implicado la adecuación de sus espacios de estudio y un repaso previo y continuo de lo visto en el curso; a su vez, a partir del análisis cuantitativo, se ha podido determinar que hacen una mejor lectura de las preguntas, dedicando un mayor tiempo para generar las respectivas respuestas.
Por parte de los docentes:
La gran mayoría de los docentes solicitan el uso del RF en las evaluaciones en línea de sus cursos. Los reportes que se entregan por estudiante les entrega no solo la seguridad de que el alumno es el realmente el evaluado, sino también comportamientos suministrados al momento de la evaluación.
De otra parte, la implementación de los algoritmos genéticos para la masificación de preguntas ha permitido reducir la cantidad de preguntas a formular, con lo que pueden tener una mayor dedicación de tiempo en la elaboración de las preguntas, aumentando de esta manera la calidad de las mismas.
Esto se logra evidenciar en las calificaciones de las evaluaciones, en las cuales se reconoce un mayor nivel de exigencia para la resolver los cuestionarios.
En los resultados de las evaluaciones en línea tipo POC:
A partir del análisis cuantitativo de los resultados de las evaluaciones en línea tipo POC, se logra identificar que las calificaciones en las evaluaciones en las cuales se implementan estas innovaciones tecnopedagógicas, han generado un mayor esfuerzo por parte de los estudiantes, que se ha visto reflejado en la disminución en el valor de las calificaciones en estas evaluaciones, así como un aumento en el tiempo para el desarrollo de las preguntas, también se reconoce que la variación de los resultados y la obtención de “notas perfectas”, que antes se podían obtener con mayor frecuencia, han disminuido considerablemente. Esto permite reconocer una incidencia directa de la de estas herramientas y una disminución en casos de penalización.
Documentación del proceso de planeación, implementación y evaluación de resultados
A partir de un análisis epistemológico, axiológico y desde la praxis, se verifica la necesidad del uso de estas herramientas disruptivas. Las herramientas fueron testeadas de forma escalonada y se realizó la generación de lineamientos que permiten su implementación y evaluación.
Medios de divulgación de la práctica
