Retroalimentación efectiva basada en inteligencia artificial generativa. Criterios de evaluación para la escritura de casos pedagógicos

En este documento de trabajo presentamos criterios preestablecidos para la evaluación con propósito de retroalimentación descriptiva de textos de respuesta a casos pedagógicos, producidos por estudiantes de la asignatura Ética Profesional Docente de la Facultad de Educación de la Universidad Autónoma de Chile. Para ello, hemos descrito tres criterios que permiten observar la calidad de tal escritura. El primero, Silueta de respuesta a un caso, verifica la presencia de partes o secciones que debe mínimamente poseer el texto. Del mismo modo, se describe la extensión mínima y máxima
requerida para este propósito. Los otros dos criterios (Calidad de la propuesta de resolución del caso y Calidad de la comunicación escrita) son descriptivos, y su calidad está ponderada en las rúbricas que se proveen más abajo.
La retroalimentación entregada a los estudiantes debe considerar las descripciones provistas en las rúbricas. Algunas de ellas pueden manifestar calidad de escritura de distinto tipo, por lo que pueden poseer características de dos niveles distintos, dependiendo de las dimensiones de cada criterio.
Estas rúbricas constituyen el núcleo del prompt con el que se ha alimentado al sistema piloto llamado RECAP-GPT (retroalimentación de casos pedagógicos basada en Transformador Generativo Preentrenado). Este permite entregar feedback descriptivo automatizado e individual a las respuestas de casos pedagógicos escritas por estos estudiantes durante el
semestre de primavera de 2023.