Doy clases en el departamento de informática en la Universidad Vanderbilt, en Tennessee, Estados Unidos. En mi clase de Algoritmos de la primavera pasada, decidí exponer regularmente a mis estudiantes a ChatGPT para que pudieran ver de primera mano que no puede reemplazar sus habilidades de pensamiento crítico. Hice esto principalmente por razones egoístas: como la mayoría de los profesores, quería que mis estudiantes confiaran en sus propias habilidades creativas para resolver problemas, en lugar de depender de ChatGPT para responder a las preguntas de su tarea. Tenía la hipótesis de que demostrar la falibilidad de ChatGPT sería un disuasivo más eficaz que una simple advertencia en el programa de estudios. Solo necesitaba encontrar sus debilidades cuando se trataba de nuestro material del curso.
Decidí hacerle a ChatGPT algunas preguntas generales sobre algoritmos, junto con otras relacionadas que suelen hacerse en entrevistas de ingeniería de software. Los resultados fueron sorprendentes. Algunas veces, ChatGPT dio la respuesta correcta. Otras veces, proporcionó un algoritmo preciso, pero no el mejor o el más rápido. Incluso hubo ocasiones en las que respondió incorrectamente a una pregunta, pero estaba seguro de que había dado la respuesta correcta. Llevé estos ejemplos a clase y les planteé las mismas preguntas a mis estudiantes. Lo convertimos en un divertido evento semanal: “ChatGPT vs. Estudiantes de CS 3250”.
Dos semanas antes del final del semestre, uno de mis estudiantes me preguntó si podía hablar conmigo después de la clase. Una vez que sus compañeros se fueron del aula, me dijo: “Últimamente me he estado sintiendo deprimido por de graduarme. Todos están hablando de cómo los modelos de lenguaje de gran tamaño como ChatGPT reemplazarán a los graduados en ciencias de la computación. Estoy sintiendo que todo lo que he aprendido en los últimos cuatro años ya es obsoleto. No sé qué hacer al respecto”.
Con la esperanza de tranquilizarlo, le dije que nadie sabe hacia dónde nos llevarán estas tecnologías. Le expliqué que todos los que han construido una carrera en ciencias de la computación han aprendido que necesitan adaptarse rápidamente al cambio. Tengo colegas que escribieron sus primeros programas de computación utilizando tarjetas perforadas. Cuando comencé la universidad, no había correo electrónico ni internet, pero cuando terminé la maestría, teníamos correo electrónico, computadoras portátiles y la red mundial. El truco, le dije a mi estudiante, está en aprender a aprovechar el poder de la tecnología para mejorar tu vida y productividad en lugar de tenerle miedo o de asumir que hará un mejor trabajo que tú.
Terminamos la conversación allí. El estudiante quedó satisfecho con mi respuesta, pero yo no. Seguía pensando en lo que había dicho y en mi papel como educador en el panorama tecnológico actual. Hasta ese momento, pensaba que mi experimento en el salón iba bien. Mis estudiantes se habían dado cuenta rápidamente de que utilizar ChatGPT en sus tareas solo les beneficiaría si ya entendían el material; comprendieron que, si querían destacar en clase, necesitaban pensar a un nivel más alto que ChatGPT. Después de escuchar las preocupaciones de este alumno, sentí que necesitaba llevar mi experimento un paso más allá. Tal vez si pudiera demostrarles a mis estudiantes que ellos eran mejores que ChatGPT razonando, les ayudaría a convencerse de que no serían reemplazados por estos modelos de lenguaje en un futuro cercano. Solo tenía que descubrir cómo hacerlo.
Y entonces tuve una idea.
Antes del día del examen final, decidí darle a ChatGPT la misma evaluación que mis estudiantes tendrían. Ninguna de las preguntas del examen dependía de conocimientos específicos que solo se pudieran adquirir asistiendo a mis clases; la mayoría de las preguntas se derivaban de otras preguntas sobre algoritmos utilizadas en entrevistas de trabajo de ingeniería de software. Una vez que terminó de responder todas las preguntas, las copié (sin realizar cambios) en mi plantilla de examen. Luego creé un estudiante ficticio llamado “Glenn Peter Thompson” (GPT) y cargué las respuestas de Glenn en nuestro portal de calificaciones, donde nuestro numeroso grupo de asistentes de enseñanza calificó todos los exámenes. (Nuestra clase era lo suficientemente grande como para que ninguno de los calificadores supiera de mi experimento). Luego esperé para ver cuáles serían las calificaciones de Glenn.
Los resultados fueron sorprendentes y confirmaron lo que había planteado durante el semestre: todos y cada uno de los estudiantes del turno matutino de mi clase obtuvo una calificación más alta en el examen final que Glenn, quien solo logró una C- con una puntuación de 72.5. El promedio de la clase estaba en la mitad de los 80. En el turno vesperino, que tuvo un conjunto diferente de problemas en el examen final, Glenn se desempeñó algo mejor, pero también obtuvo una calificación por debajo del promedio, el equivalente a una C+.
Después de publicar las calificaciones finales, compartí el experimento y los resultados con mis estudiantes, quienes estaban emocionados y aliviados de que sus habilidades (por las cuales pagan una buena colegiatura) superaran a las de la nueva y, aparentemente, brillante amenaza. También compartí los resultados con algunos de mis colegas en un comité recién formado, encargado de recomendar políticas para tratar con ChatGPT y herramientas relacionadas con la inteligencia artificial en el aula. Les encantó el experimento; uno de mis colegas incluso sugirió que los miembros del cuerpo docente de todas las disciplinas deberían hacer lo mismo.
ChatGPT es el elefante gigante de la inteligencia artificial que se sienta en el centro de cada salón. Los instructores pueden intentar ignorarlo o prohibirlo, pero hacerlo no cambia la realidad de la situación: los estudiantes tienen curiosidad sobre él, hablan de él, se preocupan por él y lo utilizan. Ahora necesito seguir el mismo consejo que le di a mi estudiante. Con esta tecnología emergente, continuaré aprendiendo, evolucionando y adaptándome. Y si hay una forma en la que pueda utilizar la nueva tecnología y convertirme en un educador más eficaz, estoy completamente comprometido con ello.
Ah, y hay otro detalle con ChatGPT. A diferencia de una calculadora estándar, que no se vuelve más inteligente cuanto más la uses, los modelos de lenguaje de gran tamaño como ChatGPT están en constante evolución y aprendizaje. Eso significa que no puedo sentarme a contemplar, creyendo que ya tengo todo resuelto. Glenn está otra vez en mi clase este semestre, y es posible que ya haya resuelto los problemas que no entendía la primavera pasada. Pero estoy un paso adelante de él: ya he encontrado mi primer nueva debilidad en ChatGPT para la clase de la próxima semana. ~
Este artículo es publicado gracias a la colaboración de Letras Libres con Future Tense, un proyecto de Slate, New America, y Arizona State University.
es profesor asociado de ciencias de la computación en la Universidad Vanderbilt.
n associate professor of the practice of computer science at Vanderbilt University.
