Desde el lanzamiento de ChatGPT a finales de 2022, millones de personas han comenzado a utilizar grandes modelos de lenguaje para acceder al conocimiento. Y es fácil entender su atractivo: haga una pregunta, obtenga una síntesis pulida y siga adelante; se siente como un aprendizaje sin esfuerzo.
Sin embargo, un nuevo artículo del que soy coautor ofrece evidencia experimental de que esta facilidad puede tener un costo: cuando las personas dependen de grandes modelos de lenguaje para resumir información sobre un tema, tienden a desarrollar un conocimiento más superficial al respecto en comparación con el aprendizaje a través de una búsqueda estándar en Google.
El coautor Jin Ho Jun y yo, ambos profesores de marketing, publicamos este hallazgo en un artículo basado en siete estudios con más de 10.000 participantes. La mayoría de los estudios utilizaron el mismo paradigma básico: se pidió a los participantes que aprendieran sobre un tema, como cómo cultivar un huerto, y se les asignó aleatoriamente para hacerlo utilizando un LLM como ChatGPT o la "forma antigua", navegando por enlaces usando una búsqueda estándar de Google.
No se impusieron restricciones sobre cómo usaban las herramientas; podían buscar en Google todo lo que quisieran y podían continuar buscando en ChatGPT si sentían que querían más información. Cuando completaron su investigación, se les pidió que escribieran un consejo a un amigo sobre el tema basándose en lo que habían aprendido.
Los datos revelaron un patrón consistente: las personas que aprendieron sobre un tema a través de un LLM en comparación con una búsqueda en la web sintieron que aprendieron menos, pusieron menos esfuerzo en escribir sus consejos después y terminaron escribiendo consejos que eran más breves, menos objetivos y más genéricos. Por el contrario, cuando este consejo se presentó a una muestra independiente de lectores, que no sabían qué herramienta se utilizaba para aprender sobre el tema, encontraron que el consejo era menos informativo, menos útil y menos probable que lo adoptaran.
Descubrimos que estas diferencias son sólidas en todos los contextos. Por ejemplo, una posible razón por la que los usuarios de LLM escribieron consejos más breves y generales es simplemente que los resultados de LLM expusieron a los usuarios a información menos ecléctica que los resultados de Google. Para controlar esta posibilidad, realizamos un experimento en el que los participantes estuvieron expuestos a un conjunto idéntico de hechos en los resultados de sus búsquedas en Google y ChatGPT. De manera similar, en el segundo experimento mantuvimos constante la plataforma de búsqueda (Google) y variamos si los participantes aprendieron de los resultados estándar de Google o de la función de descripción general de IA de Google.
Los hallazgos confirmaron que, incluso cuando los hechos y la plataforma se mantienen constantes, aprender a partir de respuestas sintetizadas de LLM conduce a un conocimiento menos profundo en comparación con la recopilación, interpretación y síntesis de información por uno mismo a través de enlaces web estándar.
Por qué es importante
¿Por qué el uso de LLM pareció restar valor al aprendizaje? Uno de los principios más básicos del desarrollo de habilidades es que las personas aprenden mejor cuando participan activamente en el material que intentan aprender.
Cuando aprendemos sobre un tema a través de una búsqueda en Google, nos enfrentamos a muchas más "fricciones": tenemos que navegar por diferentes enlaces web, leer fuentes de información e interpretarlas y sintetizarlas nosotros mismos.
Aunque es más desafiante, esta fricción conduce al desarrollo de una representación mental más profunda y original del tema en cuestión. Pero con LLM, todo este proceso se realiza en nombre del usuario, lo que convierte el aprendizaje de un proceso más activo a uno pasivo.
¿Qué sigue?
Para ser claros, no creemos que la solución a estos problemas sea evitar el uso de LLM, especialmente dadas las innegables ventajas que ofrecen en muchos contextos. Más bien, nuestro mensaje es que las personas simplemente necesitan convertirse en usuarios más inteligentes o más estratégicos de los LLM, lo que comienza con la comprensión de los dominios en los que los LLM son beneficiosos o perjudiciales para sus objetivos.
¿Necesita una respuesta rápida y objetiva a una pregunta? Siéntete libre de utilizar tu copiloto AI favorito. Pero si su objetivo es desarrollar un conocimiento general y profundo en un campo, depender únicamente de las síntesis de LLM será menos útil.
Como parte de mi investigación sobre la psicología de las nuevas tecnologías y los nuevos medios, también me interesa saber si es posible hacer que el proceso de aprendizaje del LLM sea más activo. En otro experimento, probamos esto haciendo que los participantes utilizaran un modelo GPT especializado que ofrecía enlaces web en tiempo real además de sus respuestas sintetizadas. Allí, sin embargo, descubrimos que cuando los participantes recibieron un resumen del LLM, no estaban motivados para profundizar en las fuentes originales. El resultado fue que los participantes aún desarrollaron conocimientos más superficiales en comparación con aquellos que utilizaron Google estándar.
Sobre la base de esto, en mi investigación futura planeo estudiar herramientas de IA generativa que imponen fricciones saludables en las tareas de aprendizaje; específicamente, examinar qué tipos de barreras u obstáculos motivan con mayor éxito a los usuarios a aprender activamente más que respuestas fáciles y sintetizadas. Tales herramientas parecerían particularmente críticas en la educación secundaria, donde el principal desafío para los docentes es cuál es la mejor manera de preparar a los estudiantes para que desarrollen habilidades básicas de lectura, escritura y matemáticas, y al mismo tiempo prepararlos para el mundo real donde los LLM probablemente sean una parte integral de su vida cotidiana.
El Research Brief es una breve descripción de trabajos académicos interesantes.
.webp)
0 Comentarios