1948 El fundador de la teoría de la información de la información, Claude Shannon, propuso un lenguaje de modelado en términos de probabilidad de las siguientes palabras dadas a palabras anteriores. Estos tipos de modelos de lenguaje probabilístico se niegan en gran medida, los lingüistas más famosos por los lingüistas Noam Chomsky: "El término" probabilidad de una oración "es completamente inútil".
En 2022. Año, 74 años después de la propuesta de Shannon, apareció Chatggpt, que atrajo la atención pública, y algunos incluso sugieren que es un pasaje a la inteligencia superhumana. La salida de la propuesta de Shannon en Chatggpt duró tanto porque la cantidad de datos y los tiempos de computadora era impensable incluso hace unos años.
ChatGGPT es un modelo de lenguaje grande (LLM) aprendido de un gran corpus de texto de Internet. Predijo la probabilidad del siguiente contexto dado: palabras rápidas y previamente generadas.
ChatGPT utiliza este modelo para generar lenguaje seleccionando las siguientes palabras de acuerdo con la predicción verabilista. Considere dibujar palabras de un sombrero, donde las palabras predichas probablemente tengan más copias en el sombrero. ChatGPT produce un texto que actúa de manera inteligente.
Existe mucha controversia sobre cómo estas herramientas pueden ayudar o interferir con el aprendizaje y la práctica de la escritura creativa. Como profesor de informática, que es un centenar de obras sobre inteligencia artificial (IA), incluida la influencia social de los modelos de idiomas grandes, creo que los modelos pueden ayudar a los escritores y educadores a considerar las restricciones y el uso potencial de IA para lo que se puede llamar escritura "creativa".
LLMS como periquitos o plagiarios
Los modelos de lenguaje grande repiten lo que hay en los datos que están vestidos. (David Poole), proporcionado por el autor (sin uso) proporcionado
Es importante distinguir la "creatividad" por LLM y la creatividad del hombre. Para las personas que tenían bajas expectativas, de las cuales la computadora podía crear, era fácil asignar creatividad a la computadora. Otros eran más escépticos. El científico cognitivo Douglas Hofstadter vio "Hollownness feo escondido justo debajo de su brillante superficie".
La lingüista Emily Bender y sus colegas describieron modelos de idiomas como papagaga estocástica, lo que significa repetir lo que estaba en los datos que fueron entrenados en coincidencia. Para comprender esto, considere por qué se creó una palabra en particular. Esto se debe a que tiene una probabilidad relativamente alta y tiene una gran probabilidad, porque muchos textos en el entrenamiento del corpus usaron esa palabra en contextos similares.
Seleccionar palabras de acuerdo con la distribución de probabilidad es como elegir el texto con un contexto similar y usar su próxima palabra. La generación de texto de LLM puede verse como plagio, una palabra al mismo tiempo.
La creatividad de un hombre
Considere la creatividad de un hombre que tiene ideas que quiere transmitir. Con la IA generativa, ponen sus ideas en FAST y AI producirá texto (o imágenes o sonidos). Si a alguien no le importa lo que se genera, realmente no importa lo que use como un aviso. Pero, ¿qué pasa si se encargan de lo que se genera?
LLM intenta crear una persona al azar que escribiera el texto anterior. La mayoría de los escritores creativos no quieren lo que escribiría una persona al azar. Quieren usar su creatividad y pueden querer un medio para producir lo que escribirían que tuvieron tiempo para producirla.
Los LLM generalmente no tienen un gran corpus de lo que un autor en particular escribió para aprender. El autor indudablemente querrá producir algo diferente. Si se espera que la salida sea más detallada que la entrada, el LLM debe compensar los detalles. Puede o no puede ser lo que el escritor pretende.
La mayoría de los escritores creativos no quieren lo que sería escrito por una persona al azar, sino para usar su creatividad. (Shutterstock) Un uso positivo de LLM para la escritura creativa
La escritura es como el desarrollo de software: dada la idea de qué desarrolladores de software le dan al código (texto en lenguaje informático) analógico cómo los escritores producen texto en lenguaje natural. LLMS trata a escribir y escribir el texto del lenguaje natural de la misma manera; Corpus cada LLM está vestido con lenguaje natural y código. Lo que se produce depende del contexto.
Los escritores pueden aprender de la experiencia del desarrollador de software. Los LLM son buenos para proyectos pequeños que anteriormente han realizado muchas otras personas, como una base de datos o una redacción de letras estándar. También son útiles para partes de proyectos más grandes, como un marco emergente en la interfaz gráfica de usuario.
Si los desarrolladores quieren usarlos para proyectos más grandes, deben estar listos para generar más salidas y editar la más cercana a lo que se pretende. El problema en el desarrollo de software siempre determinó exactamente lo que se solicitó; La codificación es fácil.
Generar buenas consultas
Como se generan buenas instrucciones, se defiende como una forma de arte llamada "Ingeniería rápida". Los proponentes de la ingeniería rápida han propuesto más técnicas que mejoran la salida de los LLM actuales, como Delete, y luego buscan texto basado en el esquema mejorado rápido original.
Otro es pedir que muestre los pasos del razonamiento, como en el llamado almuerzo. El LLM no solo sale la respuesta a la pregunta, sino que explica los pasos que podrían tomarse para responderla. LLM usa esos pasos como parte de su registro para obtener la respuesta final.
Los proponentes de ingeniería rápida proponen técnicas que mejoren la salida de los LLM actuales. (Shutterstock)
Tal consejo estará relacionado con efímeros. Si actúan algunas técnicas de ingeniería rápida, se instalarán en la versión futura de LLM, de modo que el efecto ocurre sin la necesidad de un uso explícito de la técnica. Modelos recientes que afirman comprender tal comprensión paso a paso.
La gente quiere creer
El científico informático Joseph Weizenbaum, que describe su programa Eliza escrito en 1964-66: "Estoy asombrado de ver qué tan rápido y con cuánta personas están hablando (programa) se involucran emocionalmente en la computadora y cuán inequívocamente antropomorfilizados". Las herramientas cambiaron, pero la gente todavía quiere creer.
En esta era, la información errónea es importante que todos tengan una forma de juzgar a menudo la exageración de autoservicio.
No hay magia en una IA generativa, pero hay muchos datos para predecir lo que alguien puede escribir. Espero que la creatividad sea más que regurgitación lo que otros han escrito.
0 Comentarios