Character.AI, una plataforma para crear y chatear con chatbots de inteligencia artificial, planea comenzar a impedir que los menores tengan conversaciones "abiertas" con sus personajes virtuales.
El cambio más importante se produce cuando la empresa de Menlo Park, California, y otros líderes de IA enfrentan un mayor escrutinio por parte de padres, grupos de seguridad infantil y políticos sobre si los chatbots están dañando la salud mental de los adolescentes.
Character.AI dijo el miércoles que está trabajando en una nueva experiencia que permitirá a los adolescentes menores de 18 años crear videos, historias y transmisiones con personajes. Sin embargo, a medida que la compañía haga esta transición, limitará los chats para menores a dos horas por día, y eso "reducirá" antes del 25 de noviembre.
"No tomamos a la ligera este paso de eliminar el chat de personajes abierto, pero creemos que es lo correcto dadas las preguntas que han surgido sobre cómo los adolescentes interactúan y deberían interactuar con esta nueva tecnología", dijo la compañía en un comunicado.
La decisión muestra cómo las empresas de tecnología están respondiendo a los problemas de salud mental a medida que más padres demandan a las plataformas tras la muerte de sus hijos.
Los políticos también están ejerciendo más presión sobre las empresas de tecnología, aprobando nuevas leyes destinadas a hacer que los chatbots sean más seguros.
OpenAI, el creador de ChatGPT, anunció una novedad después de que en una demanda se alegara que su chatbot proporcionó información sobre métodos de suicidio, incluido el que su adolescente, Adam Raine, usó para suicidarse.
El año pasado, varios padres demandaron a Character.AI por acusaciones de que los chatbots hacían que sus hijos se hicieran daño a sí mismos y a otros. Las demandas acusaron a la empresa de lanzar la plataforma antes de asegurarse de que fuera segura de usar.
Character.AI dijo que se toma en serio la seguridad de los adolescentes y describió los pasos que se tomaron para moderar el contenido inapropiado. Las reglas de la empresa prohíben la promoción, glorificación y fomento del suicidio, las autolesiones y los trastornos alimentarios.
Tras la muerte de sus hijos adolescentes, los padres han instado a los legisladores a hacer más para proteger a los jóvenes a medida que los chatbots crecen en popularidad. Si bien los adolescentes utilizan chatbots para las tareas escolares, el entretenimiento y más, algunos también conversan con personajes virtuales en busca de compañía o consejo.
Character.AI tiene más de 20 millones de usuarios activos mensuales y más de 10 millones de caracteres en sus plataformas. Algunos de los personajes son ficticios, mientras que otros están basados en personas reales.
Megan García, una madre de Florida que demandó a Character.AI el año pasado, alega que la compañía no le notificó ni le ofreció ayuda a su hijo, quien expresó pensamientos suicidas a los chatbots de la aplicación.
Su hijo, Sewell Setzer III, se suicidó después de conversar con un chatbot que lleva el nombre de Daenerys Targaryen, un personaje de la serie de libros y televisión de fantasía "Juego de Tronos".
Luego, García testificó en apoyo de la legislación de este año que requiere que los operadores de chatbots tengan procedimientos para prevenir la producción de contenido suicida o de autolesión y establezcan barreras de seguridad, como remitir a los usuarios a una línea directa de suicidio o una línea de mensajes de texto de crisis.
El gobernador de California, Gavin Newsom, promulgó esa legislación, el Proyecto de Ley del Senado 243, pero enfrentó el rechazo de la industria tecnológica. Newsom vetó un proyecto de ley más controvertido que, según dijo, podría resultar involuntariamente en la prohibición de las herramientas de inteligencia artificial utilizadas por menores.
"No podemos preparar a nuestros jóvenes para un futuro en el que la IA sea omnipresente impidiendo por completo el uso de estas herramientas", escribió en el mensaje de veto.
Character.AI dijo en su blog que decidió prohibir que los menores conversaran con sus chatbots de IA después de recibir comentarios de reguladores, padres y expertos en seguridad. La compañía también está implementando una forma de garantizar que los usuarios tengan la experiencia adecuada para su edad y financiando una nueva organización sin fines de lucro dedicada a la seguridad de la IA.
En junio, Character.AI también nombró a Karandeep Anand, quien anteriormente trabajó como ejecutivo en Meta y Microsoft, como su nuevo director ejecutivo.
"Queremos sentar un precedente que priorice la seguridad de los adolescentes y al mismo tiempo ofrezca a los usuarios jóvenes oportunidades para descubrir, jugar y crear", dijo la compañía.
.webp)
0 Comentarios