Desde finales de diciembre de 2025, el chatbot de inteligencia artificial de X, Grok, ha respondido a las solicitudes de muchos usuarios de desnudar a personas reales convirtiendo fotografías de personas en material sexualmente explícito. Después de que la gente comenzó a utilizar la función, la empresa de plataforma social enfrentó un escrutinio global por permitir a los usuarios generar representaciones sexualmente explícitas de personas reales sin consentimiento.
La cuenta de Grok publicaba miles de imágenes "desnudas" y sexualmente sugerentes por hora. Lo que es más inquietante es que Grok creó imágenes sexualizadas y material sexualmente explícito de menores.
Respuesta de X: Culpe a los usuarios de la plataforma, no a nosotros. La compañía emitió un comunicado el 3 de enero de 2026 diciendo que "Cualquiera que use o anime a Grok a crear contenido ilegal enfrentará las mismas consecuencias que subir contenido ilegal". No está claro qué acción, si alguna, tomó X contra el usuario.
Como jurista que estudia la intersección del derecho y las nuevas tecnologías, veo esta avalancha de imágenes disidentes como un resultado predecible de una combinación de las laxas políticas de moderación de contenidos de X y la disponibilidad de las poderosas herramientas generativas de la IA.
Orientación al usuario
El rápido crecimiento de la inteligencia artificial generativa ha dado lugar a innumerables sitios web, aplicaciones y chatbots que permiten a los usuarios producir material sexualmente explícito, incluida la "nudificación" de imágenes infantiles reales. Pero estas aplicaciones y sitios web no son tan conocidos ni utilizados como cualquiera de las principales plataformas de redes sociales, como X.
Las legislaturas estatales y el Congreso respondieron con cierta rapidez. En mayo de 2025, el Congreso aprobó la Ley de Eliminación, que tipifica como delito la publicación de material sexualmente explícito de personas reales sin consentimiento. La Ley Take It Down penaliza tanto la publicación de "representaciones visuales íntimas" de personas identificables sin consentimiento como la IA u otras representaciones de personas identificables generadas por computadora.
Esas disposiciones penales solo se aplican a las personas que publican contenido sexualmente explícito, no a las plataformas que distribuyen el contenido, como los sitios web de redes sociales.
Sin embargo, otras disposiciones de la Ley de Eliminación exigen que las plataformas establezcan un proceso para que las personas destacadas soliciten la eliminación de imágenes. Cuando se envía una "Solicitud de eliminación", la plataforma debe eliminar la exhibición sexualmente explícita dentro de las 48 horas. Pero estos requisitos no entran en vigor hasta el 19 de mayo de 2026.
Problemas con las plataformas
Mientras tanto, las solicitudes de los usuarios para eliminar imágenes sexualmente explícitas hechas por Grok aparentemente no han recibido respuesta. Incluso la madre de uno de los hijos de Elon Musk, Ashley St. Clair, no pudo lograr que X eliminara imágenes sexualizadas falsas de ella que los fanáticos de Musk produjeron usando Grok. The Guardian informa que St Clair dijo que sus "quejas al personal de X no llegaron a ninguna parte".
Esto no me sorprende porque Musk destripó el entonces grupo asesor de confianza y seguridad de Twitter poco después de hacerse cargo de la plataforma y despidió al 80% de los ingenieros de confianza y seguridad de la empresa. Los equipos de confianza y seguridad suelen ser responsables de la moderación de contenidos y las iniciativas de prevención de abusos en las empresas de tecnología.
Grok permite a los usuarios inundar X imágenes sin consentimiento.
Públicamente, Musk parece haber restado importancia a la gravedad de la situación. Según se informa, Musk publicó emojis de risa y llanto en respuesta a algunas de las imágenes, y X respondió a la consulta de un periodista de Reuters con la respuesta automática "Legacy of Media Lies".
Límites de reclamo
Las demandas civiles como la presentada por los padres de Adam Rayne, el adolescente que se suicidó en abril de 2025 después de interactuar con ChatGPT de OpenAI, son una forma de responsabilizar a las plataformas. Pero las demandas enfrentan una batalla cuesta arriba en los Estados Unidos dada la Sección 230 de la Ley de Decencia en las Comunicaciones, que generalmente inmuniza a las plataformas de redes sociales de la responsabilidad legal por el contenido que los usuarios publican en sus plataformas.
Sin embargo, el juez de la Corte Suprema Clarence Thomas y muchos juristas han argumentado que los tribunales han aplicado la Sección 230 de manera demasiado amplia. En general, estoy de acuerdo en que la inmunidad de la Sección 230 debe reducirse porque inmunizar a las empresas de tecnología y sus plataformas por sus decisiones deliberadas de diseño (cómo se construye su software, cómo funciona el software y qué produce) está más allá de las protecciones de la Sección 230.
En este caso, X, a sabiendas o por negligencia, no implementó salvaguardas y controles en Grok para evitar que los usuarios generaran imágenes sexualmente explícitas de personas identificables. Incluso si Musk y X creen que los usuarios deberían poder generar imágenes sexualmente explícitas de adultos usando Grok, creo que en ningún mundo X debería eludir la responsabilidad de fabricar un producto que genere material sexualmente explícito de niños de la vida real.
Vallas regulatorias
Si la gente no puede responsabilizar a plataformas como X mediante demandas civiles, entonces le corresponde al gobierno federal investigarlas y regularlas. La Comisión Federal de Comercio, el Departamento de Justicia o el Congreso, por ejemplo, podrían investigar a X por la generación de material sexualmente explícito por parte de Grok sin consentimiento. Pero con los renovados vínculos políticos de Musk con el presidente Donald Trump, no espero investigaciones serias ni rendición de cuentas en el corto plazo.
Por ahora, los reguladores internacionales han iniciado investigaciones contra X y Grok. Las autoridades francesas han iniciado una investigación sobre la "proliferación de deepfakes sexualmente explícitos" de Grok, y el Consejo Irlandés para las Libertades Civiles y los Derechos Digitales de Irlanda ha instado encarecidamente a la Policía Nacional Irlandesa a investigar el "desnudo masivo". La Agencia Reguladora de Comunicaciones del Reino Unido dijo que estaba investigando el asunto y, según se informa, los reguladores de la Comisión Europea, India y Malasia también están investigando a Ks.
En Estados Unidos, quizás el mejor curso de acción hasta que la Ley de Destitución entre en vigor en mayo sea que la gente exija acción a los funcionarios electos.
.webp)
0 Comentarios