La inteligencia artificial se adopta rápidamente para prevenir el abuso y la protección de las personas vulnerables, incluidos niños en cuidado de crianza, adultos en hogares de ancianos y escuelas en las escuelas en las escuelas. Estas herramientas prometen descubrir el peligro en tiempo real y las autoridades de advertencia antes de que ocurra un daño grave.
Los desarrolladores usan el procesamiento del lenguaje natural, por ejemplo, una forma de IA que interpreta el lenguaje escrito o hablado, para detectar patrones de amenazas, manipulación y control en los mensajes de texto. Esta información podría ayudar a detectar el abuso doméstico y potencialmente ayudar a los tribunales o la implementación de la ley en la intervención temprana. Algunas agencias de protección infantil utilizan modelado predictivo, otra técnica común y común, para calcular qué familias o individuos están más "en riesgo" de abuso.
Cuando parece cuidadosamente, y las herramientas tienen el potencial de mejorar la seguridad y la eficiencia. Por ejemplo, los modelos predictivos ayudaron a los trabajadores sociales a priorizar objetos de alto riesgo e intervenir antes.
Pero como trabajador social con 15 años de experiencia, explorando la violencia familiar, y para el gerente de atención, examinar el abuso infantil y los coordinadores de la primera infancia, he visto cuántos sistemas bien intencionados a menudo no lo hacen a menudo.
Ahora ayudo a desarrollar una cámara de supervisión ICARE, AI -A -AVIDING que analiza los movimientos de las extremidades, no las caras o las voces, para detectar la violencia física. Me casé con la pregunta crítica: ¿puede la IA realmente ayudar con la protección de las personas vulnerables o es solo la automatización de los mismos sistemas que les dañan a largo plazo?
Nueva tecnología, vieja injusticia
Muchas herramientas de IA están capacitadas para "aprender" analizando datos históricos. Pero la historia está llena de desigualdades, prejuicios y conceptos erróneos. Como las personas, que diseñan, prueban y financian la IA.
Esto significa que los algoritmos de IA pueden terminar con la replicación de formas sistémicas de discriminación, como el racismo o el clasismo. Estudio 2022. En el distrito de Allegheni, Pensilvania, descubrió que el riesgo predictivo de un nivel familiar en la línea directa para ayudar en llamadas acortadas, que marcaba a los niños negros un 20% más que los niños blancos, si se usaban sin supervisión humana. Cuando los trabajadores sociales están involucrados en la toma de decisiones, esta disparidad cayó un 9%.
El lenguaje AI también puede mejorar el sesgo. Por ejemplo, un estudio ha demostrado que los sistemas de procesamiento del lenguaje natural engañaron mal el inglés vernáculo afroamericano como "agresivo" en una tasa significativamente más alta que el inglés americano estándar, hasta un 62% más a menudo, en ciertos contextos.
Mientras tanto, mientras tanto, en el Estudio 2023. Se descubrió que y los modelos a menudo luchan con las marcas de contexto, lo que significa que los mensajes sarcásticos o de broma pueden ser malvados como serias amenazas o signos de angustia.
El procesamiento de idiomas AI no siempre es increíble para juzgar lo que cuenta como una amenaza o preocupación. Nickilloid / E + a través de Getty Images
Estos defectos pueden repetir mayores problemas en los sistemas de protección. Las personas en color han dependido durante mucho tiempo en los sistemas de protección social de los niños, a veces debido a los malentendidos culturales, a veces debido a los prejuicios. Los estudios han demostrado que las familias negras e indígenas enfrentan tasas de informes desproporcionadamente más altas, investigaciones y la separación de la familia en comparación con las familias blancas, incluso después de tener en cuenta los ingresos y otros factores socioeconómicos.
Muchas de estas desigualdades surgen del racismo estructural integrado en décadas de decisión discriminatoria sobre política, así como sesgos implícitos y la toma de decisiones discrecionales por parte de los trabajadores sobrecargados.
Supervisión de soporte
Incluso cuando y los sistemas reducen el daño a los grupos vulnerables, a menudo lo convierten en un costo perturbado.
En hospitales y aplicaciones, por ejemplo, atención anterior, se usaron cámaras para detectar la agresión física entre el personal, los visitantes y los habitantes. Aunque los vendedores comerciales promueven estas herramientas como innovaciones de seguridad, su uso aumenta una preocupación ética seria por el equilibrio entre la protección y la privacidad.
En el programa piloto en Australia, Australia, y los sistemas de cámaras organizados en dos hogares de atención han creado más de 12,000 advertencias falsas durante más de 12 meses: el personal prevaleciente y la falta de al menos un incidente real desapareció. La precisión del programa "no alcanzó un nivel que se considerara personal y gestión aceptable", según un informe independiente.
Las cámaras de supervisión en el hogar de cuidado pueden ayudarlo a descubrir el abuso, pero establecen serias preguntas sobre la privacidad. Kazuma Seki / Istock a través de Getty Images Plus
Y los niños se ven afectados. En las escuelas estadounidenses, y la supervisión como Gaggle, Goguardia y Secondary se comercializan como una herramienta para mantener a los estudiantes. Dichos programas se pueden instalar en actividades estudiantiles para monitorear las actividades de la red y señala cualquier cosa en relación.
Pero resultó que también aplanaron un comportamiento inofensivo, como escribir cuentos con violencia leve o investigar temas relacionados con la salud mental. A medida que se detectó la investigación impresa expresada, estos sistemas también se graves estudiantes LGBTK + o administradores escolares que supervisan la búsqueda o habla sobre género y sexualidad.
Otros sistemas usan cámaras en el aula y micrófonos para detectar "agresión". Pero a menudo reflejan erróneamente el comportamiento normal como la risa, la tos o el rudo, a veces fomentan la intervención o la disciplina.
Estas no son omisiones técnicas aisladas; Reflejan defectos profundos en cómo y se visten y distribuyen. Y los sistemas aprenden de datos pasados que seleccionados y marcados por personas que a menudo reflejan desigualdades y sesgos sociales. Como socióloga Virginia, Eubanks escribió en "Automatización de la desigualdad", y los sistemas corren el riesgo de estos largos daños.
Cuidado, no castigo
Creo que la IA aún puede ser una fuerza para el bien, pero solo si sus desarrolladores son prioridades para la dignidad de las personas que son estas herramientas para la protección. Desarrollé un marco de cuatro principios clave para lo que llamo "reaccionar a la IA de reacción de trauma".
Control de sobrevivientes: la gente debería decir cómo, cuándo y si se sigue. Permitir a los usuarios para un mayor control sobre sus datos puede mejorar la confianza en los sistemas de IA y aumentar su compromiso con los servicios de soporte, como la creación de planes personalizados para ahorrar seguros o acceso a la ayuda.
Supervisión humana: los estudios muestran que la combinación de la experiencia de los trabajadores sociales y reduce el acoso infantil, como en el riesgo algorítmico como un factor, con su juicio profesional, porque decide informar qué informa infantil.
Revisión de sesgo: los gobiernos y los desarrolladores son cada vez más alentadores para probar los sistemas de IA para el sesgo racial y económico. La herramienta de código abierto como IBM's AI Fairness 360, las herramientas de Google y Fairlearn lo ayudan a detectar y reducir dicho sesgo en los modelos de aprendizaje automático.
El respeto por estos principios significa sistemas de construcción que corresponden cuidadosamente, no a la penalización.
Ya aparecen algunos modelos prometedores. La Coalición contra Stalkervare y sus socios se compromete a involucrar a todas las fases del desarrollo tecnológico, desde la evaluación de las necesidades de pruebas de usuario y vigilancia ética.
La legislación también es importante. 5. Mayo de 2025, por ejemplo, el gobernador de Montanin firmó una ley que limita el gobierno estatal y local para usar la IA para dar decisiones automatizadas sobre la supervisión humana significativa de las personas. Esto requiere transparencia sobre cómo y se usa en los sistemas gubernamentales y prohíbe el perfil discriminatorio.
Si bien les digo a mis alumnos, las intervenciones innovadoras deberían interrumpir el daño al daño, no para ampliarlos. Y nunca reemplazará la capacidad humana de contexto y compasión. Pero con los valores correctos en el centro, podría ayudarnos a entregar más.
0 Comentarios