Golpear los libros: cómo la IA sesgada puede dañar a los usuarios o impulsar los resultados de una empresa


No estoy seguro de por qué a la gente le preocupa que la IA supere el intelecto colectivo de la humanidad en el corto plazo, ni siquiera podemos conseguir que los sistemas que tenemos hoy dejen de emular algunas de nuestras tendencias más innobles. O más bien, quizás los humanos primero debemos desenredarnos de estos mismos prejuicios antes de esperar que se eliminen de nuestros algoritmos.

En Una guía ciudadana sobre inteligencia artificial, John Zerilli lidera una gran cantidad de investigadores y autores destacados en el campo de la IA y el aprendizaje automático para presentar a los lectores un examen holístico y accesible tanto de la historia como del estado actual del arte, los beneficios potenciales y los desafíos que enfrenta la IA en constante mejora. tecnología, y cómo este campo en rápido avance podría influir en la sociedad durante las próximas décadas.

Una guía ciudadana sobre IA por John Zerilli

Prensa del MIT

Extraído de «Una guía ciudadana sobre IA”Copyright © 2021 By John Zerilli wcon John Danaher, James Maclaurin, Colin Gavaghan, Alistair Knott, Joy Liddicoat y Merel Noorman. Usado con permiso del editor, MIT Press.


El prejuicio humano es una mezcla de prejuicios cableados y aprendidos, algunos de los cuales son sensibles (como «debes lavarte las manos antes de comer») y otros son claramente falsos (como «los ateos no tienen moral»). La inteligencia artificial también sufre de sesgos tanto incorporados como aprendidos, pero los mecanismos que producen los sesgos incorporados de la IA son diferentes de los evolutivos que producen las heurísticas psicológicas y los sesgos de los razonadores humanos.

Un grupo de mecanismos surge de las decisiones sobre cómo resolver los problemas prácticos en la IA. Estas decisiones a menudo incorporan expectativas a veces sesgadas de los programadores sobre cómo funciona el mundo. Imagine que se le ha encomendado diseñar un sistema de aprendizaje automático para propietarios que desean encontrar buenos inquilinos. Es una pregunta perfectamente sensata, pero ¿dónde debería buscar los datos que la respondan? Hay muchas variables que puede optar por utilizar en el entrenamiento de su sistema: edad, ingresos, sexo, código postal actual, estudios secundarios, solvencia, carácter, consumo de alcohol. Dejando de lado las variables que a menudo se informan erróneamente (como el consumo de alcohol) o que están legalmente prohibidas como motivos discriminatorios de razonamiento (como el sexo o la edad), es probable que las decisiones que tome dependan, al menos hasta cierto punto, de sus propias creencias sobre qué cosas influyen en el comportamiento. de inquilinos. Tales creencias producirán sesgos en la salida del algoritmo, particularmente si los desarrolladores omiten variables que en realidad predicen ser un buen inquilino y, por lo tanto, perjudican a las personas que de otro modo serían buenos inquilinos pero que no serían identificadas como tales.

El mismo problema volverá a aparecer cuando deban tomarse decisiones sobre la forma en que se recopilarán y etiquetarán los datos. Estas decisiones a menudo no serán visibles para las personas que utilizan los algoritmos. Parte de la información se considerará comercialmente sensible. Algunos simplemente serán olvidados. El hecho de no documentar las posibles fuentes de sesgo puede ser particularmente problemático cuando una IA diseñada para un propósito es cooptada al servicio de otro, como cuando se usa un puntaje de crédito para evaluar la idoneidad de alguien como empleado. El peligro inherente a la adaptación de la IA de un contexto a otro se ha denominado recientemente la «trampa de la portabilidad». Es una trampa porque tiene el potencial de degradar tanto la precisión como la equidad de los algoritmos reutilizados.

Considere también un sistema como TurnItIn. Es uno de los muchos sistemas antiplagio utilizados por las universidades. Sus creadores dicen que rastrea 9.500 millones de páginas web (incluidas fuentes de investigación comunes, como notas de cursos en línea y obras de referencia como Wikipedia). También mantiene una base de datos de ensayos presentados previamente a través de TurnItIn que, según su material de marketing, crece en más de cincuenta mil ensayos por día. Luego, los ensayos enviados por los estudiantes se comparan con esta información para detectar plagio. Por supuesto, siempre habrá algunas similitudes si el trabajo de un estudiante se compara con los ensayos de un gran número de otros estudiantes que escriben sobre temas académicos comunes. Para solucionar este problema, sus creadores optaron por comparar cadenas de caracteres relativamente largas. Lucas Introna, profesor de organización, tecnología y ética en la Universidad de Lancaster, afirma que TurnItIn está sesgado.

TurnItIn está diseñado para detectar copias, pero todos los ensayos contienen algo como copiar. Parafrasear es el proceso de poner las ideas de otras personas en tus propias palabras, demostrando al marcador que comprendes las ideas en cuestión. Resulta que hay una diferencia en la paráfrasis de los hablantes nativos y no nativos de un idioma. Las personas que están aprendiendo un nuevo idioma escriben utilizando fragmentos de texto familiares y, a veces, extensos para asegurarse de que entienden correctamente el vocabulario y la estructura de las expresiones. Esto significa que la paráfrasis de hablantes no nativos de un idioma a menudo contendrá fragmentos más largos del original. Ambos grupos están parafraseando, no haciendo trampa, pero los hablantes no nativos obtienen puntuaciones de plagio persistentemente más altas. Por lo tanto, un sistema diseñado en parte para minimizar los prejuicios de los profesores influenciados inconscientemente por el género y la etnia parece producir inadvertidamente una nueva forma de prejuicio debido a la forma en que maneja los datos.

También hay una larga historia de sesgos incorporados diseñados deliberadamente para obtener beneficios comerciales. Uno de los mayores éxitos en la historia de la IA es el desarrollo de sistemas de recomendación que pueden encontrar de forma rápida y eficaz a los consumidores el hotel más barato, el vuelo más directo o los libros y la música que mejor se adapten a sus gustos. El diseño de estos algoritmos se ha vuelto extremadamente importante para los comerciantes, y no solo para los comerciantes en línea. Si el diseño de un sistema de este tipo significara que su restaurante nunca surgió en una búsqueda, su negocio definitivamente se vería afectado. El problema empeora cuanto más se afianzan los sistemas de recomendación y se vuelven efectivamente obligatorios en determinadas industrias. Puede crear un conflicto de intereses peligroso si la misma empresa propietaria del sistema de recomendación también es propietaria de algunos de los productos o servicios que recomienda.

Este problema se documentó por primera vez en la década de 1960 después del lanzamiento del sistema de reserva y programación de aerolíneas SABRE desarrollado conjuntamente por IBM y American Airlines. Fue un gran avance con respecto a los operadores de centros de llamadas armados con gráficos de asientos y chinchetas, pero pronto se hizo evidente que los usuarios querían un sistema que pudiera comparar los servicios ofrecidos por una variedad de aerolíneas. Un descendiente del motor de recomendación resultante todavía está en uso, impulsando servicios como Expedia y Travelocity. American Airlines no pasó por alto que su nuevo sistema estaba, en efecto, publicitando los productos de sus competidores. Por lo tanto, se dedicaron a investigar las formas en que se podrían presentar los resultados de búsqueda para que los usuarios eligieran American Airlines con más frecuencia. Entonces, aunque el sistema estaría impulsado por información de muchas aerolíneas, sesgaría sistemáticamente los hábitos de compra de los usuarios hacia American Airlines. El personal llamó a esta estrategia ciencia de la pantalla.

La ciencia de la pantalla de American Airlines no pasó desapercibida. Los agentes de viajes pronto se dieron cuenta de que la principal recomendación de SABRE era a menudo peor que las que se encontraban más abajo en la página. Finalmente, el presidente de American Airlines, Robert L. Crandall, fue llamado a testificar ante el Congreso. Sorprendentemente, Crandall no se arrepintió en absoluto, testificando que “la exhibición preferencial de nuestros vuelos, y el correspondiente aumento en nuestra participación de mercado, es la razón de ser competitiva para haber creado el [SABRE] sistema en primer lugar «. La justificación de Crandall ha sido bautizada como «La queja de Crandall», es decir, «¿Por qué construiría y operaría un algoritmo costoso si no puede sesgarlo a su favor?»

Mirando hacia atrás, la queja de Crandall parece bastante pintoresca. Hay muchas formas de monetizar los motores de recomendación. No necesitan producir resultados sesgados para ser económicamente viables. Dicho esto, la ciencia de la pantalla no ha desaparecido. Sigue habiendo acusaciones de que los motores de recomendación se inclinan hacia los productos de sus fabricantes. Ben Edelman recopiló todos los estudios en los que se encontró que Google promocionaba sus propios productos a través de ubicaciones destacadas en dichos resultados. Estos incluyen Google Blog Search, Google Book Search, Google Flight Search, Google Health, Google Hotel Finder, Google Images, Google Maps, Google News, Google Places, Google+, Google Scholar, Google Shopping y Google Video.

El sesgo deliberado no solo influye en lo que le ofrecen los motores de recomendación. También puede influir en lo que se le cobra por los servicios que se le recomiendan. La personalización de la búsqueda ha facilitado la participación de las empresas en Precio dinamico. En 2012, una investigación del Wall Street Journal descubrió que el sistema de recomendación empleado por una compañía de viajes llamada Orbiz parecía recomendar un alojamiento más caro a los usuarios de Mac que a los de Windows.



Fuente: engadget.com

Deja una respuesta

*

Esta web utiliza cookies propias y de terceros para su correcto funcionamiento y para fines analíticos y para fines de afiliación y para mostrarte publicidad relacionada con tus preferencias en base a un perfil elaborado a partir de tus hábitos de navegación. Al hacer clic en el botón Aceptar, aceptas el uso de estas tecnologías y el procesamiento de tus datos para estos propósitos. Más información
Privacidad