Un equipo dirigido por informáticos de examinó diez de los conjuntos de datos más citados utilizados para probar sistemas. Descubrieron que alrededor del 3,4 por ciento de los datos eran inexactos o estaban mal etiquetados, lo que podría causar problemas en los sistemas de inteligencia artificial que utilizan estos conjuntos de datos.

Los conjuntos de datos, que se han citado cada uno más de 100.000 veces, incluyen los basados ​​en texto de grupos de noticias, y . Los errores surgieron de problemas como las reseñas de productos de Amazon que se etiquetaron incorrectamente como positivas cuando en realidad eran negativas y viceversa.

Algunos de los errores basados ​​en imágenes son el resultado de la mezcla de especies animales. Otros surgieron por etiquetar incorrectamente fotos con objetos menos prominentes («botella de agua» en lugar de la bicicleta de montaña a la que está conectada, por ejemplo). Un ejemplo particularmente irritante que surgió fue el de un bebé al que se confunde con un pezón.

se centra en el audio de los videos de YouTube. de un YouTuber hablando con la cámara durante tres minutos y medio fue etiquetado como «campana de iglesia», aunque solo se pudo escuchar una en los últimos 30 segundos aproximadamente. Otro error surgió de una clasificación errónea de como orquesta.

Para encontrar posibles errores, los investigadores utilizaron un marco llamado , que examina conjuntos de datos en busca de ruido en las etiquetas (o datos irrelevantes). Validaron los posibles errores utilizando , y encontró que alrededor del 54 por ciento de los datos marcados por el algoritmo tenían etiquetas incorrectas. Los investigadores encontraron el tuvo la mayor cantidad de errores con alrededor de 5 millones (alrededor del 10 por ciento del conjunto de datos). El equipo para que cualquiera pueda examinar los errores de etiqueta.

Algunos de los errores son relativamente menores y otros parecen ser un caso de división de los pelos (un primer plano de una tecla de comando de Mac etiquetada como «teclado de computadora» sigue siendo correcto). A veces, el enfoque de aprendizaje seguro también se equivocó, como confundir una imagen correctamente etiquetada de diapasones para una menorá.

Si las etiquetas están un poco desviadas, eso podría generar enormes ramificaciones para los sistemas de aprendizaje automático. Si un sistema de inteligencia artificial no puede diferenciar entre una tienda de comestibles y un montón de cangrejos, sería difícil confiar en él. sirviéndote un trago.