Por qué puede ser peligroso que un algoritmo decida si contratarte o ....

[wolfbcn]

Los sistemas de inteligencia artificial son entrenados con datos condicionados por prejuicios

En 2014 Amazon desarrolló una inteligencia artificial de reclutamiento que aprendió que los hombres eran preferibles y empezó a discriminar a las mujeres. Un año más tarde un usuario de Google Photos se dio cuenta de que el programa etiquetaba a sus amigos negros como gorilas. En 2018 se descubrió que un algoritmo que analizó la posibilidad de reincidir de un millón de convictos en EE UU fallaba tanto como una persona cualquiera sin especiales conocimientos judiciales o de criminalística. Decisiones que antes eran tomadas por humanos hoy en día son tomadas por sistemas de inteligencia artificial. Algunas relativas a la contratación de personas, la concesión de créditos, los diagnósticos médicos o incluso las sentencias judiciales. Pero el uso de estos sistemas conlleva un riesgo, ya que los datos con los que los algoritmos son entrenados están condicionados por nuestros conocimientos y prejuicios.

"Los datos son un reflejo de la realidad. Si la realidad tiene prejuicios, los datos también", explica Richard Benjamins, embajador de big data e inteligencia artificial de Telefónica, a EL PAÍS. Para evitar que un algoritmo discrimine a ciertos colectivos, sostiene, hay que verificar que los datos de entrenamiento no contienen ningún sesgo y durante el testeo del algoritmo analizar el ratio de falsos positivos y negativos. "Es mucho más grave un algoritmo que discrimina de una manera no deseada en los dominios jurídicos, de préstamos o de admisión a la educación que en dominios como la recomendación de películas o de publicidad", afirma Benjamins.

LEER MAS: https://elpais.com/tecnologia/2018/11/19/actualidad/1542630835_054987.html

[Tachikomaia]

Yo sólo confío en algo cuando me parece que está equivocado y tras un tiempo de analizarlo veo que el equivocado soy yo. Me pasa mucho con mis programas, tienen errores, los voy corrigiendo, y en eso de repente hay veces que me parece están fallando y me doy cuenta que no.

Pero bueno, generalmente hay que desconfiar, puede haber un error que aún no detectamos.

[rub'n]

Imagina un robot con inteligencia artificial, que falle de manera aleatoria, por ejemplo detectando un color, o eso mismo, fallando a la hora de diferenciar imágenes, y le cueste la vida a alguien?   estoy seguro que pasara, porque el error suele estar entre la silla y el teclado.  

[Serapis]

Lo peor de todo, es que si por ejemplo una persona tuviera que tomar una decisión y luego esa decisión le cuesta la vida a una persona, sin duda esa problema pasará por un análisis interior y probablemente una autoculpa, de lo que salga un mayor esmero en no errar en lo sucesivo... es decir tiene consciencia del daño que resulta de su error, en cambio para un algoritmo, todo ese proceso resulta inexistente... lo mismo da que sea un algoritmo que falle en como hacer churros más sabrosos, que en derivar tráfico por una carretera que va hacia un precipicio... no hay consciencia, autoculpa, ni sufre si "los demás te señalan con el dedo portu mala gestión"... ergo, la posibilidad de avanzar, mejorar y autocorregirse que es lo más elemental buscado en la IA, falla estrepitosamente.

Hoy día la IA, no aprende, porque no comprende, solo memoriza y da como aprendido, lo que estadísticamente parece resultar mejor... y además probablemente sin excepciones. Mientras que un humano, incluso en leyes perfectamente claras, no paramos de hacer excepciones, precisamente porque comprendemos que la "ley sagrada" refrendada por todos, falla para ese caso al conocer sus detalles...