¿Sabemos que impacto tienen en el largo plazo las decisiones que toman sistemas de Machine Learning?

Los sistemas de aprendizaje automático se están implementado cada vez más para ayudar en la toma de decisiones de alto impacto, como la determinación de sentencias penales, evaluaciones de bienestar infantil, quién recibe atención médica, etc. Comprender si tales sistemas son justos es crucial y requiere una comprensión de los efectos a corto y largo plazo de los modelos.

Para facilitar el desarrollo de algoritmos en este contexto, Google ha lanzado ML-fairness-gym, un conjunto de componentes para construir simulaciones simples que exploran los posibles impactos a largo plazo de implementar sistemas de decisión basados en el aprendizaje automático en entornos sociales. En «La imparcialidad no es estática: una comprensión más profunda de la equidad a largo plazo a través de estudios de simulación», los autores demuestran cómo se puede utilizar el ML-fairness-gym para investigar los efectos a largo plazo de los sistemas de decisión automatizados.

Un ejemplo: el problema de los préstamos personales

Un problema clásico para considerar la equidad en los sistemas de aprendizaje automático es el problema de los préstamos. Este problema es una representación altamente simplificada del proceso de préstamo, donde nos centramos en un solo ciclo de retroalimentación para aislar sus efectos y estudiarlo en detalle. En esta formulación del problema, la probabilidad de que los solicitantes individuales paguen un préstamo es una función de su puntaje de crédito. Estos solicitantes también pertenecen a uno de un número arbitrario de grupos. Los grupos comienzan con diferentes distribuciones de puntaje de crédito. El banco está tratando de determinar un umbral en los puntajes de crédito, aplicado a través de grupos o adaptado a cada uno, que mejor le permita alcanzar sus objetivos. Los solicitantes con puntajes más altos que el umbral reciben préstamos, y aquellos con puntajes más bajos son rechazados. Cuando la simulación selecciona a un individuo, se determinará al azar si pagará o no el préstamo en función de la probabilidad de recuperación de su grupo. En este ejemplo, las personas que actualmente solicitan préstamos pueden solicitar préstamos adicionales en el futuro y, por lo tanto, al pagar su préstamo, su puntaje crediticio y el puntaje crediticio promedio de su grupo aumentan. Del mismo modo, si el solicitante incumple, el puntaje de crédito promedio del grupo disminuye.

La configuración de umbral más efectiva dependerá de los objetivos del banco. Un banco que maximiza las ganancias puede establecer un umbral que maximice el rendimiento previsto, en función de la probabilidad estimada de que los solicitantes reembolsen sus préstamos. Otro banco, que trata de ser justo con ambos grupos, puede tratar de implementar umbrales que maximicen las ganancias al tiempo que satisfacen la igualdad de oportunidades. En este escenario, el banco emplea técnicas de aprendizaje automático para determinar el umbral más efectivo en función de los préstamos que se han distribuido y sus resultados. Sin embargo, dado que estas técnicas a menudo se centran en objetivos a corto plazo, pueden tener consecuencias no deseadas e injustas para diferentes grupos.

Resultados

El Banco de igualdad de oportunidades sobrepresta al grupo desfavorecido (grupo 2, que inicialmente tiene un puntaje de crédito promedio más bajo) aplicando a veces un umbral más bajo para el grupo que el aplicado por el banco de recompensa máxima. Esto hace que los puntajes de crédito del grupo 2 disminuyan más que el grupo 1, lo que resulta en una brecha de puntaje de crédito más amplia entre los grupos que en las simulaciones con el banco de recompensa máxima, ya que algunos de los prestamos otorgados al grupo 2 no son pagados, lo que disminuye el puntaje de este grupo.

El segundo hallazgo es que con la métrica de igualdad de oportunidades es difícil de interpretar cuando la población subyacente está evolucionando, y sugiere que es necesario un análisis más cuidadoso para garantizar que el sistema ML tenga los efectos deseados.

Dejar un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Accedé al descuento del15%

Suscribiéndote a Nuestro Newsletter, y recibí el cupón para tu inscripción.