Los algoritmos siempre han tenido algunos problemas para enteder las cosas bien, de ahí que a menudo te aparezcan anuncios en internet de cosas que ya has comprado.
Pero desde que la covid-19 puso nuestras vidas de cabeza, estos algoritmos han fallado cada vez más, perjudicando a millones de personas y ampliando las disparidades financieras y de salud a las que ya se enfrentan los grupos marginados. En algunos casos, esto se debió a que los humanos no utilizamos los algoritmos correctamente. Más a menudo, fue porque la pandemia cambió la vida diaria de una forma que hizo que los algoritmos funcionaran mal.
Tomemos como ejemplo un algoritmo utilizado por docenas de hospitales en Estados Unidos para identificar a los pacientes con sepsis, una consecuencia de una infección que puede llegar a ser mortal. Se suponía que el algoritmo debía ayudar a los médicos a acelerar el traslado a la unidad de cuidados intensivos. Sin embargo, a partir de la primavera de 2020, los pacientes que acudían al hospital cambiaron repentinamente debido a la covid-19. Muchas de las variables que entraban en el algoritmo –niveles de oxígeno, edad o comorbilidades– eran completamente diferentes durante la pandemia. Por ello, el algoritmo no era capaz de distinguir eficazmente a los pacientes más enfermos de los más sanos y, en consecuencia, marcó como “enfermos” a más del doble de pacientes a pesar de que la capacidad del hospital era 35% inferior a la normal. Probablemente, el resultado fue que se requirieron más médicos y enfermeros junto a los pacientes. Es posible que todas estas alertas fueran necesarias: después de todo, había más pacientes enfermos. Pero también es posible que muchas de estas fueran falsas alarmas, porque el tipo de pacientes que acudían al hospital era diferente. En cualquier caso, esto amenazaba con rebasar a los médicos y a los hospitales. Esta “sobrecarga de alertas” se descubrió meses después de la pandemia y llevó al sistema de salud de la Universidad de Michigan a dejar de utilizar el algoritmo.
Vimos un problema similar de primera mano en el hospital donde trabajamos: hace poco publicamos un estudio en el que examinamos un algoritmo de aprendizaje automático de atención de la salud utilizado para identificar a los pacientes más enfermos de cáncer. Al identificarlos, los médicos tienen la oportunidad de hablar con ellos sobre sus preferencias de cuidados terminales. Nuestros datos mostraron que, durante la pandemia, este algoritmo tenía un 30% menos de probabilidades de identificar correctamente a un paciente enfermo que necesitaba esa conversación oportuna. Estas conversaciones perdidas sobre el final de la vida a menudo se traducen en tratamientos innecesarios, hospitalizaciones y una peor calidad de vida para personas que, en cambio, se habrían beneficiado de recibir cuidados paliativos.
En otro ejemplo, American Express diseñó un complejo algoritmo de Inteligencia Artificial (IA) para detectar fraudes que tenía un desempeño 30% mejor que algoritmos anteriores. Sin embargo, a partir de marzo de 2020, los consumidores realizaron cambios masivos en los patrones de gasto debido a la pandemia, incluyendo compras más grandes, más pedidos en línea y muchos clientes nuevos se presentaron en los grandes almacenes para comprar artículos como papel higiénico y sanitizante para manos. Por suerte, Amex hizo algunas pruebas antes de la puesta en marcha y descubrió que este cambio radical habría desencadenado un número desmedido de alertas de fraude, lo que obligó a la empresa a retrasar la utilización del algoritmo casi un año.
El sector bancario era el mayor inversor en IA antes de la pandemia, ya que podía ayudar a fijar tipos de interés o hipotecas más precisos. Pero los patrones de la banca presencial y online también cambiaron drásticamente durante la pandemia. En una encuesta del Banco de Inglaterra, más de un tercio de los bancos informaron que sus algoritmos de predicción se volvieron más imprecisos durante la pandemia. Esto se ha traducido en una disminución del ritmo de inversión en IA por parte de los bancos.
¿Cómo es que la covid-19 ha “infectado” nuestros algoritmos? Las respuestas son simples, pero ofrecen importantes lecciones, ya que la era del coronavirus probablemente afectará a los algoritmos en los próximos años.
En primer lugar, los algoritmos destacan en reconocer patrones. Suelen diseñarse utilizando años de datos históricos para predecir resultados en el futuro. Sin embargo, casi todos los datos de los algoritmos de IA cambiaron durante la pandemia. En el ámbito de la salud, por ejemplo, las pruebas de detección de cáncer, las visitas al médico y las cirugías opcionales disminuyeron drásticamente, y aún no se han recuperado del todo. Un algoritmo anterior a la covid-19 podría haber predicho que las personas que no acudían al médico con demasiada frecuencia estaban sanas. Sin embargo, durante la covid-19, los pacientes más enfermos solían evitar el hospital o las consultas médicas. A veces recibían atención en sus casas por parte de entidades externas. Lo más frecuente fue que no recibieran ningún tipo de atención. Debido a esta disminución en el uso de los servicios de salud, los pacientes más enfermos no tenían tantos datos que aportar a los algoritmos de predicción. Y, por lo tanto, quizá los algoritmos no identificaron a estos pacientes.
En segundo lugar, los resultados que predicen los algoritmos cambiaron drásticamente durante la covid-19. Tomemos, por ejemplo, un algoritmo que predice el riesgo de muerte de un paciente. Mientras que el algoritmo pudo haber sido preciso en la predicción de la muerte antes de la emergencia sanitaria, la tasa de mortalidad en todo Estados Unidos aumentó en un 40 por ciento entre finales de 2019 y finales de 2020. Las relaciones implícitas entre los factores de riesgo y los resultados cambiaron dramáticamente. Por lo tanto, los algoritmos pueden funcionar mal cuando la frecuencia de un desenlace como la muerte cambia tanto en tan poco tiempo.
En tercer lugar, el impacto de la covid-19 en la atención de la salud y los hábitos de gasto fue especialmente duro para las poblaciones marginadas, lo que ha llevado a que los algoritmos sean más propensos a fallar para las personas pobres. Antes de la covid-19, los estadounidenses no blancos y con bajos ingresos eran mucho más propensos a pagar en efectivo en una tienda que a comprar por internet. Pero ahora, con la pandemia, todos los segmentos de la población estadounidense han pasado de las tiendas físicas a las compras en línea. Un algoritmo de detección de fraudes pudo haber señalado como fraude las compras de personas con bajos ingresos y minorías que aparentemente cambiaron repentinamente sus patrones de compra a las compras en línea.
La pandemia ha puesto en peligro nuestros algoritmos, pero hay formas de solucionar este problema y evitar que se repita.
En primer lugar, los seres humanos deberían supervisar más los algoritmos de IA, al menos por el momento. Cualquier organización que utilice algoritmos de IA anteriores a la covid-19 debería revisar su rendimiento, especialmente en lo que respecta a cómo afectan a grupos marginados y minorías.
En segundo lugar, si estas revisiones revelan alguna señal de alarma, las organizaciones deberían volver a desarrollar (o “reentrenar”) sus algoritmos utilizando datos de la época de la pandemia. Esto es especialmente relevante para los algoritmos que utilizan insumos que todavía están afectados por el covid-19.
En tercer lugar, tenemos que desarrollar algoritmos que sean resistentes ante futuros imprevistos. Las nuevas técnicas de IA pueden ser capaces de “autoaprender” en medio de diferentes crisis. Durante la pandemia, un “algoritmo de aprendizaje por refuerzo” utilizado por los autoridades de control fronterizo en Grecia limitó con éxito la afluencia de viajeros asintomáticos infectados con covid-19. El algoritmo fue capaz de ajustarse a las diferentes fases de la pandemia, con una precisión cuatro veces mayor que las pruebas de vigilancia aleatorias para identificar a los portadores asintomáticos. Una IA cuidadosamente diseñada podría no ser vulnerable a los mismos problemas que estamos viendo actualmente debido a la pandemia.
Los algoritmos pueden mejorar la eficiencia en diversos sectores. Sin embargo, la pandemia nos ha dado varios ejemplos de algoritmos de IA que se han desviado sin que la gente se diera cuenta. Se trata de una oportunidad fortuita para desarrollar y probar formas de reducir la vulnerabilidad a “shocks” similares en el futuro. De este modo, una próxima pandemia, una recesión económica u otra perturbación mundial no incapacitará a nuestros algoritmos.
Este artículo es publicado gracias a una colaboración de Letras Libres con Future Tense, un proyecto de Slate, New America, y Arizona State University
es oncólogo y profesor adjunto de ética médica y políticas de salud y medicina en la Universidad de Pennsylvania. Encabeza en la misma universidad el Human Algorithm Collaboration Lab, el cual estudia estrategias para integrar algoritmos de aprendizaje automático en la atención clínica.
es médico internista, economista de la salud y profesor adjunto de ética médica y políticas de salud en la Universidad de Pennsylvania. Encabeza el Payment Insights Team, que investiga las aplicaciones de la economía conductual en las decisiones de salud, incluyendo las tomas de decisión por algoritmo.
