En la tradición griega el destino era resuelto por las Moiras quienes, poco después del nacimiento de un hombre, se reunían para determinar el curso de su vida. Sus decisiones estaban por encima de los dioses: ni estos eran capaces de contravenir sus designios –la etimología de “destino” deviene de la raíz indoeuropea sta, que significa “estar de pie”, es decir, lo inamovible.
El destino –las situaciones, el carácter, lo largo o corto de la vida– está oculto para la mayoría de nosotros y se revela solo a través de los oráculos y los dioses. En otras palabras, el destino es lo inevitable que obra sobre los hombres y los sucesos.
Los algoritmos son el equivalente moderno de esta idea: no solamente no sabemos cómo operan sino que, de manera invisible, dirigen nuestras vidas de formas insospechadas. El ejemplo más cercano es Google: cualquier pregunta o necesidad de información pasa por su algoritmo que, en segundos, regresa aquello que considera la mejor selección de resultados posibles. ¿Por qué esto es un problema? W. Daniel Hillis, científico en computación, responde a esta pregunta en su ensayo Las opiniones de los motores de búsqueda: “En 2012 Google hizo un cambio fundamental en la manera en la que busca información. (…) Este año, además de la búsqueda por palabras clave, Google ahora realiza también una búsqueda semántica”.
Esta búsqueda no solamente identifica la palabra clave en cuestión, sino que establece jerarquías y relaciones entre las mismas. Esto puede llevar a resultados limitados que dependen del modelo semántico al que obedece el algoritmo. “Ahora –continúa Hillis–, los motores de búsqueda hacen juicios al seleccionar los resultados que muestran. Estas decisiones no están basadas en estadística, sino en un modelo del mundo”.
Esto ha sido satirizado en proyectos como Google Poetics pero, en su cara más oscura, refuerza la operación de ciertos estereotipos en nuestras sociedades, lo que en 2013 llevó a Naciones Unidas a lanzar una campaña contra la desigualdad de la mujer:
Las sugerencias de Google brindan claves sobre la manera en la que funciona el modelo semántico al que se refiere Hillis. En otras palabras, el algoritmo cerca la información a la que tenemos acceso y plantea preguntassobre qué tipo de resultados quedan fuera de las primeras páginas. “Desde ahora, los motores de búsqueda poseen un punto de vista editorial y sus resultados reflejan ese punto. No podemos ignorar más las presunciones detrás de dichos resultados”, concluye Hillis.
El impacto de los algoritmos no se limita a los resultados de búsquedas en Internet o la sección de noticias de Facebook: escriben las noticias de los diarios[1], deciden los preciosde tu viaje en Uber o el del vuelo que piensas comprarpara tus vacaciones. Incluso, pueden estar detrás de esa obra de arte que planeas adquirir.
Tendemos a creer que los algoritmos son objetivos en tanto obedecen a ceros y unos, pero olvidamos que su lógica fue creada por un grupo específico de personas. Recientemente, un estudio del Carnegie Mellon University demostró que el sistema publicitario de Google mostraba con mayor frecuencia avisos de empleo con mejor sueldoa hombres que a mujeres. En Chicago, un intento de la policía por crear mapas de calor de zonas delictivas demostró prejuicios raciales y económicos en su implementación[2]. Google Images, ante la búsqueda de la palabra CEO, muestra a mujeres en tan solo 11% de los resultados–cuando el porcentaje en Estados Unidos está cerca del 30%.
Frank Pasquale, abogado por Harvard University, apunta hacia los riesgos asociados en el uso cada vez mayor de algoritmos: discriminación, invasión a la privacidad y falta de transparencia –en síntesis, un nuevo Gran Hermano. El peor problema es que, como las Moiras, las decisiones de los algoritmos no admiten réplica: se han convertido en una caja negra y no hay nada que exija a las compañías transparentar cómo funcionan. Pasquale cuenta, en un ejemplo, cómo una mujer en Estados Unidos perdió su historial crediticio y fue incapaz de obtener un empleo por un error en un algoritmo.
Los escenarios que esto sugiere recuerdan a Philip K. Dick: en su cuento El informe de la minoría, un trío de mutantes predice el futuro y, bajo la estructura del sistema llamado Precrimen, cientos de hombres son acusados no de crímenes cometidos, sino decrímenes que habrán de cometer. Algocracia: el gobierno de los algoritmos. Parafraseando a Borges, el algoritmo no es sino un abuso de la estadística.
Los riesgos de que el futuro esté dominado por su mano invisible son grandes: si funcionan a partir de data errónea o un modelo excluyente, es claro que pueden tomar malas decisiones. El mayor peligro, sin embargo, reside no en lo falible del algoritmo, sino dentro de esa inevitabilidad de la que dependemos sin mayor cuestionamiento. Detrás existe la creencia de que los algoritmos son necesarios, palabra cuya definición, curiosamente, la empata con el destino: “lo que forzosa o inevitablemente ha de ser o suceder”. Héctor, ante el destino que las Moiras han trazado para él, le dice a Aquiles: “Cumplióse mi destino. Pero no quisiera morir cobardemente y sin gloria; sino realizando algo grande que llegara a conocimiento de los venideros”. En nuestro caso, tal vez esto signifique alzar la voz frente la futura algocracia.
[1] Pueden tomar un quiz para saber qué tan capaces son de detectar la escritura de un algoritmo versus la de una persona
[2] Hay más casos documentados aquí. En síntesis, se podría estar de acuerdo con lo que los autores del estudio del Carnegie Mellon University escriben: “El estatus amoral de un algoritmo no niega sus efectos en la sociedad”.
(Tampico, 1982) es narrador. En 2015 publicó París D.F., su primera novela, por la que ganó el Premio Dos Passos. En 2017 ganó el IX Certamen Internacional Sor Juana Inés de la Cruz en la categoría de cuento con el libro Los recuerdos son pistas, el resto es una ficción. Actualmente vive en Barcelona, desde donde mantiene El Anaquel, un blog y podcast sobre literatura y cultura.
