Este artículo forma parte del Free Speech Project, una colaboración entre Future Tense y el Tech, Law, & Security Program del Washington College of Law de la American University, en el cual se revisan las formas en que la tecnología influye en nuestra manera de pensar acerca del lenguaje.
A inicios de junio, como parte de sus esfuerzos para eliminar a “actores negativos”, Facebook accidentalmente borró cientos de cuentas. ¿Quiénes fueron las víctimas? Cabezas rapadas antiracistas y miembros de comunidades de asiduos al ska, punk y reggae, incluyendo artistas de color. Algunos usuarios hasta llegaron a pensar que sus cuentas habían sido suspendidas solo por dar “me gusta” a páginas de cabezas rapadas no racistas y de fanáticos del punk. Aunque Facebook no se ha pronunciado sobre las razones del error, es probable que, como reportó OneZero, la plataforma haya confundido estas subculturas con los cabezas rapadas neonazis de extrema derecha.
No sería difícil caer en esta confusión. La estética de los cabezas rapadas desde hace mucho tiempo se ha asociado con los grupos supremacistas blancos. (El Southern Poverty Law Center considera que los cabezas rapadas racistas se encuentran “entre las amenazas de extrema derecha más peligrosas que en la actualidad enfrentan las autoridades”.) Sin embargo, los primeros cabezas rapadas, que surgieron en Londres en la década de 1960, tenían raíces no racistas y multiculturales: su influencia provenía de los inmigrantes jamaiquinos y compartían vínculos estrechos con el ambiente del ska, reggae y punk. Con la proliferación de los grupos neonazis, el movimiento se dividió en las décadas de los setenta y ochenta en las facciones racistas y no racistas que existen en la actualidad. Si bien los últimos, que se encuentran en todo el mundo, han procurado aclarar esta idea durante las últimas décadas, prevalece el estereotipo de los cabezas rapadas como supremacistas blancos.
La confusión de Facebook no fue un incidente de gravedad, y la plataforma se apresuró a atenuarlo: días después se restituyeron las cuentas y la compañía ofreció una disculpa. Sin embargo, aunque solo haya ocasionado inconvenientes menores, el error deja en evidencia las tensiones prevalecientes en el centro de la moderación de contenidos hoy en día. Conforme aceptamos la inevitabilidad de los errores al monitorear plataformas de esta escala, nos quedamos con una conclusión simple: o bien las plataformas eliminan solo el contenido más peligroso, dejando en línea algunos discursos dañinos, o bien lanzan una red amplia que retire discursos inofensivos en el proceso. Si estamos a favor de lo último –y, de hecho, esta ha sido la tendencia en las plataformas– entonces necesitamos considerar hasta qué grado son necesarias, o disculpables, las equivocaciones que una compañía de redes sociales pudiera cometer al cumplir con su misión de eliminar la desinformación y el discurso de odio de su plataforma.
El incidente de la eliminación de cuentas de la plataforma sucede en una época en el que las compañías de redes sociales han incrementado sus esfuerzos para reglamentar el contenido como respuesta a doble presión de la elección presidencial y, en especial, la pandemia de coronavirus. Apenas en noviembre pasado, Facebook recibió críticas por negarse a prohibir grupos de nacionalistas blancos y otros grupos de odio a pesar de sus promesas de hacerlo y, aunque no ha abandonado del todo su política de laissez-faire en cuanto a la moderación de contenido, Facebook, entre otras plataformas, ha eliminado y etiquetado contenido con desinformación, discursos de odio y material de alguna manera dañino en cantidades sin precedentes en los meses posteriores. Por ejemplo, la semana pasada, eliminó casi 200 cuentas vinculadas a grupos supremacistas.
Los cabezas rapadas y músicos antirracistas son solo las últimas víctimas de estas políticas. Por ejemplo, en abril pasado, Facebook amenazó con prohibir que fabricantes de cubrebocas caseros pudieran hacer publicaciones o comentarios y con borrar grupos que coordinaban esfuerzos de voluntarios para su fabricación. (El sistema automatizado de moderación de contenido había confundido las publicaciones de voluntarios con la venta de suministros médicos.) Este mes, Facebook e Instagram desbloquearon el hashtag #sikh ante la insistente presión del público para anular la restricción, que ya había durado tres meses. No hay claridad en cuanto a las razones del bloqueo inicial –Instagram afirmó que se trató de un error derivado de “un reporte que sus equipos no verificaron con precisión”– pero los críticos señalaron que ocurrió durante el aniversario número 36 de la Operación Estrella Azul, un ataque del ejército de India a un templo sij en el que murieron por lo menos 400 civiles.
Una de las principales razones de este tipo de errores es la mayor dependencia de la inteligencia artificial. Las compañías de redes sociales han recurrido a la IA para monitorear el contenido desde hace años, pero al inicio de la pandemia afirmaron que intensificarían el uso de IA debido a que habían enviado a casa a los moderadores humanos, admitiendo así que “esperan cometer más errores” como consecuencia de la medida. Este fue un raro momento de franqueza: “Por años, estas plataformas han estado pregonando que las herramientas de IA serían la panacea que repararía todo lo relacionado con la moderación de contenidos”, afirmó Evelyn Douek, estudiante de doctorado en la Harvard Law School y afiliada al Berkman Klein Center for Internet & Society de Harvard.
Si bien la IA permite que las grandes plataformas moderen contenido a escalas que resultan imposibles para los humanos –y evita que trabajadores con salario insuficiente estén más expuestos a publicaciones inquietantes– sus deficiencias están bien documentadas. Como Sarah T. Roberts, profesora adjunta de estudios sobre información en la UCLA, escribió en Slate a principios de este año, las herramientas de IA “ofrecen resultados demasiado generales, carecen de la capacidad de tomar decisiones finas o matizadas que vayan más allá de aquello para lo que expresamente fueron programadas”. Por su parte, muchas organizaciones de derechos humanos y promotoras de la libertad de expresión ven “la torpeza de estas herramientas no tanto como un error, sino más bien como una transgresión al derecho de crear y acceder a la información, así como difundirla”, añade Roberts.
El problema, desde luego, es que la IA llegó para quedarse –y que, en parte como consecuencia de este hecho, no deberá sorprendernos que ocurran más errores en estas plataformas. Pero eso no significa que debamos ver la moderación de contenido desde una perspectiva derrotista. “Tenemos que empezar a pensar qué tipo de errores deseamos que las plataformas cometan”, advirtió Douek, quien también mencionó que el debate no ha llegado a este punto “porque la gente se incomoda al hablar sobre ese tipo de cálculo en el contexto de los derechos de expresión”.
Douek opina que una forma de abordar esa pregunta es considerar los diferentes tipos de expresiones que las plataformas regulan y discernir cuáles ameritan prioridad. “Pienso que en realidad hay diferentes intereses en juego cuando se habla sobre el discurso”, señaló Douek. “Las expresiones dañinas en el contexto de una pandemia, en donde la línea entre desinformación y daño físico es especialmente directa y urgente, es un tanto diferente a la forma en que manejamos la desinformación o falsedades políticas, en donde la mejor respuesta no necesariamente podría ser la censura, sino otras herramientas que las plataformas tengan a su disposición, como la verificación de datos y las etiquetas”. Y agregó: “yo dudaría en sacar demasiadas conclusiones de la pandemia”.
Otra medida es exigir más transparencia de las compañías de redes sociales. Por ejemplo, a muchas personas les preocupa el sesgo algorítmico, pero aún no queda claro a quién afecta este sesgo en la moderación de contenido. Como mencionó Douek, al mismo tiempo están surgiendo debates en torno a los sesgos anticonservadores, antizquierdistas, antirraciales. El problema es que las plataformas son notoriamente silenciosas en cuanto a sus datos y algoritmos. “Necesitamos abrir por completo estas plataformas y hacer que investigadores independientes accedan a los datos para comenzar a dilucidar lo que está sucediendo de modo, que podamos construir respuestas con bases empíricas”, concluyó.
Pero esa transparencia va más allá de conocer el funcionamiento de las herramientas de IA de Facebook. Consideremos el caso de las cuentas asociadas con los cabezas rapadas antirracistas: aunque Facebook ofreció disculpas, la compañía aún no ha explicado cómo se originó el error. Como admitió Douek, desconocemos si esta acción se relacionó con la eliminación de cuentas reciente, si fue una respuesta ante una emergencia o se trató simplemente de una parte del mantenimiento rutinario. Hasta donde sabemos, los moderadores de contenido humanos podrían haber confundido la relación entre diferentes subculturas.
Es imperativo contar con un sistema más eficiente para entender y abordar este tipo de errores. “Por el momento, estas plataformas simplemente no tienen suficientes procesos para la detección y corrección de errores”, concluyó Douek. Si vamos a terminar por aceptar que, en un mundo pospandémico, se cometerán muchos errores –que tendrán serias implicaciones para la libertad de expresión–, entonces por lo menos necesitamos orientar el debate hacia la forma en que deseamos que estas plataformas los aborden.
Este artículo es publicado gracias a una colaboración de Letras Libres con Future Tense, un proyecto de Slate, New America, y Arizona State University.
es una escritora radicada en Washington.
