En febrero, Meta publicó su gran modelo de lenguaje: LLaMA. A diferencia de OpenAI y su ChatGPT, Meta no se limitó a dar al mundo un chat para “jugar”. En lugar de eso, puso su código a disposición de la comunidad de código abierto, y poco después el propio modelo fue publicado. Inmediatamente, investigadores y programadores comenzaron a modificarlo, mejorarlo y hacerlo ejecutar cosas que nadie había anticipado. Sus resultados han sido inmediatos, innovadores y un indicio de cómo va a ser el futuro desarrollo de esta tecnología. La velocidad de entrenamiento ha aumentado enormemente y el tamaño de los propios modelos se ha reducido hasta el punto de que se pueden crear y ejecutar en una laptop. El mundo de la investigación de I.A. ha cambiado radicalmente.
Este acontecimiento no ha atraído la misma atención que otros anuncios corporativos, pero sus efectos van a ser mucho más grandes. Le quitará poder a las grandes corporaciones de tecnología, resultando en mucha más innovación y también en un marco normativo mucho más desafiante. Las grandes empresas que controlaban estos modelos advierten que esta batalla campal dará lugar a desarrollos potencialmente peligrosos, e incluso ya se han documentado usos problemáticos de la tecnología abierta. Sin embargo, los que trabajan en los modelos de lenguaje abiertos sostienen que un entorno de investigación más democrático es mejor que tener esta poderosa tecnología controlada por un pequeño número de empresas.
Este cambio en el balance de poder viene de la simplificación. Los grandes modelos de lenguaje –LLM, por sus siglas en inglés– desarrollados por OpenAI y Google se basan en conjuntos de datos masivos, medidos en decenas de miles de millones de bytes, computados por decenas de miles de potentes procesadores especializados que producen modelos de lenguaje con miles de millones de parámetros. La creencia generalizada es que se necesitan más datos, un mayor procesamiento y más parámetros para crear un mejor modelo. Producir un modelo así requiere los recursos de una empresa con el capital y el poder de cómputo de Google, Microsoft o Meta.
Sin embargo, a partir modelos públicos como LLaMA de Meta, la comunidad de código abierto ha innovado de tal forma que permite obtener resultados casi tan buenos como los de los grandes modelos de lenguaje, pero ejecutados en computadoras personales, con conjuntos de datos comunes. Lo que alguna vez estuvo reservado a los ricos en recursos se ha convertido en el patio de juegos para cualquiera con curiosidad, habilidades de programación y una buena laptop. Más grande puede ser mejor, pero la comunidad de código abierto está demostrando que más pequeño puede ser lo bastante bueno. Esto abre la puerta a LLM más eficientes, accesibles y con menos recursos.
Lo que es más importante es que estos LLM más pequeños y rápidos son mucho más accesibles y es más fácil experimentar con ellos. En lugar de necesitar decenas de miles de máquinas y millones de dólares para entrenar a un nuevo modelo, ahora se puede personalizar un modelo existente en una laptop de precio promedio y en tan solo unas horas. Esto fomenta una innovación acelerada.
También quita el control a grandes empresas como Google y OpenAI. Al facilitar el acceso al código base y fomentar la colaboración, las iniciativas de código abierto dan a diversos rangos de desarrolladores, investigadores y organizaciones el poder de moldear la tecnología. Esta diversificación del control permite ayudar a evitar influencias no deseadas y asegura que el desarrollo y el lanzamiento de las tecnologías de I.A. se alineen a un conjunto más amplio de valores y prioridades. Gran parte del internet moderno fue construido sobre tecnologías de código abierto del repertorio LAMP (Linux, Apache, MySQL y PHP/PERL/Pyhthon), un conjunto de aplicaciones usualmente utilizadas en el desarrollo web. Esto permitió construir fácilmente sitios web sofisticados, todo ello con herramientas de código abierto creadas por entusiastas y no por empresas con ganas de lucrar. El propio Facebook se creó originalmente con un PHP de código abierto.
Pero el hecho de ser de código abierto también significa que no hay nadie a quien responsabilizar por el mal uso de la tecnología. Cuando vulnerabilidades que son críticas para el funcionamiento del internet son descubiertas en oscuros espacios de la tecnología de código abierto, a menudo no hay ninguna entidad responsable de corregir el fallo. Las comunidades de código abierto se extienden por países y culturas, haciendo difícil que se respete las leyes de cualquier país. Y el hecho de que la tecnología sea de código abierto significa que aquellos que deseen utilizarla con fines malignos o ilegales tienen el mismo acceso a la tecnología que cualquier otra persona.
A su vez, esto tiene importantes implicaciones para quienes pretenden regular esta nueva y poderosa tecnología. Ahora que la comunidad de código abierto está remezclando los LLM, ya no es posible regular la tecnología dictando qué investigaciones y desarrollo se puede hacer; hay demasiados investigadores haciendo demasiadas cosas diferentes en demasiados países diferentes. El único mecanismo de gobernanza de que actualmente disponen los gobiernos es regular el uso (y silo para quienes prestan atención a la ley) u ofrecer incentivos a quienes son ahora los promotores de la innovación en este campo (incluidas startups, individuos y pequeñas empresas). Los incentivos para estas comunidades podrían tomar la forma de recompensas por la producción de usos particulares de la tecnología, o hackatones para desarrollar aplicaciones especialmente útiles. Las amenazas son difíciles de cumplir, en su lugar necesitamos estímulos atractivos.
Es importante recordar que la comunidad de código abierto no siempre está motivada por las ganancias. Los miembros de esta comunidad están usualmente movidos por la curiosidad, el impulso de experimentar o el simple deseo de construir. Aunque hay empresas que se benefician del software producido por proyectos de código abierto como Linux, Pyhton o el servidor web Apache, realmente esas comunidades no tienen fines lucrativos.
Hay muchos modelos de lenguaje de código abierto de dónde escoger. Alpaca, Cerebras-GPT, Dolly, HuggingChats y StableLM han sido lanzadas en los últimos meses. La mayoría están basados en LLaMA, pero algunos tienen otros pedigríes. Hay más en camino.
Los grandes monopolios tecnológicos que han estado desarrollando y comercializando LLM –Google, Microsoft y Meta– no están listos para esto. Hace algunas semanas, un empleado de Google filtró un memorándum en el que un ingeniero intentaba explicarle a sus superiores lo que un LLM de código abierto significaba para sus propiedades tecnológicas. El memorándum concluía que la comunidad de código abierto se ha adelantado a las grandes corporaciones y les lleva una ventaja aplastante.
Esta no es la primera vez que las empresas ignoraron el poder de la comunidad de código abierto. Sun nunca entendió Linux. Netscape nunca entendió el servidor web Apache. El código abierto no es muy bueno en innovaciones originales, pero una vez que una innovación se ve y se recoge, la comunidad puede ser una cosa bastante abrumadora. Las grandes empresas pueden responder intentando replegarse y retirando sus modelos de lenguaje de la comunidad de código abierto.
Sin embargo, ya es demasiado tarde, hemos entrado en una era de democratización de los LLM. Al demostrar que los modelos más pequeños pueden ser altamente eficaces, permitir una fácil experimentación, diversificar el control y ofrecer incentivos sin ánimo de lucro, las iniciativas de código abierto nos están encaminando a un panorama más dinámico e inclusivo de la I.A. Esto no significa que algunos de estos modelos de lenguaje no vayan a tener sesgos o errores, o ser utilizados para generar desinformación o abusos. Pero sí significa que controlar esta tecnología va a requerir un enfoque completamente diferente al de regular a los grandes actores. ~
Este artículo es publicado gracias a una colaboración de Letras Libres con Future Tense, un proyecto de Slate, New America, y Arizona State University.
es especialista en tecnología de la seguridad. Su libro más reciente es A hacker’s mind: How the powerful bend society’s rules, and how to bend them back.
es profesor de ciencias y políticas de la computación en la Universidad de Harvard. Antes fue un ingeniero distinguido en Sun Microsystems.
