PolifonIA.org | Carlos Macías. El pasado mes de septiembre, la Iniciativa Suiza de IA presentó Apertus, el mayor modelo abierto de LLM hasta la fecha.
Apertus es desarrollado por un consorcio académico, financiado con fondos públicos.
El anuncio no es asunto menor. Muestra que se abre paso la alternativa abierta, pública y académica, en los modelos lingúisticos extendidos (LLMs).
Apertus fue “creado con los valores suizos”: transparencia, capacidades multilingües y servicio público.
La organización llamada Public AI Inference Utility estima que Apertus muestra un “excelente rendimiento en diversas evaluaciones de conocimiento, culturales y de seguimiento de instrucciones”.
“Actualmente -refiere dicha Iniciativa suiza-, es uno de los LLMs multilingües más potentes jamás lanzados por una institución pública y está disponible para todos a través de la Utilidad de Inferencia de IA Pública.
¿Cómo definir Apertus?
Apertus se puede definir como una herramienta de inteligencia artificial desarrollada por el Public AI Inference Utility.
Su entrenamiento se realizó con la supercomputadora llamada Alps (ver imagen de abajo), que tiene 4096 unidades de procesamiento gráfico (GPUs), de NVIDIA.
El periodo de entrenamiento duró tres meses, para lo cual procesó 15 trillones de tokens de texto multilingüe. En el procesamiento del lenguaje natural, los tokens se definen como unidades básicas de texto, son en realidad fragmentos de texto (palabras o incluso caracteres individuales).
Apertus es, por ello, un modelo de lenguaje multilingüe, que tiene la capacidad de realizar tareas complejas como generar texto, analizar contextos y sentimientos, traducir, razonar y comprender el lenguaje natural.
Posee técnicas avanzadas de aprendizaje automático y procesamiento de lenguaje natural. Su entrenamiento incluyó varios idiomas, entre ellos alemán, francés, italiano, romance y dialectos suizos.
¿En que consiste la Iniciativa Suiza de AI?
La Iniciativa Suiza de IA y Apertus son un esfuerzo tecnológico tripartita. Sus tres participantes se encuentran entre las más instituciones europeas de mayor relevancia.
EPFL se precia como una de las más vibrantes y cosmopolitas institituciones de ciencia y tecnología de Europa; y ETH Zúrich (un Politécnico que nació en 1855), hoy posee una reconocida proyección europea.
El tercer participante es el Centro Nacional de Supercomputación de Suiza (CSCS), que fue fundado en 1991, y es operado por el propio ETH Zúrich.
El CSCS es uno de los Centros de Supercomputación preferidos para la investigación de primer nivel por su laboratorio disponible para académicos nacionales e internacionales, así como para usuarios de la industria y de sectores empresariales.
La semilla de Apertus
Acerca de los modelos abiertos de lenguaje (LLMs) habría que colocar la iniciativa de Apertus como parte de la semilla que en 2021 sembró el grupo EleutherAI, al crear GPT-J.
El objetivo de EleutherAI es y ha sido democratizar los modelos de lenguaje masivos.
Su modelo GTP-J, con seis millones de parámetros, apareció en simultáneo con la versión de GTP3, de OpenAI, que contaba con 175 mil millones. En otro post abordaremos el interesante caso de EleutherAI.
Los GPT de OpenAI
No ha pasado mucho tiempo desde que OpenAI lanzó el modelo lingüístico GTP1, en 2018. Pero parece una eternidad. GPT1 tenía entonces 117 millones de parámetros.
Como se sabe, OpenAI fue fundada inicialmente en 2015 por Sam Altman, Greg Brockman, Elon Musk, Jessica Livingston y Peter Thiel. Algunos de ellos, como Elon Musk salió del proyecto poco después.
Vino más tarde GTP2 ( noviembre de 2019), con 125 mil millones de parámetros, y el GPT3 (mayo de 2020), contó con 175 mil millones de parámetros.
GPT fue entrenado con más de 45 terabytes de datos que incluyeron materiales de la web, de common crawl, infinidad de libros y de wikipedia.
Desde entonces, empezaron a ser publicadas versiones intermedias de GPT. No conocemos con exactitud el avance posterior en los parámetros, pero se estima que las versiones posteriores ya incluyen billones de ellos.
La serie GPT-3.5, por ejemplo, impulsó la modalidad ChatGPT y fue cuando capturó la atención general. Durante esa ola, en enero de 2023, publicamos una exposición con el resumen de las novedades de ChatGPT.
La más reciente versión, la GPT5.1 fue publicada en noviembre de 2015.
¿Qué te parece la llegada de los LLMs con código abierto?
Imagen de la portada: Apertus: EPFL, ETH Zurich, y Swiss National Supercomputing Centre (CSCS).
Fuente: Bosselut, Antoine, Martin Jaggi e Imanol Schlag (Coords.), Proyect Apertus. Democratizing Open and Compliant LLMs for Global Language Environments. Apertus V1 Technical Report. 2025.
