Buscar, no calcular: cómo Engram está reescribiendo la arquitectura de las IA
Imaginad que le pedís a un modelo lingüístico avanzadísimo que complete la frase "Estados Unidos de". No hace falta ser un genio para entender que la respuesta es "América", y sin embargo entre bastidores ocurre algo paradójico: el modelo activa miles de millones de parámetros, ejecuta decenas de capas de cálculo, consume energía eléctrica real, para llegar a un resultado que cualquiera que haya leído un periódico se sabe de memoria. Es como pedirle a un profesor de matemáticas que aprenda desde cero el teorema de Pitágoras cada vez que lo necesita, en lugar de aplicarlo como lo recuerda de la escuela secundaria. La paradoja de la inteligencia artificial moderna está toda aquí: excelente 'razonando' sobre problemas nuevos, sorprendentemente ineficiente recuperando hechos que ya ha visto miles de veces durante el entrenamiento.
En los últimos años la industria ha respondido a este problema con los modelos Mixture-of-Experts, los llamados MoE, que permiten aumentar la capacidad de un modelo activando solo una parte de sus parámetros para cada token, un poco como tener en la empresa a cien consultores especializados pero convocar solo a tres o cuatro para cada reunión. Es una excelente solución para gestionar la potencia de cálculo, pero no resuelve el problema de fondo: incluso un modelo MoE, cuando tiene que completar "Estados Unidos de", sigue 'pensando' la respuesta en lugar de 'recordarla'. Y es exactamente aquí donde se encuadra la propuesta de DeepSeek, publicada en enero de 2026 y actualizada en julio del mismo año por un equipo liderado por Xin Cheng junto a colegas de DeepSeek-AI y de la Peking University: un nuevo eje de especialización, la memoria condicional, que acompaña al cálculo condicional de los MoE en lugar de sustituirlo.
Engram, la memoria que no se calcula pero se busca
El módulo se llama Engram, un nombre que evoca intencionadamente la huella biológica de la memoria teorizada por los neurocientíficos hace un siglo, la idea de que un recuerdo deja una impronta física rastreable en el cerebro. En el paper, los autores lo describen como un módulo que moderniza las clásicas técnicas N-gram transformándolas en un sistema de búsqueda a tiempo constante, lo que en informática se denomina O(1): el tiempo para recuperar una información sigue siendo el mismo independientemente de lo grande que sea la tabla en la que se busca.
¿Cómo funciona en la práctica, sin necesidad de fórmulas? El modelo mira el token actual y un puñado de los inmediatamente anteriores, los combina a través de una función de hashing que genera un índice único, y utiliza ese índice para pescar directamente de una enorme tabla precompilada durante el entrenamiento. Ya no está resolviendo una ecuación; está consultando un índice analógico, un poco como cuando en una biblioteca antigua no os ponéis a revisar todas las estanterías sino que vais rectos al fichero que indica la estantería correcta. La diferencia respecto a un diccionario de papel es que aquí el "índice" no lo consulta un bibliotecario paciente, sino un algoritmo que lo hace en un tiempo predecible y constantemente bajo, sea cual sea el volumen de datos archivados.
Las cifras hablan por sí solas. Comparando un modelo Engram-27B con un modelo MoE puro a igualdad de parámetros y de cálculo (lo que los investigadores llaman una comparación iso-parámetro e iso-FLOPs), Engram obtiene una mejora de 3,4 puntos en MMLU, 5,0 puntos en BBH y 3,0 puntos en HumanEval, además de ganancias en CMMLU, MATH, GSM8K y DROP. El dato más interesante, según el paper, no es siquiera la recuperación de conocimiento en sí, sino el hecho de que las mejoras más marcadas se observan en el razonamiento general y en las tareas de código y matemáticas: liberar a la red del peso de tener que reconstruir hechos estáticos parece dejarle más "espacio mental" para razonar sobre problemas complejos, un poco como un estudiante que no tiene que calcular cada vez una multiplicación sencilla sino que recurre a las tablas de multiplicar memorizadas y puede concentrarse finalmente en los problemas de geometría.
La ley en U: cuánta memoria, cuánto cálculo
El descubrimiento más sutil del paper, sin embargo, se refiere a un problema que a primera vista parece puramente contable: dado un presupuesto fijo de parámetros, ¿cuántos destinarlos a Engram y cuántos al MoE tradicional? Los investigadores formularon lo que llaman el problema de la Sparsity Allocation, probando distintas combinaciones en modelos que van desde unos pocos miles de millones hasta los 27 mil millones de parámetros.
El resultado es una curva en forma de U. Utilizar solo MoE, sin ninguna memoria dedicada, produce un rendimiento por debajo de la media. Pero también el extremo opuesto, un modelo casi enteramente basado en lookups de memoria y escaso en capacidad de cálculo, funciona peor. El punto óptimo se encuentra en medio, y según los experimentos descritos en el repositorio oficial del proyecto ronda el 20-25% de los parámetros dispersos dedicados a Engram, con el 75-80% restante destinado al MoE. Lo que hace que este descubrimiento sea particularmente útil es su estabilidad: la proporción óptima sigue siendo casi idéntica tanto si se entrena un modelo de 5 mil millones de parámetros como uno de 27 mil millones, ofreciendo a los ingenieros una verdadera receta de diseño en lugar de una intuición que verificar caso por caso.
No es un detalle para iniciados: es una brújula. Y hay quienes ya la han seguido al pie de la letra.
Qwen3.8-Flash-Next: cuando la teoría se convierte en un modelo descargable
Lo que distingue a esta historia de tantas otras propuestas académicas que se quedan en el papel es el hecho de que, al cabo de pocos meses, alguien la ha construido efectivamente a escala industrial. El 26 de agosto de 2026 el equipo Qwen de Alibaba lanzó Qwen3.8-Flash-Next, presentado oficialmente como un anticipo experimental de la arquitectura que estará en la base de Qwen4, tanto es así que en los archivos de configuración del modelo la arquitectura está etiquetada internamente como "qwen4_exp".
Las cifras marean solo con leerlas: un modelo MoE multimodal de 125 mil millones de parámetros totales, de los cuales solo 6 mil millones se activan para cada token, con una ventana de contexto nativa de 262.144 tokens ampliable hasta un millón. La parte más sorprendente, sin embargo, es la que más nos interesa aquí: junto a los 125 mil millones de parámetros principales, Qwen ha añadido una tabla adicional de embedding N-gram de 51 mil millones de parámetros, aplicando casi al pie de la letra la receta de la ley en U descrita por DeepSeek. Una aclaración terminológica: Engram es el nombre que DeepSeek dio a su propio módulo en el paper original, mientras que Qwen, aun inspirándose en esa idea, llama a su implementación simplemente "N-gram Embedding". Por este motivo, en el resto del artículo "Engram" indica el módulo descrito por DeepSeek, y "N-gram" la tabla integrada en Qwen3.8-Flash-Next. Al total se suma también un pequeño módulo de 4 mil millones de parámetros dedicado a la decodificación especulativa, la técnica que permite al modelo "adivinar" varios tokens por adelantado para acelerar la generación, una pieza menos vistosa que los 51 mil millones de la tabla N-gram pero que en la práctica pesa bastante en el rendimiento final.
¿Y si una GPU de consumo pudiera hacer funcionar un modelo que, sobre el papel, requeriría un centro de datos? Es exactamente lo que promete esta arquitectura. La tabla N-gram de 51 mil millones de parámetros no tiene por qué residir necesariamente en la GPU: puede quedarse en la RAM del sistema, o incluso en un disco NVMe, y cargarse solo cuando sea necesario gracias a un mecanismo de prefetch asíncrono. Es como tener un almacén enorme a las afueras en lugar de en la tienda del centro, con un sistema de entregas tan eficiente que parece de todos modos al alcance de la mano. No es teoría: las pull requests ya integradas en SGLang y las recetas oficiales de vLLM demuestran que el offload en NVMe ya está soportado por los frameworks de inferencia más extendidos, no siendo un experimento de laboratorio.
En el frente de la compresión, la comunidad de código abierto se ha movido rapidísimamente: la tabla N-gram, que en formato BF16 ocupa unos 95 gigabytes, se puede cuantizar hasta los 28,8 gigabytes en formato NVFP4 o 32 gigabytes en INT4, haciendo posible el offload incluso en sistemas con apenas 64 gigabytes de RAM disponible, como documentan diversos checkpoints cuantizados publicados en Hugging Face. Traducido a moneda corriente: lo que sobre el papel parece un modelo de centro de cálculo puede, con las adaptaciones adecuadas, funcionar en un PC potente de entusiasta, no en un servidor de cien mil euros.
La velocidad de la búsqueda frente a la lentitud del cálculo
Aquí entra en juego el segundo ingrediente de la arquitectura, la Qwen Sparse Attention, que aborda un problema complementario: cómo gestionar contextos larguísimos sin hacer explotar los tiempos de cálculo. La idea consiste en agrupar el contexto en microbloques en lugar de analizar cada token individualmente, un enfoque que según los benchmarks oficiales de Alibaba acelera la atención hasta 7,6 veces en fase de prefill y 4,9 veces en fase de decodificación en contextos de un millón de tokens, aunque vale la pena señalar que fuentes diversas, como los cookbooks de SGLang y las recetas de vLLM, reflejan cifras ligeramente distintas (hasta 10,2x y 6,6x), confirmando que estas cifras deben leerse siempre como declaradas por el fabricante hasta que lleguen mediciones independientes.
La arquitectura global alterna, cada cuatro capas, tres pasadas de Gated DeltaNet —una técnica que comprime el historial del contexto en un estado de dimensión fija— con una pasada de atención dispersa para el rescate preciso en todo el contexto, sumando un total de 48 capas organizadas en bloques de 12. Para completar el cuadro está el Gated Residual, un mecanismo que abre cuatro "carriles" paralelos en el flujo residual de la red en lugar de uno solo, reduciendo los cuellos de botella durante el entrenamiento un poco como una autopista de varios carriles evita los atascos frente a una carretera comarcal de doble sentido.
¿El resultado práctico de toda esta ingeniería? Según lo recogido por el blog técnico de NVIDIA, en hardware DGX el modelo alcanza rendimientos superiores a los 16.000 tokens por segundo por GPU en escenarios agénticos de alta concurrencia, mientras que las versiones cuantizadas puestas a disposición por la comunidad permiten a Qwen3.8-Flash-Next funcionar con offload en sistemas con una sola GPU de consumo, como una RTX 4090 de 24 gigabytes de memoria de vídeo, siempre que vaya acompañada de un centenar de gigabytes de RAM de sistema para albergar la tabla N-gram. No hace falta un superordenador para mirar de cerca esta tecnología; basta un buen PC para videojuegos y un poco de paciencia en la configuración.
Por qué conviene esperar más de modelos "más pequeños"
La comparación que más llama la atención, según lo declarado por el equipo Qwen en GitHub, es con su predecesor Qwen3.7-Plus, un modelo de 397 mil millones de parámetros: Qwen3.8-Flash-Next alcanza prestaciones comparables o superiores aun habiendo sido entrenado con cerca de una novena parte del gasto computacional, con mejoras particularmente marcadas precisamente en las tareas de programación y en los escenarios de productividad de oficina. Es una señal que merece ser tomada en serio: durante años la industria ha perseguido la lógica del "cuanto más grande mejor", acumulando parámetros como si fueran la única palanca disponible para mejorar un modelo. Esta historia sugiere que la eficiencia arquitectónica puede competir, y a veces ganar, a la pura fuerza bruta de la escala.
No todo, sin embargo, es color de rosa. Vale la pena preguntarse: ¿quién gana realmente y quién corre el riesgo de perder? Las empresas que hoy venden capacidad de cálculo a escala, los grandes proveedores cloud acostumbrados a facturar en función de los gigavatios-hora consumidos por las sesiones de entrenamiento, ven en arquitecturas como esta una amenaza directa a su modelo de negocio, porque un entrenamiento nueve veces más barato significa también nueve veces menos margen en la venta de potencia de cálculo. Por el contrario, quienes desarrollan aplicaciones con presupuestos limitados, desde desarrolladores independientes hasta startups que hoy no pueden permitirse un clúster de GPU profesionales, ganan un acceso concreto a capacidades antes reservadas a unos pocos actores. Hay además un tema menos debatido pero relevante: las tablas de memoria de este tamaño, cincuenta y un mil millones de parámetros fijados por el entrenamiento, plantean interrogantes sobre su capacidad de actualización. Si un hecho cambia, ¿cómo se actualiza la memoria del modelo sin repetir todo el entrenamiento? Es una pregunta abierta que el paper de DeepSeek toca solo superficialmente, señalando la memoria dinámica actualizable en tiempo real como una de las direcciones de investigación futura más prometedoras.
El futuro de los agentes pasa por aquí
Hay una última pieza del puzle que convierte a esta arquitectura en algo más que un simple ejercicio académico: el auge de los agentes de IA, sistemas capaces de gestionar contextos larguísimos, invocar herramientas externas y llevar a cabo tareas complejas de forma autónoma. Para un agente que debe mantener el rastro de cientos de miles de tokens de conversación, documentación técnica y salidas de herramientas, disponer de una memoria rápida y de bajo coste computacional no es un lujo, es una necesidad estructural. No sorprende que Qwen enumere ya el soporte nativo con Claude Code, Codex y otros entornos de desarrollo agéntico entre los puntos fuertes del lanzamiento.
Quienes estéis familiarizados con la ciencia ficción más nicho reconoceréis en esta idea un eco lejano de lo narrado en Ghost in the Shell: Stand Alone Complex, donde la memoria no es un bloque monolítico sino un tejido distribuido que se actualiza y se consulta sin detener jamás el flujo del pensamiento consciente. Y quienes en cambio sepáis de desarrollo de software podríais pensar en un patrón mucho más terrenal pero igualmente central: la caché. Engram, en el fondo, es conceptualmente una gigantesca caché de conocimiento lingüístico, construida no para ser invalidada en tiempo de ejecución, sino para ser consultada a un coste (casi) cero.
Que DeepSeek y Qwen hayan optado por compartir abiertamente tanto la investigación teórica como los pesos del modelo, en lugar de mantenerla cerrada dentro de un producto propietario, acelera inevitablemente la adopción de estas técnicas por parte de toda la comunidad de código abierto, desde pequeños laboratorios universitarios hasta desarrolladores indie que hoy pueden descargar, estudiar y modificar directamente el código en GitHub. Queda por ver si este camino, el de la memoria que no calcula sino que busca, se convertirá en el estándar para la próxima generación de modelos o si seguirá siendo una de tantas intuiciones brillantes destinadas a ser superadas por la siguiente idea. Por ahora, sin embargo, la promesa es concreta y verificable: una inteligencia artificial que deja de reinventar la rueda cada vez que se le pide "Estados Unidos de", y finalmente tiene espacio para 'pensar' en algo más interesante.