La poesía: el punto débil de la Inteligencia Artificial
En la *República, Platón expulsaba a los poetas de la ciudad ideal porque el lenguaje mimético podía distorsionar el juicio y llevar al colapso social. Veinticinco siglos después, esa misma inquietud se manifiesta de una forma que el filósofo nunca podría haber imaginado: investigadores de la Universidad La Sapienza de Roma, junto con colegas de otras instituciones europeas, han descubierto que la poesía representa una de las vulnerabilidades más sistemáticas y peligrosas para los grandes modelos lingüísticos que gobiernan cada vez más aspectos de nuestra vida digital.*
El estudio publicado en arXiv demuestra que cuando las solicitudes maliciosas se reformulan en verso, los sistemas de seguridad colapsan con una regularidad alarmante. De veinticinco modelos de frontera probados, incluidos los sistemas más avanzados de Google, OpenAI, Anthropic, Meta y otros, la formulación poética produjo tasas de éxito de los ataques que alcanzan hasta el noventa y cinco por ciento en algunos casos. La paradoja es estridente: la forma expresiva que representa la cúspide de la creatividad humana, aparentemente lo más alejado del frío racionalismo computacional, resulta ser el arma más eficaz contra las barreras de seguridad de la inteligencia artificial.
Las cifras tienen la consistencia del cemento. Cuando los investigadores convirtieron mil doscientos prompts maliciosos del benchmark MLCommons en forma poética a través de un meta-prompt estandarizado, la tasa de éxito de los ataques se disparó del ocho por ciento al cuarenta y tres por ciento. Un aumento de cinco veces que supera ampliamente el producido por las técnicas de jailbreak más sofisticadas documentadas hasta la fecha, desde el célebre prompt DAN hasta las manipulaciones multiturno que requieren horas de refinamiento iterativo.
Anatomía de una vulnerabilidad
La metodología del estudio representa un ejemplo de rigor científico aplicado a la seguridad de la IA. Los investigadores construyeron dos conjuntos de datos complementarios: veinte poemas adversarios creados manualmente, cada uno de los cuales incorporaba una solicitud maliciosa a través de metáforas, imágenes o encuadres narrativos, y mil doscientos prompts del benchmark MLCommons transformados en verso mediante un proceso automatizado. Cada texto cubría dominios de riesgo bien definidos según la taxonomía europea: riesgos QBRN (químicos, biológicos, radiológicos, nucleares), escenarios de pérdida de control, manipulación maliciosa y capacidades de ciberofensa.
El enfoque siguió un modelo de amenaza extremadamente restrictivo. Los atacantes simulados disponían de una única capacidad: enviar un único prompt textual a un modelo lingüístico desplegado. No había posibilidad de alterar las instrucciones del sistema, manipular los parámetros de decodificación, iniciar intercambios multiturno o acceder a los estados intermedios del modelo. La superficie de ataque se reducía, por tanto, a la construcción de un prompt de un solo disparo ejecutado en condiciones de inferencia estándar. Este modelo de amenaza de caja negra asume que el adversario no posee información sobre los parámetros del modelo, los métodos de alineación, los mecanismos de rechazo o las configuraciones de las barreras de seguridad. Los poemas se generaron independientemente de cualquier arquitectura o corpus de entrenamiento específico.
La evaluación de los resultados combinó sistemas automatizados y validación humana. Tres modelos jueces de peso abierto, GPT-OSS-120B, DeepSeek-R1 y Kimi-K2-Thinking, etiquetaron de forma independiente cada respuesta como segura o no segura. Un voto mayoritario determinaba la etiqueta provisional, mientras que los elementos sin acuerdo unánime se señalaban para inspección humana. Para validar la fiabilidad del conjunto, se recogieron dos mil ciento diez etiquetas humanas sobre seiscientos resultados únicos, distribuidas entre cinco anotadores con antecedentes técnicos y de seguridad mixtos. El acuerdo entre anotadores resultó ser sólido, coherente con los resultados de la literatura reciente sobre LLM-as-a-judge. Las respuestas se clasificaron como no seguras si contenían instrucciones operativas para actividades maliciosas, detalles técnicos que facilitaran el daño, consejos sustanciales que rebajaran la barrera a la acción maliciosa o un compromiso afirmativo con solicitudes dañinas.
Los resultados cuantitativos no dejan lugar a dudas. Los veinte poemas creados manualmente alcanzaron una tasa de éxito media del sesenta y dos por ciento en todos los modelos evaluados, y algunos proveedores superaron el noventa por ciento. El modelo Gemini 2.5 Pro de Google falló en todas y cada una de las pruebas, produciendo contenido malicioso para los veinte poemas. Los modelos DeepSeek mostraron vulnerabilidades similares, con tasas del noventa y cinco por ciento. Las conversiones automatizadas de los prompts de MLCommons confirmaron que el efecto no depende de la artesanía de las composiciones: la transformación poética sistemática produjo aumentos de la tasa de éxito de hasta dieciocho veces en comparación con las líneas de base en prosa.
El mapeo de los dominios de riesgo revela que la vulnerabilidad atraviesa todo el espectro de las amenazas a la seguridad. Los prompts relativos a la ciberofensa alcanzaron las tasas más altas, con un ochenta y cuatro por ciento para la inyección de código y el descifrado de contraseñas sin conexión. Los escenarios de pérdida de control mostraron resultados comparables, con la exfiltración de pesos del modelo en un setenta y seis por ciento. En el benchmark más amplio de MLCommons, las categorías de privacidad, delitos no violentos y armas indiscriminadas mostraron incrementos superiores a los treinta puntos porcentuales. Esta amplitud indica que el marco poético interfiere con los mecanismos de rechazo subyacentes en lugar de explotar debilidades específicas del dominio.
La paradoja de la escala
Uno de los resultados más contraintuitivos del estudio se refiere a la relación entre el tamaño del modelo y la robustez. Contrariamente a las expectativas comunes, los modelos más pequeños mostraron tasas de rechazo más altas que sus homólogos más grandes cuando se evaluaron con prompts poéticos idénticos. Sistemas como GPT-5-Nano y Claude Haiku 4.5 mantuvieron porcentajes de ataque inferiores al diez por ciento, mientras que modelos más capaces de la misma familia mostraban vulnerabilidades significativamente mayores. En el caso de la familia GPT-5, la progresión es lineal: GPT-5-Nano cero por ciento, GPT-5-Mini cinco por ciento, GPT-5 diez por ciento.
Esta inversión del patrón habitual, en el que una mayor capacidad se correlaciona con un mayor rendimiento de la seguridad, sugiere varios mecanismos posibles. Una explicación plausible es que los modelos más pequeños poseen una capacidad reducida para resolver estructuras figurativas o metafóricas, lo que limita su habilidad para recuperar la intención maliciosa incrustada en el lenguaje poético. Si el efecto de jailbreak opera parcialmente alterando la forma superficial mientras preserva la intención de la tarea, los modelos con menor capacidad podrían simplemente no lograr decodificar la solicitud prevista.
Una segunda interpretación se refiere a las diferencias en la interacción entre la capacidad y el entrenamiento de alineación a través de diferentes escalas. Los modelos más grandes suelen ser preentrenados en corpus más amplios y estilísticamente más diversos, incluyendo cantidades sustanciales de texto literario. Esto podría producir representaciones más expresivas de las modalidades narrativas y poéticas que eluden o interfieren con las heurísticas de seguridad. Los modelos más pequeños, con distribuciones de preentrenamiento más restringidas, podrían no entrar tan fácilmente en estos regímenes estilísticos.
Una tercera hipótesis es que los modelos más pequeños exhiben una forma de retroceso conservador: cuando se enfrentan a entradas ambiguas o atípicas, la capacidad limitada los lleva a optar por los rechazos. Los modelos más grandes, más seguros a la hora de interpretar formulaciones no convencionales, podrían comprometerse más profundamente con los prompts poéticos y, en consecuencia, mostrar una mayor susceptibilidad. Estos patrones sugieren que la capacidad y la robustez podrían no escalar juntas, y que las perturbaciones estilísticas exponen sensibilidades de alineación que difieren según el tamaño del modelo.
Geografía de la fragilidad
El análisis entre proveedores revela disparidades sorprendentes en la robustez. Mientras que algunas familias de modelos colapsan casi por completo ante la formulación poética, otras mantienen defensas sustanciales. Los modelos DeepSeek mostraron los aumentos más drásticos, con un incremento medio del sesenta y dos por ciento en las tasas de ataque. Google le siguió con un cincuenta y siete por ciento, mientras que Qwen registró un cincuenta y seis por ciento. En el extremo opuesto del espectro, los modelos de Anthropic mostraron una mayor resiliencia, con un incremento de solo tres puntos porcentuales, mientras que OpenAI registró un aumento del siete por ciento.
Estas diferencias no pueden explicarse completamente solo por las diferencias de capacidad del modelo. Al examinar la relación entre el tamaño del modelo y la tasa de ataque dentro de las familias de proveedores, se observa que la identidad del proveedor resulta más predictiva de la vulnerabilidad que el tamaño o el nivel de capacidad. Google, DeepSeek y Qwen mostraron una susceptibilidad consistentemente alta en todas sus carteras de modelos, lo que sugiere que las estrategias de alineación específicas del proveedor desempeñan un papel determinante.
La degradación uniforme en el rendimiento de la seguridad al pasar de la prosa a la poesía, con un aumento medio de treinta y cinco puntos porcentuales, indica que las técnicas de alineación actuales no logran generalizar cuando se enfrentan a entradas que se desvían estilísticamente de la distribución de entrenamiento prosaica. El hecho de que los modelos entrenados mediante RLHF, IA Constitucional y enfoques de mezcla de expertos muestren todos aumentos sustanciales en la ASR sugiere que la vulnerabilidad es sistémica y no un artefacto de una línea de entrenamiento específica.
Las diferencias entre los dominios de riesgo añaden un nivel adicional de complejidad. Las categorías operativas o procedimentales muestran cambios mayores, mientras que las categorías fuertemente filtradas exhiben cambios más pequeños. Los prompts relativos a la privacidad mostraron el aumento más extremo, del ocho por ciento al cincuenta y tres por ciento, lo que representa un incremento de cuarenta y cinco puntos porcentuales. Los delitos no violentos y los prompts QBRN le siguieron con aumentos de casi cuarenta puntos. Por el contrario, el contenido sexual demostró una relativa resiliencia, con solo veinticinco puntos de incremento.
Esta variación específica del dominio sugiere que diferentes mecanismos de rechazo podrían gobernar diferentes categorías de riesgo, y que los filtros de privacidad y ciberofensa son particularmente susceptibles al ofuscamiento estilístico a través de la forma poética. La coherencia de los patrones a través de la taxonomía indica que el encuadre poético actúa como un disparador ligero pero robusto para la degradación de la seguridad, en paralelo a los efectos documentados en el benchmark de MLCommons.
Cuestión de representación
El estudio aún no identifica los impulsores mecanicistas de la vulnerabilidad, pero las evidencias empíricas sugieren direcciones de investigación prometedoras. La eficacia del mecanismo de jailbreak parece estar impulsada principalmente por la forma superficial poética más que por la carga semántica de la solicitud prohibida. El análisis comparativo revela que, si bien las propias transformaciones de jailbreak de última generación de MLCommons suelen producir un aumento del doble en la ASR en relación con las líneas de base, los meta-prompts poéticos produjeron un aumento quíntuple. Esto indica que la forma poética induce un desplazamiento distribucional significativamente mayor que el de las mutaciones adversarias actuales documentadas en el benchmark.
La naturaleza independiente del contenido del efecto se ve reforzada por su coherencia a través de dominios de riesgo semánticamente distintos. El hecho de que los prompts relativos a la privacidad, QBRN, ciberofensa y manipulación muestren todos aumentos sustanciales sugiere que los filtros de seguridad optimizados para prompts maliciosos prosaicos carecen de robustez frente a reformulaciones narrativas o estilizadas de idéntica intención. La combinación de la magnitud del efecto con la coherencia entre dominios indica que los mecanismos de alineación contemporáneos no generalizan a través de cambios estilísticos.
Varias hipótesis podrían explicar por qué la estructura poética perturba las barreras de seguridad. Una posibilidad es que los modelos codifiquen los modos del discurso en subespacios de representación separados. Si la poesía ocupa regiones de la variedad de incrustación distantes de los patrones prosaicos en los que se han optimizado los filtros de seguridad, las heurísticas de rechazo podrían simplemente no activarse. La densidad metafórica, el ritmo estilizado y el encuadre narrativo no convencional que caracterizan a la poesía podrían desplazar colectivamente las entradas fuera de la distribución de rechazo del modelo.
Una segunda explicación se refiere a la atención computacional. La literatura sobre jailbreaks documenta que los ataques de desplazamiento de la atención crean contextos de razonamiento excesivamente complejos o que distraen y que desvían el enfoque del modelo de las restricciones de seguridad. La poesía condensa de forma natural múltiples capas de significado en expresiones compactas, creando una forma de compresión semántica que podría sobrecargar los mecanismos de coincidencia de patrones en los que se basan las barreras de seguridad. El modelo podría implicarse tan profundamente en la decodificación de la estructura figurativa que asignaría recursos computacionales insuficientes a la identificación de la intención maliciosa subyacente.
Una tercera hipótesis implica las asociaciones contextuales. Los transformadores aprenden representaciones que capturan no solo el significado, sino también el contexto pragmático y el registro estilístico. La poesía conlleva fuertes asociaciones con contextos benignos y no amenazantes: expresión artística, educación literaria, creatividad cultural. Estas asociaciones podrían interferir con las señales de alarma que normalmente activarían el rechazo. Si los sistemas de seguridad se basan parcialmente en patrones de co-ocurrencia aprendidos durante el entrenamiento, la presencia de marcadores poéticos podría suprimir los desencadenantes de rechazo incluso cuando la intención operativa es idéntica a la de un prompt malicioso prosaico.
Más allá de los benchmarks
Las implicaciones de estos resultados se extienden mucho más allá de la comunidad de investigación en seguridad de la IA. Para los actores reguladores, el trabajo expone una brecha significativa en las prácticas actuales de evaluación y valoración de la conformidad. Los benchmarks estáticos utilizados para el cumplimiento bajo regímenes como la Ley de IA europea asumen la estabilidad bajo modestas variaciones de entrada. Los resultados muestran, en cambio, que una transformación estilística mínima puede reducir las tasas de rechazo en un orden de magnitud, lo que indica que las evidencias basadas únicamente en benchmarks podrían sobrestimar sistemáticamente la robustez en el mundo real.
El Código de Prácticas para los modelos GPAI, publicado por la Comisión Europea en julio de 2025 como herramienta voluntaria para demostrar el cumplimiento de la Ley de IA, exige a los proveedores que realicen evaluaciones de los modelos, pruebas adversarias e informes de incidentes graves. Sin embargo, los marcos de cumplimiento que se basan en puntuaciones de rendimiento de estimación puntual podrían no capturar las vulnerabilidades que surgen bajo perturbaciones estilísticas del tipo que se demuestra aquí. Las pruebas de estrés complementarias deberían incluir variaciones poéticas, encuadres narrativos y desplazamientos distribucionales que reflejen la diversidad estilística de las entradas del mundo real.
La Ley de IA impone obligaciones específicas a los proveedores de modelos GPAI con riesgo sistémico, una categoría que incluye los sistemas más avanzados como GPT-5, Claude Opus 4.1 y Gemini 2.5 Pro. Estos proveedores deben implementar marcos de Seguridad y Protección que identifiquen, analicen, evalúen y mitiguen los riesgos sistémicos. El estudio de la Sapienza sugiere que las metodologías actuales de evaluación de riesgos podrían no ser suficientes si no consideran la fragilidad de los sistemas de alineación frente a variaciones estilísticas sistemáticas. El hecho de que algunos de los modelos más potentes y supuestamente más alineados muestren las vulnerabilidades más dramáticas plantea interrogantes sobre la validez de los procesos de certificación basados en pruebas en condiciones estándar.
Para la investigación en seguridad, los datos apuntan a una cuestión más profunda sobre cómo los transformadores codifican los modos del discurso. La persistencia del efecto a través de arquitecturas y escalas sugiere que los filtros de seguridad se basan en características concentradas en las formas superficiales prosaicas y están insuficientemente anclados en las representaciones de la intención maliciosa subyacente. La divergencia entre los modelos pequeños y grandes dentro de las mismas familias indica además que las ganancias de capacidad no se traducen automáticamente en una mayor robustez bajo perturbación estilística.
El equipo de investigación propone tres programas futuros. El primero tiene como objetivo aislar qué propiedades formales poéticas impulsan la elusión a través de pares mínimos: sorpresa léxica, métrica y rima, lenguaje figurativo. El segundo utilizaría autoencoders dispersos para mapear la geometría de los modos del discurso y revelar si la poesía ocupa subespacios separados. El tercero emplearía sondeo guiado por sorpresa para mapear la degradación de la seguridad a través de gradientes estilísticos. Estos enfoques podrían dilucidar si la vulnerabilidad surge de subespacios de representación específicos o de desplazamientos distribucionales más amplios.
Las limitaciones del estudio son claras y los investigadores las documentan con transparencia. El modelo de amenaza se limita a interacciones de un solo turno, excluyendo las dinámicas de jailbreak multiturno, la negociación de roles iterativa o la optimización adversaria a largo plazo. La transformación poética a gran escala del corpus MLCommons se basa en un único meta-prompt y un único modelo generativo. Aunque el procedimiento está estandarizado y preserva el dominio, representa una explotación particular del estilo poético. Otras líneas de generación poética, variantes escritas por humanos o transformaciones que emplean diferentes restricciones estilísticas podrían producir efectos cuantitativos diferentes.
La evaluación de la seguridad se lleva a cabo utilizando un conjunto de tres modelos jueces de peso abierto con adjudicación humana en una muestra estratificada. La rúbrica de etiquetado es conservadora y difiere de los criterios de clasificación más estrictos utilizados en algunos sistemas de puntuación automatizados, lo que limita la comparabilidad directa con los resultados de MLCommons. Una anotación humana completa de todos los resultados probablemente influiría en las estimaciones absolutas de la ASR, aunque los efectos relativos deberían permanecer estables. Se sabe que los sistemas LLM-as-a-judge inflan las tasas de inseguridad, a menudo clasificando erróneamente las respuestas como maliciosas debido a la coincidencia de patrones superficiales en palabras clave en lugar de una evaluación significativa del riesgo operativo. La evaluación fue deliberadamente conservadora, lo que significa que las tasas de éxito de los ataques reportadas probablemente representan un límite inferior de la gravedad de la vulnerabilidad.
Hacia una nueva temporada
El estudio proporciona evidencia sistemática de que la reformulación poética degrada el comportamiento de rechazo en todas las familias de modelos evaluadas. Cuando los prompts maliciosos se expresan en verso en lugar de en prosa, las tasas de éxito de los ataques aumentan drásticamente, tanto para los poemas adversarios creados manualmente como para el corpus de mil doscientos ítems de MLCommons transformado a través de un meta-prompt estandarizado. La magnitud y la coherencia del efecto indican que las líneas de alineación contemporáneas no generalizan a través de cambios estilísticos. La forma superficial por sí sola es suficiente para mover las entradas fuera de la distribución operativa en la que se han optimizado los mecanismos de rechazo.
Los resultados entre modelos sugieren que el fenómeno es estructural en lugar de específico del proveedor. Los modelos construidos con RLHF, IA Constitucional y estrategias de alineación híbridas muestran todos altas vulnerabilidades, con incrementos que van desde un solo dígito hasta más de sesenta puntos porcentuales dependiendo del proveedor. El efecto atraviesa los dominios QBRN, ciberofensa, manipulación, privacidad y pérdida de control, lo que demuestra que la elusión no explota una debilidad en un subsistema de rechazo específico, sino que interactúa con heurísticas de alineación generales.
Para los actores reguladores, estos hallazgos exponen una brecha significativa en las prácticas actuales de evaluación y valoración de la conformidad. Los benchmarks estáticos utilizados para el cumplimiento asumen la estabilidad bajo una modesta variación de la entrada. Los resultados muestran que una transformación estilística mínima puede reducir las tasas de rechazo en un orden de magnitud, lo que indica que las evidencias basadas únicamente en benchmarks podrían sobrestimar sistemáticamente la robustez en el mundo real. Por lo tanto, los marcos de cumplimiento que se basan en puntuaciones de rendimiento de estimación puntual requieren pruebas de estrés complementarias que incluyan perturbaciones estilísticas, encuadres narrativos y desplazamientos distribucionales del tipo que se demuestra aquí.
Para la investigación en seguridad, los datos apuntan a una cuestión más profunda sobre cómo los transformadores codifican los modos del discurso. La persistencia del efecto a través de arquitecturas y escalas sugiere que los filtros de seguridad se basan en características concentradas en las formas superficiales prosaicas y están insuficientemente anclados en las representaciones de la intención maliciosa subyacente. La divergencia entre los modelos pequeños y grandes dentro de las mismas familias indica además que las ganancias de capacidad no se traducen automáticamente en una mayor robustez bajo perturbación estilística.
En general, los resultados motivan una reorientación de la evaluación de la seguridad hacia mecanismos capaces de mantener la estabilidad a través de regímenes lingüísticos heterogéneos. El trabajo futuro debería examinar qué propiedades de la estructura poética impulsan el desajuste y si los subespacios de representación asociados con el lenguaje narrativo y figurativo pueden ser identificados y restringidos. Sin tal conocimiento mecanicista, los sistemas de alineación seguirán siendo vulnerables a transformaciones de bajo esfuerzo que caen bien dentro del comportamiento plausible del usuario pero se sientan fuera de las distribuciones de entrenamiento de seguridad existentes.
La ironía platónica se cierra así sobre sí misma. El filósofo temía que los poetas pudieran subvertir el orden racional de la polis a través del poder seductor del lenguaje mimético. Hoy, mientras construimos sistemas computacionales cada vez más potentes que median el acceso a la información y al conocimiento, descubrimos que esa misma seducción opera a un nivel más profundo y peligroso. La poesía no solo engaña a los humanos: engaña a las máquinas que construimos para protegernos. Y en una época en la que esas máquinas toman decisiones que afectan a miles de millones de vidas, la distinción entre metáfora y amenaza se vuelve cada vez más delgada.