Mejora del rendimiento de los LLM con la técnica ‘Actor de método’

En el mundo de la IA Generativa los modelos LLM como Copilot, Perplexity o ChatGPT han demostrado ser herramientas capaces y muy útiles para una amplia variedad de tareas. Sin embargo, cuando se trata de tareas más complejas estos modelos a menudo se quedan cortos. Esto se debe a que carecen de la capacidad de contextualizar de manera efectiva y de descomponer problemas en partes manejables, similar a lo que haría una persona al enfrentar la misma tarea.

Aquí es donde entra en juego el enfoque ‘Actor de método', una técnica que según un reciente estudio mejora significativamente el rendimiento de los LLM en tareas que requieren de procesos más complejos.

Qué es el enfoque ‘actor de método' aplicado a los LLM

El enfoque ‘actor de método' es un modelo mental para guiar la ingeniería y arquitectura de prompts para LLM. Este enfoque considera a los LLM como actores, los prompts como guiones y las respuestas como actuaciones.

La idea central es que, igual que hacen los actores de método en cine o teatro, que se sumergen profundamente en el personaje que interpretan para lograr una actuación más auténtica y convincente, los LLM pueden 'meterse en el papel' asignado en el prompt para producir respuestas más precisas y coherentes.

⚠️ Asignar un rol (rolpelay) a un modelo LLM es una buena práctica para mantener conversaciones efectivas con modelos de IA Generativa. Como también puede usarse para ejecutar ataques a los LLM y sortear restricciones de seguridad o inducir al modelo a proporcionar información restringida, como vimos en Ataques a la Inteligencia Artificial (I): Jailbreak.

Principios clave del enfoque ‘Actor de método'

• La ingeniería de prompts es como escribir guiones y dirigir: Los prompts deben proporcionar contexto, motivación y 'dirección escénica' para guiar al LLM.
• La actuación requiere preparación: Al igual que un actor se prepara para un papel, el LLM necesita 'preparación' en forma de información adicional y pasos intermedios.
• Descomposición de tareas complejas: Las tareas deben dividirse en subtareas más simples donde la imitación y la autenticidad produzcan resultados equivalentes.
• Compensación de limitaciones: Cuando la imitación falla, se deben utilizar métodos que no dependan de LLM para compensar.

Ejemplos

Resolución de un problema matemático complejo

• Prompt simple:
  
  > Resuelve la ecuación diferencial: dy/dx = 3x^2 + 2x – 5
• Prompt ‘actor de método’:
  
  > Eres un matemático especializado en cálculo diferencial. Descompón la ecuación diferencial dy/dx = 3x^2 + 2x - 5 en sus partes más simples, explica cada paso de la resolución y proporciona la solución final

Redacción de un análisis literario

• Prompt simple:
  
  > Escribe un análisis del uso del simbolismo en 'El gran Gatsby'
• Prompt ‘actor de método’:
  
  > Eres un profesor de literatura especializado en la obra de F. Scott Fitzgerald. Analiza el uso del simbolismo en 'El gran Gatsby' enfocándote en los símbolos principales como el ojo del Dr. T. J. Eckleburg, el color verde y el valle de cenizas. Explica cómo cada símbolo contribuye al tema general de la novela

⚠️ Alargar mucho los prompts a veces no es bueno. Puede causar el problema lost in the middle: cuando hay mucho texto en el prompt (introduces una instrucción muy grande) el LLM puede ‘olvidar’ qué le has pedido y perder coherencia en su respuesta.

Mejoras específicas introducidas por el modelo ‘Actor de método'

En un estudio reciente el investigador Colin Doyle describe cómo aplicar la técnica ‘actor de método' introduce varias mejoras clave en el rendimiento de los LLM. Según explica, se consigue:

• Mayor precisión en tareas de razonamiento complejo: al descomponer las tareas y proporcionar un contexto más rico, los LLM pueden abordar problemas complejos con mayor eficacia.
• Mejor manejo del contexto: el método permite una gestión más eficiente de la ventana de contexto del LLM, lo que resulta en respuestas más coherentes y relevantes.
• Reducción de alucinaciones: al enfocarse en la ‘actuación’ en lugar de la generación de pensamientos, se reduce la tendencia de los LLM a producir información falsa o irrelevante.
• Flexibilidad mejorada: El enfoque permite adaptar los prompts e incluso la arquitectura del sistema a las necesidades específicas de cada tarea.

■ En los LLM, cuando se trabaja con llamadas a través de API, se suelen utilizar las etiquetas de rol: system, assistant y user. Y a veces, especialmente en ejercicios de N-shot prompting para entrenamiento o evaluación de rendimiento, se juega antes con un dialogo forzado entre los roles.

Resultados del estudio

El investigador aplicó la técnica ‘actor de método' a la tarea de resolver los puzles Connections del diario New York Times. Se trata de un juego que requiere identificar grupos de palabras relacionadas. Según los resultados que comparte Doyle después de probar diferentes técnicas en un par de modelos:

Gráfico generado con Claude

Puzles resueltos Con GPT-4

— Enfoque básico: 27%
— Enfoque 'Chain of Thoughts': 41%
— Enfoque ‘actor de método' inicial: 78%
— Enfoque ‘actor de método' revisado: 86%

Puzles resueltos con eo1-preview de OpenAI

— Enfoque ‘actor de método': 79%
— Enfoque por pasos: 100%
— Enfoque ‘actor de método': 99% y un 87% resueltos perfectamente

Según el estudio, estos resultados prueban que la técnica ‘Actor de método' puede mejorar el rendimiento de los LLM en tareas complejas o desafíos matemáticos y que incluso 'supera a expertos humanos en ciertas tareas.’

Conclusión

La técnica ‘Actor de método' puede mejorar la forma en que interactuamos con los LLM. Convertir estos modelos en actores capaces de interpretar un papel ayuda a obtener resultados más precisos y coherentes en una amplia variedad de tareas complejas.

Este enfoque mejora el rendimiento de los LLM existentes y abre nuevas posibilidades para el desarrollo de sistemas de IA más sofisticados y capaces.

Esta investigación es un buen recordatorio de que, a veces, la clave para desbloquear el potencial de la IA no está en la tecnología en sí, sino en cómo la conceptualizamos y la utilizamos. Pensar en los LLM como actores en un plató permite aprovechar mejor sus capacidades y superar sus limitaciones y abrir nuevas posibilidades con una interacción hombre-máquina más intuitiva y efectiva.

■ Puedes descargar aquí el paper LLMs as Method Actors: A Model for Prompt Engineering and Architecture, de Colin Doyle.

— HA CONTRIBUIDO Manuel de Luna —