Volver al blog
Tecnología··6 min de lectura

Memoria infinita: cómo recordamos conversaciones larguísimas sin perder el hilo

Las conversaciones largas chocan siempre con el mismo muro: el modelo "se olvida" del principio. Te explicamos cómo mantenemos el contexto de un chat interminable sin que se dispare el coste — y cómo puedes controlarlo tú.

Todo asistente de IA tiene un límite de memoria: la ventana de contexto. Cuando una conversación crece mucho, hay que elegir entre dos males: recortar el principio (y perder cosas que dijiste) o mandarlo todo (y pagar carísimo cada mensaje, hasta reventar el límite). Nosotros elegimos un tercer camino.

Resumen acumulativo con "marca de agua"

La idea es sencilla: los últimos mensajes van tal cual (literales), y lo más antiguo se va plegando en un resumen que se mantiene y se actualiza turno a turno.

La clave está en cómo se acumula. Guardamos una marca de agua: hasta qué punto de la conversación ya está resumido. En cada turno solo integramos los mensajes nuevos sobre el resumen anterior, sin volver a procesar todo. Así el resumen crece con la conversación pero el coste por mensaje se mantiene plano. Es lo que llamamos, medio en broma, "memoria infinita": puedes hablar durante horas y el asistente sigue sabiendo de qué iba el principio.

Se adapta al tamaño, no solo al número de mensajes

Comprimir "cada 40 mensajes" se queda corto si esos mensajes son enormes, y sobra si son cortos. Por eso la compactación se dispara por número de mensajes O por presupuesto de tokens, lo que llegue antes. Con textos largos comprime antes; con mensajes cortos, más tarde. Se ajusta solo.

Y lo controlas tú

Junto al cuadro de escribir tienes un indicador de uso de tokens. Ahí puedes:

  • Ver cuánta memoria estás usando (% de la ventana real de tu modelo).
  • Activar o desactivar la compactación automática de esa conversación.
  • Comprimir ahora con un botón, cuando quieras.
  • Incluso ver y editar el resumen acumulado — control total sobre lo que el asistente "recuerda".

Y si te acercas al límite, un aviso te lo dice y te ofrece comprimir. Nada de sorpresas.

En resumen: conversaciones largas sin perder el hilo y sin que se dispare el coste. Y con las riendas en tu mano.

Prueba todo esto en GarBotGPT.

500 créditos gratis, sin tarjeta. Modelos top, herramientas en vivo y RAG sobre tus propios documentos.