Convierte cualquier LLM autorregresivo en un LM de difusión. dLLM es una biblioteca de Python que unifica el entrenamiento y la evaluación de modelos de lenguaje de difusión. También puedes usarla para convertir CUALQUIER LLM autorregresivo en un LM de difusión con un mínimo de recursos computacionales. 100% de código abierto.
Aquí está la razón por la que esto es importante: Los modelos autorregresivos tradicionales generan texto de izquierda a derecha, un token a la vez. Los modelos de difusión funcionan de manera diferente: refinan toda la secuencia de forma iterativa, dándote un mejor control sobre la calidad de la generación y capacidades de edición más flexibles.
65