Преобразуйте любую автогрессивную языковую модель в диффузионную языковую модель. dLLM — это библиотека Python, которая объединяет обучение и оценку диффузионных языковых моделей. Вы также можете использовать ее, чтобы превратить ЛЮБУЮ автогрессивную языковую модель в диффузионную языковую модель с минимальными вычислительными затратами. 100% с открытым исходным кодом.

Вот почему это важно: Традиционные авторегрессионные модели генерируют текст слева направо, по одному токену за раз. Модели диффузии работают иначе - они итеративно уточняют всю последовательность, что дает вам лучший контроль над качеством генерации и более гибкие возможности редактирования.