При авторегрессионной генерации текста языковыми моделями (LLM) выбор следующего токена выполняется функцией Softmax с фиксированным коэффициентом декодирования, равным единице и одинаковым для всех шагов генерации и типов текста. Такой подход не учитывает динамически изменяющиеся лингвистические характеристики формируемого контекста. Например, текст с высоким лексическим разнообразием нуждается в высокой избирательности: значение коэффициента декодирования должно быть малым. Монотонный повторяющийся контекст требует сглаживания распределения: значение коэффициента декодирования должно быть большим.

Предложен нечеткий регулятор вычисления коэффициента избирательности декодирования, построенный с использованием двух лингвистических признаков, а именно лексического разнообразия сформированного контекста и энтропии Шеннона распределения вероятностей на предшествующем шаге. Нечеткий регулятор реализован на алгоритме Мамдани с базой из девяти нечетко-логических правил и дефаззификатором на основе метода центра тяжести. Эффективность предложенного подхода заключается в том, что для терминологически насыщенного текста нечеткий регулятор снижает энтропию Шеннона распределения вероятностей более чем в 20 раз по сравнению со стандартным подходом.

Предложен метод адаптивного управления параметрами скользящего окна больших языковых моделей на основе нечеткого вывода Мамдани с дефаззификацией по быстродействующему методу отношения площадей (MAR-II). Управляющими переменными являются индекс лексического разнообразия (TTR) и средняя длина BPE-токена (ATL), интерпретируемые как измеримые корреляты когнитивной нагрузки текстового фрагмента. Нечеткий регулятор на основе девяти правил вырабатывает шаг скользящего окна (stride) и длину контекста (max_length). Проведено сравнение MAR-II с методом центра тяжести (CoG) на сетке 25 × 25 точек входного пространства (RMSE по stride 99.9 токена, по max_length 147.4 токена). Показано, что MAR-II обеспечивает аддитивность нечеткой модели и устраняет систематические ошибки CoG при времени вычисления одного нечеткого вывода около 35 нс на ПЛИС Xilinx Spartan 3E.

Предложен нечеткий регулятор вычисления параметров скользящего окна для подготовки обучающих данных больших языковых моделей. Традиционный подход задает параметры «шаг окна» и «длина контекста» фиксированными константами, одинаковыми для всего текста, и не учитывает такие лингвистические характеристики отдельных фрагментов, как насыщенный научный текст и монотонный повторяющийся текст. Предлагаемый метод использует два автоматически вычисляемых признака фрагмента – лексическое разнообразие и среднюю длину BPE-токена. На основе алгоритма Мамдани с базой из 9 нечетко-логических правил и дефаззификацией методом центра тяжести нечеткий регулятор адаптивно вычисляет значения параметров «шаг окна» и «длина контекста» для каждого фрагмента. Предложенный подход имеет когнитивную интерпретацию, поскольку воспроизводит механизм адаптивного внимания человека при чтении, например, сложные фрагменты обрабатываются более внимательно при малом размере шага.