Аннотация:
Одной из важных задач автоматизации деятельности органов государственной власти является подготовка официальных ответных писем. В статье представлено эмпирическое сравнение двух подходов к автоматической генерации официальных ответных писем – на основе шаблонов, определяющих структуру письма, и на основе релевантных примеров писем, отбираемых с помощью Retrieval-Augmented Generation (RAG). В качестве данных использован оригинальный датасет GovLetter, включающий реальные случаи деловой переписки из практики органов власти Ханты-Мансийского автономного округа – Югры.
Генерация осуществлялась с помощью локально развернутой языковой модели с открытыми весами. Качество результатов оценивалось по 12 критериям с применением схемы структурированного промптинга Schema-Guided Reasoning (SGR) и методологии LLM-as-a-Judge. Результаты экспериментов показали, что подход на основе примеров превосходит подход на основе шаблонов по большинству метрик, особенно в точности передачи аргументов, соблюдении официального тона и корректности оформления. Полученные результаты подтверждают потенциал решений, опирающихся на историю документооборота, для эффективной автоматизации подготовки официальных ответных писем.