Сравнение подходов к задаче автоматической генерации официальных ответных писем с помощью LLM
Main Article Content
Аннотация
Одной из важных задач автоматизации деятельности органов государственной власти является подготовка официальных ответных писем. В статье представлено эмпирическое сравнение двух подходов к автоматической генерации официальных ответных писем – на основе шаблонов, определяющих структуру письма, и на основе релевантных примеров писем, отбираемых с помощью Retrieval-Augmented Generation (RAG). В качестве данных использован оригинальный датасет GovLetter, включающий реальные случаи деловой переписки из практики органов власти Ханты-Мансийского автономного округа – Югры.
Генерация осуществлялась с помощью локально развернутой языковой модели с открытыми весами. Качество результатов оценивалось по 12 критериям с применением схемы структурированного промптинга Schema-Guided Reasoning (SGR) и методологии LLM-as-a-Judge. Результаты экспериментов показали, что подход на основе примеров превосходит подход на основе шаблонов по большинству метрик, особенно в точности передачи аргументов, соблюдении официального тона и корректности оформления. Полученные результаты подтверждают потенциал решений, опирающихся на историю документооборота, для эффективной автоматизации подготовки официальных ответных писем.
Article Details
Библиографические ссылки
2. Qian Y., Zhang W.-N., Liu T. Harnessing the Power of Large Language Models for Empathetic Response Generation. arxiv:2310.05140. 2023. https://doi.org/10.48550/arXiv.2310.05140
3. Minkova L., López Espejel J., Djaidja T.E.T. et al. From Words to Workflows: Automating Business Processes. arXiv:2412.03446. 2024. https://doi.org/10.48550/arXiv.2412.03446
4. Xu W., Desai J., Wu F. et al. HR-Agent: A Task-Oriented Dialogue (TOD) LLM Agent Tailored for HR Applications. arXiv:2410.11239. 2024. https://doi.org/10.48550/arXiv.2410.11239
5. Li W., Soni S., Saha K. Emails by LLMs: A comparison of language in ai-generated and human-written emails // Proceedings of the ACM. 2025. https://doi.org/10.1145/3717867.371787
6. Shrivastava R., Sheikh A., Khan A. Cold Email Generator Using LLM. Preprint. https://doi.org/10.65521/ijacte.v14i1.382
7. Ray S., Pan R., Gu Z. et al. RAGServe: Fast Quality-Aware RAG Systems with Configuration Adaptation. arXiv:2412.10543. 2024. https://doi.org/10.48550/arXiv.2412.10543
8. Novelo R., Silva R.R., Bernardino J. A Literature Review of Personalized Large Language Models for Email Generation. https://doi.org/10.3390/fi17120536
9. Lehto T., Hinkka M. Discovering Business Area Effects to Process Mining Analysis Using Clustering and Influence Analysis// Conference proceedings. 2020. https://doi.org/10.1007/978-3-030-53337-3_18
10. Cerqueti R., Clemente G. P., Grassi R. Stratified communities in complex business networks. arXiv:1902.03854. 2019. https://doi.org/10.48550/arXiv.1902.03854
11. Thiergart J., Huber S., Übellacker T. Understanding emails and drafting responses–An approach using GPT-3. arXiv:2102.03062. 2021. https://doi.org/10.48550/arXiv.2102.03062
12. Jimenez-Gomez C.E., Cano-Carrillo J., Falcone Lanas F. Artificial Intelligence in Government // IEEE Computer. 2020. Vol. 53, No. 9. https://doi.org/10.1109/MC.2020.3010043
13. Barona J., Torres V. E., Defas Ayala R.V. La inteligencia artificial en los procesos de administración pública // Latam. 2023. Vol. 4, No. 6. https://doi.org/10.56712/latam.v4i6.1541
14. Aoki G. Large Language Models in Politics and Democracy: A Comprehensive Survey. arXiv:2412.04498. 2024. https://doi.org/10.48550/arXiv.2412.04498
Это произведение доступно по лицензии Creative Commons «Attribution» («Атрибуция») 4.0 Всемирная.
Представляя статьи для публикации в журнале «Электронные библиотеки», авторы автоматически дают согласие предоставить ограниченную лицензию на использование материалов Казанскому (Приволжскому) федеральному университету (КФУ) (разумеется, лишь в том случае, если статья будет принята к публикации). Это означает, что КФУ имеет право опубликовать статью в ближайшем выпуске журнала (на веб-сайте или в печатной форме), а также переиздавать эту статью на архивных компакт-дисках журнала или включить в ту или иную информационную систему или базу данных, производимую КФУ.
Все авторские материалы размещены в журнале «Электронные библиотеки» с ведома авторов. В случае, если у кого-либо из авторов есть возражения против публикации его материалов на данном сайте, материал может быть снят при условии уведомления редакции журнала в письменной форме.
Документы, изданные в журнале «Электронные библиотеки», защищены законодательством об авторских правах, и все авторские права сохраняются за авторами. Авторы самостоятельно следят за соблюдением своих прав на воспроизводство или перевод их работ, опубликованных в журнале. Если материал, опубликованный в журнале «Электронные библиотеки», с разрешения автора переиздается другим издателем или переводится на другой язык, то ссылка на оригинальную публикацию обязательна.
Передавая статьи для опубликования в журнале «Электронные библиотеки», авторы должны принимать в расчет, что публикации в интернете, с одной стороны, предоставляют уникальные возможности доступа к их материалам, но, с другой, являются новой формой обмена информацией в глобальном информационном обществе, где авторы и издатели пока не всегда обеспечены защитой от неправомочного копирования или иного использования материалов, защищенных авторским правом.
При использовании материалов из журнала обязательна ссылка на URL: http://rdl-journal.ru. Любые изменения, дополнения или редактирования авторского текста недопустимы. Копирование отдельных фрагментов статей из журнала разрешается для научных исследований, персонального использования, коммерческого использования до тех пор, пока есть ссылка на оригинальную статью.
Запросы на право переиздания или использования любых материалов, опубликованных в журнале «Электронные библиотеки», следует направлять главному редактору Елизарову А.М. по адресу: amelizarov@gmail.com
Издатели журнала «Электронные библиотеки» не несут ответственности за точки зрения, излагаемые в публикуемых авторских статьях.
Предлагаем авторам статей загрузить с этой страницы, подписать и выслать в адрес издателя журнала по электронной почте скан Авторского договора о передаче неисключительных прав на использование произведения.