В работе рассматривается процесс автоматизации взаимодействия с клиентами. Целью работы является моделирование процессов для автоматизированной системы обработки клиентских обращений и подбор наиболее эффективных моделей машинного обучения для определения тональности обратной связи. В рамках исследования выполнено моделирование автоматизации процесса обработки клиентских обращений с использованием системных инструментов BPMN и UML-диаграмм последовательности, что позволило структурировать и сделать более понятными ключевые этапы построения обратной связи с клиентами. В предложенных схемах отдельно рассмотрен ML-анализатор, предназначенный для определения тональности сообщений и автоматической генерации задач для сотрудников. В работе проведено экспериментальное сравнение характеристик трех алгоритмов для задачи определения тональности (sentiment analysis): BERT, DistilBERT и TextBlob. Оценка их эффективности осуществлялась с использованием метрики F1-score на трех различных наборах данных: Yelp Review Polarity Dataset, Amazon Product Reviews Dataset и Rotten Tomatoes Reviews Dataset. Наилучшие результаты по метрике F1-score демонстрирует модель BERT, хотя по времени на обучение и обработку данных она немного уступает другим моделям и фреймворкам, с которыми проводилось сравнение в данной работе.
The article deals with the process of automatization of customer interaction. The aim of this article is modeling of processes for an automated customer request processing system and select the most effective machine learning models to determine the tone of feedback. As part of the research, the automatization of the customer request processing process was modeled using BPMN system tools and UML sequence diagrams, which made it possible to structure and make clearer the key stages of building customer feedback. In the proposed schemes, an ML analyzer is considered separately, designed to determine the tone of messages and automatically generate tasks for employees. The paper presents an experimental comparison of the characteristics of three algorithms for the problem of determining tonality (sentiment analysis): BERT, DistilBERT and TextBlob. Their effectiveness was assessed using the F1-score metric on three different datasets: the Yelp Review Polarity Dataset, the Amazon Product Reviews Dataset, and the Rotten Tomatoes Reviews Dataset. The BERT model demonstrates the best results for the F1-score metric, although it is slightly inferior in terms of training and data processing time to other models and frameworks compared in this paper.
1. Гиздуллина Э. А., Казанцева К. А. Лояльность через качество: роль обслуживания клиентов в электронной коммерции // Цифровая экономика глазами студентов: материалы V Международной научной конференции (Казань, 16 мая 2025 г.). Казань: ИП Сагиев А. Р., 2025. С. 53–57. EDN: SPIENX.
2. Стремоусова Е. Н. Эффективность обратной связи и ее специфика в организации // Прикладная юридическая психология. 2008. № 2. С. 75–86. URL: https://elibrary.ru/download/elibrary_15270227_28611886.pdf (дата обращения: 23.03.2026).
3. Арбатская Е. А. Стратегия как инструмент управления конкурентоспособностью предприятия // Бизнес. Образование. Право. 2018. № 4 (45). С. 93–96. URL: https://elibrary.ru/download/elibrary_36368581_20797860.pdf (дата обращения: 23.03.2026). DOI: 10.25683/VOLBI.2018.45.402.
4. Голикова А. С. Негативные отзывы розничных клиентов банков в сети Интернет // Банковская система: устойчивость и перспективы развития: сборник научных статей шестнадцатой международной научно-практической конференции по вопросам финансовой и банковской экономики (Пинск, 24 октября 2025 г.). Пинск: Учреждение образования «Полесский государственный университет», 2025. С. 25–28. URL: https://rep.polessu.by/handle/123456789/35030 (дата обращения: 23.03.2026).
5. Natorina A. O. Simulation Model of the Retailer’s Response to Negative Online Buyer’s Reviews and Comments // Бизнес информ. 2020. № 2 (505). P. 451–457. URL: https://www.elibrary.ru/download/elibrary_42896917_76491677.pdf (дата обращения: 23.03.2026). DOI: 10.32983/2222-4459-2020-2-451-457.
6. Емельянов А. М. Автоматизация обратной связи в обучении с помощью нейросетей: возможности и ограничения // Воспитательная работа в школе. 2025. № 1. С. 15–30. URL: https://narodnoe.org/journals/vospitatelnaya-rabota-v-shkole/2025-1/avtomatizaciya-obratnoiy-svyazi-v-obuchenii-s-pomoshyu-neiyroseteiy-vozmojnosti-i-ogranicheniya (дата обращения: 23.03.2026).
7. Иванченко О. В. Развитие чат-ботов на основе технологии NLP в маркетинговой деятельности компаний // Инфраструктура рынка: проблемы и перспективы: ученые записки. Вып. 28. Ростов-на-Дону: Ростовский государственный экономический университет «РИНХ», 2023. С. 69–73. URL: https://www.elibrary.ru/download/elibrary_54735601_90971658.pdf (дата обращения: 23.03.2026).
8. Абрамян Н. С. Автоматизация системы обратной связи при помощи Telegram-бота Центра управления регионом // Государство и граждане в электронной среде. 2024. № 7. С. 59–68. URL: https://ojs.itmo.ru/index.php/SCEE/article/view/1348/1159 (дата обращения: 23.03.2026). DOI: 10.17586/2541-979X-2024-7-59-68.
9. Есин Т. Е., Глухих И. Н. Автоматизация предоставления персонализированной обратной связи на курсах изучения программирования // Моделирование, оптимизация и информационные технологии. 2019. Т. 7. № 1 (24). С. 482–493. URL: https://www.elibrary.ru/download/elibrary_37419033_17985360.pdf (дата обращения: 23.03.2026). DOI: 10.26102/2310-6018/2019.24.1.043.
10. Хусаинов Ш. Г., Горшков К. А. Подведение итогов деятельности обучаемого в автоматизированном лабораторном практикуме // Наукосфера. 2023. № 8–2. С. 25–29. EDN: LMHKWL.
11. Хусаинов Ш. Г., Горшков К. А. Варианты систем автоматизированного обучения и их дидактический потенциал // Современные наукоемкие технологии. 2024. № 5–1. С. 221–225. URL: https://www.elibrary.ru/download/elibrary_67351449_63886239.pdf (дата обращения: 23.03.2026). DOI: 10.17513/snt.40032.
12. Волковский К. М. Анализ существующих технологий искусственного интеллекта для использования в оптимизации бизнес-процессов // Наука и технологии – 2025: сборник статей II Международной научно-практической конференции. Петрозаводск: Международный центр научного партнерства «Новая Наука» (ИП Ивановская И. И.), 2025. С. 114–119. URL: https://elibrary.ru/download/elibrary_82133188_71076791.pdf (дата обращения: 23.03.2026).
13. Сбоев А. Г., Воронина И. Е., Гудовских Д. В., Селиванов А. А. Продвинутые нейросетевые модели для решения задачи определения тональности // Вестник Воронежского государственного университета. Серия: Системный анализ и информационные технологии. 2016. № 4. С. 178–183. URL: https://www.elibrary.ru/download/elibrary_28320141_39085976.pdf (дата обращения: 23.03.2026).
14. Мартынова И. Р., Платонов Е. Н. Семантический анализ отзывов об организациях методами машинного обучения // Моделирование и анализ данных. 2024. Т. 14. № 1. С. 7–26. URL: https://www.elibrary.ru/download/elibrary_65582559_17533547.pdf (дата обращения: 23.03.2026).
15. In S., Chanchamnan S. Comparison of VADER and TextBlob labeling for sentiment analysis using machine learning and deep learning models: A study on generative AI user experience // Acta Psychologica. 2026. Vol. 263. (106268). P. 1–17. URL: https://www.sciencedirect.com/science/article/pii/S0001691826000673 (дата обращения: 23.03.2026).