Российские ученые создали подход, который позволяет системам ИИ быстро и эффективно отслеживать состояние диалога при работе чат-ботов и голосовых помощников. Это поможет данным системам на каждом шаге разговора лучше понимать, что именно хочет пользователь, сообщила пресс-служба MWS AI (входит в МТС Web Services).
"Важно, что примененный нами метод дает заметный эффект даже при небольшом объеме обучающих данных, тем самым снижая барьер входа при адаптации системы к новому сценарию. Если говорить о практической пользе, то он будет полезен в клиентской поддержке, голосовых ассистентах, системах бронирования и внутренних корпоративных ботах. Наибольший эффект подход даст там, где важно удерживать контекст диалога", - пояснил инженер-исследователь MWS AI Тимур Ионов, чьи слова приводит пресс-служба компании.
Как отмечают ученые, ключевую роль в работе чат-ботов и голосовых помощников играет их способность "помнить" запросы пользователей и корректно интерпретировать их параметры и элементы. Любые нарушения в работе этой памяти ИИ ведут к тому, что система начинает выдавать нерелевантные ответы на запросы пользователя, что ведет к ухудшению качества взаимодействий между человеком и ИИ-помощником.
Как правило, существующие чат-боты и голосовые помощники приобретают способность хранить эту информацию в рамках процесса обучения, в ходе которого ИИ показывают примеры правильных ответов и учат их воспроизводить. Этот подход хорошо работает для отдельных сценариев и решаемых задач, но он хуже переносится на новые сценарии и требует значительных затрат времени и ресурсов.
Авторы исследования предложили изменить сам принцип обучения. Вместо того чтобы показывать модели правильные ответы и учить их воспроизводить, ей дают возможность самой исследовать разные варианты решения и получать награду за точный результат. Для этого используется метод обучения с подкреплением GRPO, который не требует тяжелых дополнительных компонентов и может быть реализован в сравнительно доступном вычислительном контуре.
Подход, как показали последующие опыты, значительным образом повысил качество работы систем ИИ самых разных масштабов, от 1,5 млрд до 32 млрд параметров. Благодаря этому небольшая система ИИ на базе 8 млрд параметров при работе в новых для нее сценариях превзошла не только большую языковую модель GPT-4, но и модель в четыре раза крупнее, обученную классическим способом. Это свидетельствует о высокой перспективности созданного подхода, подытожили исследователи.