Yandex B2B Tech запустила сервис для создания помощников на базе искусственного интеллекта AI Assistant API. Компании смогут разрабатывать собственных AI-ассистентов под бизнес-сценарии без настройки инфраструктуры и написания большого объема кода. Таких помощников обычно используют для автоматизации технической поддержки, умного корпоративного поиска, создания рекомендаций на маркетплейсах и не только. AI Assistant API позволит ускорить внедрение языковых моделей в бизнес-процессы более чем на 30%. Воспользоваться сервисом можно уже сейчас на публичной облачной платформе Yandex Cloud. В ближайшее время он станет доступен и для использования на собственной инфраструктуре компаний.
В AI Assistant API уже реализована функциональность ответа LLM на основе данных компании. Это могут быть, например, документы организации или статьи. Можно подгрузить файлы в формате PDF, DOC, TEXT или XLS в модель, и она будет отвечать на вопросы пользователей с опорой на них. В будущем в сервисе будет реализована поддержка обращения к внешним базам знаний. Сервис работает таким образом за счет метода RAG (Retrieval Augmented Generation) — задается контекст в виде фрагментов текста, на базе которых LLM должна скомпоновать ответ.
Григорий Атрепьев,
директор по продуктам Yandex Cloud
«В реальных бизнес-кейсах важно, чтобы модель умела отвечать на вопросы клиентов, основываясь на базе знаний компании. Это позволяет в разы сокращать долю ошибок и выдуманных фактов при ответах. При этом не во всех компаниях есть выделенные команды data-science, которые могут адаптировать YandexGPT под конкретные бизнес-сценарии. AI Assistant API помогает упростить этот процесс и легко внедрять нейросети в приложения.
Сервис работает с новым поколением языковых моделей YandexGPT 4. Новая линейка включает мощную языковую модель Pro и облегчённую версию Lite. Они превосходят по качеству ответов предыдущие версии, способны рассуждать и обрабатывать в четыре раза более длинные запросы — порядка 60 страниц текста. Кроме этого, с помощью моделей последнего поколения скорость генерации ответов увеличилась в 2 раза.