Как настроить голосовое распознавание сообщений в чат-ботах

В SendPulse можно подключить к чат-ботам систему автоматического распознавания языка Whisper от OpenAI. Интеграция позволяет распознавать и транскрибировать голосовые сообщения подписчиков, что помогает удобно взаимодействовать с ботом с помощью голоса.

В статье рассмотрим принцип работы модели Whisper и ее настройки.

Что такое Whisper для OpenAI

Whisper – это система автоматического распознавания языка или ASR (Automated Speech Recognition), разработанная OpenAI. Технология ASR предназначена для преобразования разговорной речи в письменный текст.

Whisper различает все самые распространенные языки: английский, испанский, французский, немецкий, итальянский, португальский, голландский, русский, шведский, китайский, японский, корейский, арабский, украинский и другие. Модель можно использовать, например, для транскрибации или программ с голосовым управлением как голосовой ассистент и т.д.

Модель Whisper прежде всего сосредоточена на транскрибировании языка и превращении его в текст.

Как работает Whisper в чат-ботах SendPulse

Система Whisper доступна для интеграции чат-ботов с OpenAI, поэтому использует тот же токен что и ChatGPT и настраивается в том же модальном окне.

Читайте подробнее: «Как подключить GPT к чат-боту».

Вы можете подключить ChatGPT и Whisper по отдельности или вместе.

Если включен только Whisper, в чате отображается распознанный текст.

Если включен Whisper и ChatGPT, при отправке голосового сообщения в бот оно будет распознано и отправлено в ChatGPT. Далее ChatGPT сгенерирует ответ и отправит подписчику в текстовой формате.

Если подписчик в голосовом сообщении использовал триггерное слово, будет запущена соответствующая цепочка.

Также если в цепочке чат-бота предусмотрен активный пользовательский ввод (ожидания текстовой строки), подписчик может записать и отправить голосовое сообщение, которое обработается в текст и запишется в соответсвующую переменную.

Как подключить Whisper к чат-ботам

Откройте необходимый чат-бот и перейдите на вкладку «Настройки бота» (Bot settings) > «Интеграции» (Integrations).

Вы можете подключить распознавание голосовых сообщений на этапе интеграции с OpenAI. Если она настроена, нажмите «Подключено» (Enabled) > «Редактировать» (Edit) напротив «ChatGPT by OpenAI».

В модальном окне настроек активируйте переключатель «Whisper Voice Recognition».

Если вы хотите, чтобы ChatGPT генерировал текстовые ответы, то активируйте тумблер «ChatGPT: AI Text Response Generation». Если вы хотите использовать только распознавание голосовых сообщений, выключите этот тумблер.

Как просматривать голосовые сообщения

Перейдите в «Диалоги» (Conversation), аудиторию бота или виджет «Чаты» справа, чтобы просматривать все чаты с подписчиками.

Когда подписчик отправит в чат-бот голосовое сообщение, вы увидите транскрибацию его запроса внизу сообщения.

Если вы активировали опцию автоматического ответа «ChatGPT: AI Text Response Generation» в настройках интеграции, чат предоставит сгенерированный ответ.

OpenAI использует внутреннюю библиотеку информации – обрабатывает запрос клиента и выдает ответ на основе доступной информации. Также он не учитывает персональные данные подписчика.

Обновлено: 19.03.2024