Як налаштувати голосове розпізнавання повідомлень в чат-ботах

У SendPulse ви можете підключити до чат-ботів систему автоматичного розпізнавання мови Whisper від OpenAI. Інтеграція дозволяє розпізнавати та транскрибувати голосові повідомлення підписників, що допомагає зручно взаємодіяти з ботом за допомогою голосу.

В статті розглянемо принцип роботи моделі Whisper та її налаштування.

Що таке Whisper для OpenAI

Whisper — це система автоматичного розпізнавання мови або ASR (Automated Speech Recognition), розроблена OpenAI. Технологія ASR призначена для перетворення розмовної мови в письмовий текст.

Whisper розрізняє всі найпоширеніші мови: англійську, іспанську, французьку, німецьку, італійську, португальську, голландську, шведську, китайську, японську, корейську, арабську, українську та інші. Модель можна використовувати, наприклад, для транскрибації або програм з голосовим управлінням, як голосовий асистент тощо.

Модель Whisper насамперед зосереджений на транскрибуванні мови та перетворенні її в текст.

Як працює Whisper у чат-ботах SendPulse

Система Whisper доступна для інтеграції чат-ботів з OpenAI, тому використовує той самий токен що і ChatGPT і налаштовується в тому ж модальному вікні.

Читайте докладніше: «Як підключити GPT до чат-бота».

Ви можете підключити ChatGPT і Whisper окремо або разом.

Якщо увімкнений тільки Whisper, в чаті буде відображатися розпізнаний текст.

Якщо увімкнений Whisper і ChatGPT, то при відправленні голосового повідомлення боту воно буде розпізнане і відправлене в ChatGPT. Далі ChatGPT згенерує відповідь та відправить її підписнику в текстовому форматі.

Якщо підписник в голосовому повідомленні використав тригерне слово, буде запущений відповідний ланцюжок.

Також якщо в ланцюжку чат-бота передбачене активне користувацьке введення даних (очікування текстової строки), підписник може записати та відправити голосове повідомлення, яке обробиться у текст і запишеться у змінну.

Як підключити Whisper до чат-ботів

Відкрийте необхідний чат-бот та перейдіть у вкладку «Налаштування бота» (Bot settings) > «Інтеграції» (Integrations).

Ви можете підключити розпізнавання голосових повідомлень на етапі інтеграції з OpenAI. Якщо вона налаштована, то натисніть «Підключено» (Enabled) > «Редагувати» (Edit) навпроти «ChatGPT by OpenAI».

У модальному вікні налаштувань активуйте тумблер «Whisper Voice Recognition».

Якщо ви хочете, щоб ChatGPT генерував текстові відповіді, то активуйте тумблер «ChatGPT: AI Text Response Generation». Якщо ви хочете використовувати тільки розпізнавання голосових повідомлень, вимкніть цей тумблер.

Як переглядати голосові повідомлення

Перейдіть у вкладку «Діалоги», аудиторію боту або віджет справа «Чати», щоб переглядати всі чати з підписниками.

Коли підписник надішле в чат-бот голосове повідомлення, ви побачите транскрибацію його запиту внизу повідомлення.

Якщо ви активували опцію автоматичної відповіді «ChatGPT: AI Text Response Generation» в налаштуваннях інтеграції, чат надасть згенеровану відповідь.

OpenAI використовує внутрішню бібліотеку інформації – він обробляє запит клієнта та видає відповідь на основі доступної інформації. Також він не враховує персональні дані підписника.

Оновлено: 21.07.2023