Як налаштувати голосове розпізнавання повідомлень в чат-ботах
У SendPulse ви можете підключити до чат-ботів систему автоматичного розпізнавання мови Whisper від OpenAI. Інтеграція дозволяє розпізнавати та транскрибувати голосові повідомлення підписників, що допомагає зручно взаємодіяти з ботом за допомогою голосу.
В статті розглянемо принцип роботи моделі Whisper та її налаштування.
Що таке Whisper для OpenAI
Whisper — це система автоматичного розпізнавання мови або ASR (Automated Speech Recognition), розроблена OpenAI. Технологія ASR призначена для перетворення розмовної мови в письмовий текст.
Whisper розрізняє всі найпоширеніші мови: англійську, іспанську, французьку, німецьку, італійську, португальську, голландську, шведську, китайську, японську, корейську, арабську, українську та інші. Модель можна використовувати, наприклад, для транскрибації або програм з голосовим управлінням, як голосовий асистент тощо.
Модель Whisper насамперед зосереджений на транскрибуванні мови та перетворенні її в текст.
Як працює Whisper у чат-ботах SendPulse
Система Whisper доступна для інтеграції чат-ботів з OpenAI, тому використовує той самий токен що і ChatGPT і налаштовується в тому ж модальному вікні.
Читайте докладніше: «Як підключити GPT до чат-бота».
Ви можете підключити ChatGPT і Whisper окремо або разом.
Якщо увімкнений тільки Whisper, в чаті буде відображатися розпізнаний текст.
Якщо увімкнений Whisper і ChatGPT, то при відправленні голосового повідомлення боту воно буде розпізнане і відправлене в ChatGPT. Далі ChatGPT згенерує відповідь та відправить її підписнику в текстовому форматі.
Якщо підписник в голосовому повідомленні використав тригерне слово, буде запущений відповідний ланцюжок.
Також якщо в ланцюжку чат-бота передбачене активне користувацьке введення даних (очікування текстової строки), підписник може записати та відправити голосове повідомлення, яке обробиться у текст і запишеться у змінну.
Як підключити Whisper до чат-ботів
Відкрийте необхідний чат-бот та перейдіть у вкладку «Налаштування бота» (Bot settings) > «Інтеграції» (Integrations).
Ви можете підключити розпізнавання голосових повідомлень на етапі інтеграції з OpenAI. Якщо вона налаштована, то натисніть «Підключено» (Enabled) > «Редагувати» (Edit) навпроти «ChatGPT by OpenAI».
У модальному вікні налаштувань активуйте тумблер «Whisper Voice Recognition».
Якщо ви хочете, щоб ChatGPT генерував текстові відповіді, то активуйте тумблер «ChatGPT: AI Text Response Generation». Якщо ви хочете використовувати тільки розпізнавання голосових повідомлень, вимкніть цей тумблер.
Як переглядати голосові повідомлення
Перейдіть у вкладку «Діалоги», аудиторію боту або віджет справа «Чати», щоб переглядати всі чати з підписниками.
Коли підписник надішле в чат-бот голосове повідомлення, ви побачите транскрибацію його запиту внизу повідомлення.
Якщо ви активували опцію автоматичної відповіді «ChatGPT: AI Text Response Generation» в налаштуваннях інтеграції, чат надасть згенеровану відповідь.
OpenAI використовує внутрішню бібліотеку інформації – він обробляє запит клієнта та видає відповідь на основі доступної інформації. Також він не враховує персональні дані підписника.
Оновлено: 21.07.2023
Зареєструватися через соцмережі
Увійти з Facebook Увійти з Google