робот которым можно управлять голосом
Будущее уже здесь: как работают голосовые роботы и что они умеют делать
Роботизация рутинных операций, когда для решения простых и одновременно трудоемких задач используются роботы, а не люди — весьма активный тренд. Автоматизируется многое, включая телефонные разговоры с клиентами. Компания Neuro.net занимается созданием технологий, которые дают возможность улучшить возможности роботов.
В этой статье разработчики рассказывают о технологиях и нюансах распознавания пола собеседника по голосу и работе над важными элементами диалога.
Сначала кейс, ну а потом — разбор технологий
Один из наиболее интересных кейсов — замена сотрудников колл-центра компании-партнера голосовым роботом. Возможности последнего применили не для штатных ситуаций вроде уточнения адреса доставки, а для того, чтобы выяснить, почему некоторые покупатели стали реже заходить на сайт компании.
Технология базировалась на использовании полноценной нейросети, а не отдельных скриптов. Именно нейросеть позволила решить проблемы, которые обычно ставят роботов в тупик. В первую очередь, речь идет об ответах собеседника вроде «ну я пока не знаю, возможно да, хотя нет» или даже «да нет». Обычные для человека слова становятся непреодолимым препятствием для робота.
В ходе обучения робот стал понимать, какой смысл закладывается в ту либо иную фразу, и каким должен быть ответ. Голосов у робота было несколько — как мужских, так и женских. Основная задача состояла в «очеловечивании» робота с тем, чтобы собеседник-человек не испытывал возможности машины, а вел диалог по целевому сценарию.
Ниже — пример того, что получилось.
Робот слушает собеседника, давая ответ в зависимости от смысла того, что сказал клиент. Общее количество веток сценария, по которым может пойти разговор — более тысячи.
Главной целью этого робота было понять причину снижения активности клиента компании на сайте и сделать интересное предложение каждому. Это была одна из первых попыток компании автоматизировать работу колл-центров.
Новые роботы более совершенны. Вот еще несколько примеров общения роботов с человеком: первый, второй, третий примеры.
Теперь о технологиях
Есть три ключевых технологических особенности, которые позволяют роботу работать:
Распознавание пола собеседника по голосу
Зачем это нужно? Изначально эта функция создавалась для проведения опросов при помощи роботов. Раньше работа по проведению опросов проводилась людьми, которые заполняли ряд пунктов. Например — пол собеседника. Понятно, что человеку для определения этого параметра не нужно спрашивать, с кем он говорит — мужчиной или женщиной. В 99% все и так понятно. С роботами другое дело, для того, чтобы они более-менее точно научились распознавать голоса, пришлось провести масштабную работу. И она не была напрасной, сейчас технология используется для персонализации предложения и голосовых промптов в зависимости от пола.
Важный момент — женский голос универсален и применим для работы с самым широким спектром продукции, а особенно он важен для продуктов для женщин. Согласно разным исследованиям, женский голос воспринимается любой аудиторией положительно, соответственно, в этом случае конверсия больше. Исключение — при продвижении “мужских” продуктов предпочтительнее мужской голос.
Как это работает? Сначала производится первичная обработка данных, она осуществляется на основе обработки голосовых записей и фрагментов продолжительностью по 20 мс. Все собранные голосовые фрагменты проходят предварительную обработку в компоненте VAD (Voice Activity Detection). Это необходимо для отделения «зерен от плевел», то есть речи от шумов. Весь мусор удаляется, благодаря чему увеличивается точность работы моделей.
Для распознавания используется так называемое пространство кепстральных коэффициентов, первой и второй разностей. Основа — метод GMM — Gauss Mixture Models.
Так, на интервале в 10-20 мс вычисляется текущий спектр мощности, после чего применяется обратное преобразование Фурье от логарифма спектра, с поиском необходимых коэффициентов.
Наши GMM-модели настроены отдельно для обучения мод мужской и женский голоса, также используются модели для определения взрослых и детских голосов. Конечно, с нуля обучить систему нельзя, нужны размеченные голосовые записи.
Для того, чтобы повысить эффективность работы системы, применяются коэффициенты тембральных моделей голоса:
Главная часть системы — модуль классификации данных на основе многослойного персептрона, MLP. В нее передаются данные от моделей мужского, женского голосов, данные тембральных моделей. На входе в систему получаем массив проклассифицированных значений, а на выходе — результат определения пола.
Технология, которая здесь описывается, используется для работы как в онлайн (по первой фразе клиента), так и оффлайн режиме классификации (после разговора). Точность распознавания пола составляет около 95%. Важный момент — задержка при работе в онлайне не превышает 120-150 мс, что крайне важно для «очеловечивания» робота. Обычно паузы в общении робота и человека составляют не миллисекунды, а секунды, что, конечно, для собеседника-человека выглядит странно, и сразу понятно, что общение ведет цифровая система.
В планах добавление работы с текстом, точнее — окончаниями. Если собеседник говорит «я могла бы» — однозначно, это женщина. В ближайшее время эта технология будет дорабатываться и внедряться в систему распознавания.
Определение возраста собеседника
Зачем это нужно? В первую очередь, для того, чтобы не предлагать различные продукты и услуги несовершеннолетним. Кроме того, идентифицировать возраст полезно для того, чтобы персонализировать предложения по возрастным категориям.
Как это работает? Используются точно те же технологии, что и в предыдущем случае. Точность работы системы составляет около 90%.
Построение диалогов
И теперь приступаем к самому интересному — принципу построения диалогов.
Зачем это нужно? Для того, чтобы грамотно заменять человека, робот должен уметь работать как по линейному, так и по нелинейному сценариям ведения диалога. В первом случае это может быть опросник, во втором — работа с абонентами колл-центра, линии техподдержки компании и т.п.
А как это работает? Мы используем NLU Engine, основа которого — семантический разбор полученного от ASR-систем текста. Далее из него выделяются такие объекты распознавания, как entities (сущности) и intents (намерения), которые применяются в логике построения conversational flow.
Вот пример работы технологии.
Текст полученный от системы распознавания речи (ASR):
«Мне в целом интересно ваше предложение, но хотелось бы подешевле. И я сейчас немного занят, вы могли бы мне перезвонить завтра часиков в шесть».
Объекты, заполненные NLU Engine:
Intents:
confirmation=true
objection=expensive
question=null
callback=true
wrong_time=true
Entities:
date= 02.01.2019 (предположим, что дата звонка 01.01.2019)
time=18:00
amount=6
Принцип заполнения объектов в данном примере:
Теперь поговорим об алгоритмах работы, которые поддерживаются системой NLU Engine. Она включает два уровня.
Первый уровень — работает на относительно небольшой выборке данных порядка 600-1000 записей. Здесь используются ML-алгоритмы. Точность распознавания: 90-95%.
Второй уровень — переход на него осуществляется после запуска проекта и накопления большой выборки данных, включающей более 1 млн записей. Здесь уже используются DL-алгоритмы. Точность распознавания: 95-98%.
Решение работает с двумя подсистемами:
Подсистема формирования диалога для построения нелинейных сценариев построена на нейронной сети. На входе в систему передается распознанный из голосовой фразы текст абонента, на выходе — решение о том, что должно быть проиграно в следующий момент.
Для первой линии поддержки подходит нелинейный сценарий — робот не знает, кто звонит, по поводу какого именно продукта и с какими вопросами. Здесь от ответа клиента зависит дальнейшее построение диалога.
А вот для исходящего обзвона наилучшим решением будет линейный сценарий. Его пример был подан в самом начале статьи. Еще один вариант линейного сценария — проведение опроса, когда неважно, что именно ответит клиент, это будет анализироваться в дальнейшем специалистами. Зато важно провести клиента через все вопросы, которые есть в списке.
Как итог, хочется подчеркнуть, что голосовые роботы не заменят людей. Сейчас они отлично справляются с рутинной работой — обзвоном людей с целью задать им какие-то вопросы и выслушать/записать/проанализировать ответы. Таким образом, операторы колл-центров и техподдержки избавлены от необходимости проводить одни и те же рутинные процедуры. Вместо этого они могут сосредоточиться на решении действительно интересных вопросов и задач.
РОБОТ С ГОЛОСОВЫМ УПРАВЛЕНИЕМ
В современном Hi-Tech мире, полном электронных умных гаджетов, и игрушки не такие, как были раньше. Встречайте: робот с управлением голосом – оригинальная игрушка новейшего поколения, у него нет кнопок и ему даже не нужен дистанционный пульт управления, все команды отдаются голосом. Роботы обладая минимальными функциями, развивают у детей логику, мышление, воображение, фантазию. В комплекте идёт сам робот, зарядное устройство и десяток метательных поролоновых дисков.
Интерактивный робот « Электрон » отличается от других простых игрушек тем, что кроме выполнения обычных функций по передвижению, умеет говорить. При этом цена его составляет менее 50$.
Для включения устройства, передвиньте на спине робота рычажок ON-OFF в нужное положение, а затем нажмите на его груди кнопку активации. При этом замигают светодиоды и голова повернётся вправо-влево, он как бы осмотрится.
Возможности игрушечного робота:
Роботу можно задать 18 вопросов, при этом получить 34 ответа. Например: – Привет! – Привет, я робот! – Как тебя зовут? – Меня зовут Электрон! – Командир, врагов слишком много, прошу дать отбой на задания! – С какой ты планеты? – Я с планеты Титан. – Тебе нужен ремонт? – Меня разбирать опасно. – Сколько тебе лет? – Мне 7 лет. И т.д.
Играть с роботом желательно в тихой обстановке, где нет мощных источников шума – телевизор, магнитофон… Команды произносите четко, не спеша. Робот принимает команды с расстояния до 3-х метров.
Список голосовых команд для робота
Дождавшись ответа, можно задавать следующий вопрос. «Электрон» не может принимать одновременно несколько команд. Перемещается он по твёрдому полу, так как ездит на колёсиках. На мягком ковре не будет.
Размеры устройства внушительные, ребёнку 5-7 лет он будет по грудь.
О батарейках можете не заботиться – робот работает от встроенного никель-кадмиевого аккумулятора, который входит в комплект. Его ресурса хватит на час активной игры, а заряжается он примерно 8 часов. Напряжение АКБ – 4,8 вольт при ёмкости 400 мА.
Чтоб зарядить аккумулятор, надо открутить небольшой крестовой отвёрткой несколько винтов на спине робота и снять крышку. Под ней блок аккумуляторов, который отключается от схемы и к разъёму подсоединяем зарядное.
ЗУ на 4,8 В 250 мА. Если вы его сломали или потеряли, можно использовать любое стандартное от мобильного телефона или заряжать от переходника USB. Нужно только припаять нужное гнездо. Схема достаточно серьёзная. Внутри стоит залитая компаундом микросхема и сервоприводы для движений рук, ног, головы.
Чтоб наглядно увидеть работа с голосовым управлением в бою – посмотрите этот видеоролик.
Как выглядит в действии робот с ГУ – видео
В общем можно смело рекомендовать эту игрушку для детей возрастом от 3-х лет. Однако присматривайте за ними в процессе игры, так как у них будет велик соблазн открутить роботу разные части тела:)
Робот которым можно управлять голосом
Роботы-пылесосы с голосовым управлением стали популярны после создания системы «умный дом». Технология позволяет контролировать работу электронного уборщика посредством виртуальных ассистентов, подобных Amazon Alexa, Google Assistant. Функция управления голосом доступна в аппаратах среднего и премиального ценового сегмента. Рассмотрим, как выбрать подобные модели, их плюсы и минусы.
Особенности технологии
Голосовое управление роботом-пылесосом осуществляется с помощью предустановленных в системе или заданных самостоятельно команд. Владелец должен четко произносить указания, чтобы робот-пылесос смог их верно расшифровать.
Устройства используют распространенные голосовые интерфейсы для обработки команд:
Русскую речь прибор понимает только при условии использования отечественного виртуального помощника Яндекс.Алиса. С остальными ассистентами придется общаться на английском или даже китайском языке.
Современные роботы-пылесосы управляются через приложение на смартфоне, пульт ДУ или кнопки на корпусе, поэтому удобство голосовых команд спорно. Тем более, предустановленные «приказы» обычно сводятся к включению и отключению гаджета. Все меняет наличие колонки с интеллектуальным помощником и других элементов «умного дома». В этом случае можно задавать общие команды, а встроенные в экосистему приборы выполнят заранее запрограммированные действия.
Один из недостатков технологии – неверное распознавание произносимых фраз. Плохому восприятию способствуют посторонние шумы, звук работающего пылесоса. Команды следует произносить в тишине и непосредственной близости от прибора, что не всегда удобно.
Голосовое управление роботом-пылесосом Xiaomi, Ecovacs или другой популярной марки не гарантирует высокое качество очистки помещений или наличие других продвинутых функций. Зачастую девайсы с указанной функцией оснащены ограниченным приложением, не создают карту дома. Многие электронные уборщики превосходят их технически, лучше справляются с основными функциями. Например, робот-пылесос Cleverpanda i7 не распознает голосовые команды, но оснащен удобным и функциональным мобильным приложением, тщательно очищает любые покрытия от загрязнений.
Лучшие модели с голосовым контролем
Рынок предлагает большое количество подобных устройств, но особенности голосового управления моделей одного бренда мало чем отличаются от другого. Рассмотрим пять лучших производителей моделей с заявленной функцией.
Ecovacs
Китайский производитель выпускает роботы-пылесосы, которые встраиваются в экосистему умного дома Amazon Echo, Google Home. К таким моделям относится Deebot N79S. Прибор предназначен для сухой очистки помещений, оснащен турбощеткой. Небольшая сила всасывания до 500 Па позволяет ему очищать только гладкие напольные покрытия.
Ozmo 902 и DE55 от Ecovacs также распознают голосовые команды. Кроме сухой уборки обе модели проводят влажную. Гаджеты оснащены навигацией с лазерным дальномером, строят карту комнат. Ozmo 902 автоматически увеличивает силу всасывания при обнаружении ковров.
iRobot
Роботы-пылесосы Roomba i7 и S9 от американской компании контролируются через ассистентов Alexa и Google. Оба прибора премиум-класса оснащены продвинутым искусственным интеллектом, регулирующим всасывающую способность в зависимости от очищаемого покрытия. Roomba i7 выполняет только сухую очистку, укомплектован навигационной системой с видеокамерой.
Roomba S9 – усовершенствованная версия предыдущей модели. Она выполнена в D-образной форме, что, по задумке производителя, улучшает качество очистки углов и участков вдоль плинтусов. Устройство синхронизируется с полотером Braava Jet M6 для проведения комплексной уборки.
Xiaomi
Полноценное управление устройствами Xiaomi голосом возможно после встраивания девайса в систему умного дома Mijia. Настройка команд производится в приложении Mi Home. Для этого в мобильной программе следует прописать нужные сценарии и ключевые фразы.
Модели Xiaomi Mi Robot Vacuum Cleaner 1S и Xiaomi Roborock Sweep T6 управляются через фирменную колонку Mi Ai Speaker. Аппараты не работают с виртуальными ассистентами Amazon Alexa и Google Assistant, но Mi Robot 1S совместим с Яндекс Алисой.
Набор команд китайского робота-пылесоса с голосовым управлением на русском:
Гаджет укомплектован турбощеткой, подходит для сухой очистки любых покрытий. Roborock S6 дополнен картографией, опцией влажной протирки пола.
Neato
Американская компания также разрабатывает роботы-пылесосы с управлением через виртуальных помощников. К ним относятся Neato Botvac D4, D6 и D7 Connected.
Голосовой контроль осуществляется посредством:
Все модели от производителя из США относятся к премиум-сегменту, подходят только для сухой уборки. Устройства с корпусом в форме урезанного эллипса укомплектованы лидаром, составляют карту комнат. Neato Botvac D-серии хорошо справляются с шерстью и отлично подходят владельцам домашних животных.
iClebo
Единственная модель южнокорейского бренда, которая поддерживает управление голосом – iClebo O5 WiFi.
Аппарат работает с помощниками:
В отличие от большинства конкурентов, прибор понимает команды на русском языке. Выполненный в форме полуэллипса гаджет укомплектован комбинированной турбощеткой, навигацией с обзорной камерой. Для влажной протирки пола к корпусу прикрепляется насадка со смоченной вручную тряпкой из микрофибры.
В интернет-магазине Botmania вы сможете купить роботы-пылесосы с голосовым управлением по самым низким ценам. Закажите обратный звонок, и наши менеджеры ответят на любые ваши вопросы. Оформите заказ, оплатите его при получении или любым другим удобным для вас способом.
Как добавить голосовое управление Алисой роботу-пылесосу Xiaomi/Dreame
В нашем веке уже не удивишь голосовым управлением бытовой техникой. Алиса уже научилась не только ругаться и сниматься в тиктоках, но также и может управлять умными устройствами в вашем умном доме. После приобретения робота-пылесоса от дочерней компании СЯОМИ Dreame Bot L10Pro я подумал, неплохо было и мне обучить его прибираться по приказу. Оказывается Алиса уже давно подружилась с большинством девайсов, которые управляются через приложение MiHome.
Для настройки не понадобится ничего сложного и справится даже школьник.
Нам нужно наличие 2-х приложений в телефоне, а именно:
Для начала, проверяем, добавлен ли робот-пылесос в MiHome, как устройство.
После этого переходим в приложение Яндекса и вводим свой логин и пароль. Если вы не имеете учетной записи Яндекс, то зарегистрировать ее очень легко, порядка 3-х минут.
Затем нужно создать заготовку умного дома, то есть добавить место обитания умных девайсов. Стандартно он называется мой дом
Нажимаем на иконку «устройства», она находится в меню приложений Яндекса (обведено кружком). Выбираем из большого списка бочонок подписанный, как устройства. Нажимаем плюсик добавления нового устройства, выбираем другое устройство и находим внизу во вкладке популярных производителей XIAOMI. Для продолжения программа попросит ввести пароль и логин от учетной записи MiHome.
После этого заходим в «Мой дом» и видим, что у нас появились устройства, с которыми Алиса уже знакома из приложения MiHome. Для робота требуется настройка, жмем на него. Главное условие, назвать его именем с кириллическими буквами, иначе голосовое управление его не поймет. После этого можно увидеть, что Алиса знает все об вашем пылесосе, включая модель и прошивку.
Собственно вот и все. Осталось только раздавать голосовые команды и робот будет выполнять свою работу. А список разрешенных или приемлемых команд Алиса подскажет сама.
Проверял на своем работнике, пылесос стабильно отрабатывает все команды как старт, пауза, иди на зарядку, без нареканий. Вот наша жизнь и стала немножечко современнее. Я понимаю, что информация не нова, и многие и без меня уже это знали. Но, уверен, она будет полезна тем, кто просто не заморачивался с подобным функционалом, но увидев, как это просто, тоже добавит живого общения в протокол общения с вашим умным устройством. Разумеется, бонусом идет управление еще очень многими устройствами, и при помощи Алисы можно легко управлять кондиционированием, увлажнением, светом и много чем еще.
Вот вариант моего общения с пылесосом через Алису. Как оно есть с непонятками и ошибками. Если назвали пылесос пылесосом, то и, разумеется, называть его роботом нельзя )))
Кстати говоря. Управление этим же умным домом можно и через Google Aleha. Но это уже другая история.
Подключение робота-пылесоса к Алисе
Управление роботом-пылесосом голосом, возможность встраивания его в систему «умный дом» привлекает все больше покупателей. Популярные производители выпускают аппараты с поддержкой виртуальных помощников. Команды на русском языке распознают устройства, которые сопрягаются с российским ассистентом Яндекс.Алиса. Функция реализуется в приборах среднего и премиального ценового сегмента.
Далее узнаем, что такое голосовой контроль, рассмотрим модели, которые его поддерживают. Выясним, как управлять роботом-пылесосом с помощью Алисы.
Особенности реализации технологии
Управление прибором через Алису подразумевает запуск, остановку, переключение функций с помощью голосовых команд. Реплики могут быть стандартными, заданными в системе или их придется прописывать самостоятельно, как новые рабочие сценарии. Пользователь должен четко произносить необходимые фразы, чтобы аппарат верно их распознал.
Плюсы и минусы функции
Голосовое управление роботом-пылесосом оценят по достоинству любители технических новинок и пользователи с уже интегрированной системой «умный дом». Ведь достаточно произнести нужное указание, и устройство приступит к его выполнению.
Чтобы взаимодействие не вызвало проблем, следует предварительно разобраться, как управлять роботом-пылесосом с помощью Алисы.
Недостатки у технологии тоже есть. Основной из них – неверная интерпретация команды, отданной владельцем. Это случается по причине посторонних звуков, шума работающего мотора. В реальности необходимо произносить указания в тишине и непосредственной близости от робота. Это не всегда удобно. Еще один минус – переплата за продвинутую опцию.
Изготовители добавляют к стоимости роботов-пылесосов с поддержкой Алисы немалую сумму за возможность управления голосовыми командами. При этом наличие функции не означает, что модель хорошо оснащена технически, показывает высокое качество уборки. Такие девайсы могут иметь примитивную навигационную систему, простейшее мобильное приложение. Поэтому перед покупкой внимательно изучите характеристики прибора, ознакомьтесь с его возможностями.
Роботы-пылесосы совместимые с Алисой
На рынке представлено не так много моделей с поддержкой Яндекс.Алисы. Нюансы управления голосом приборами одного бренда практически не отличаются от другого. Рассмотрим самых популярных производителей, выпускающих устройства с голосовым помощником.
Elari
Молодой российский бренд выпускает технику с опцией голосового управления на русском языке. Приборы отличаются функциональностью, неплохими техническими параметрами.
Какие роботы-пылесосы от Elari поддерживает Алиса:
Устройства укомплектованы вместительными мусоросборниками, ёмкими аккумуляторами. Основные преимущества девайсов – гарантийное сервисное обслуживание в России, бюджетная цена.
Xiaomi
Один из самых частых запросов пользователей – как подключить робот-пылесос Ксиоми к Алисе. Это можно сделать, если ваша модель поддерживает управление через отечественного виртуального помощника.
Совместимые с Алисой версии:
iClebo
Выясняете, какие роботы-пылесосы работают с Алисой, обратите внимание на девайс от южнокорейской компании. Бренд выпускает одну модель, распознающую команды на русском языке – iClebo O5 WiFi. Аппарат отличается надежной сборкой, неплохими техническими характеристиками.
Отечественные и зарубежные производители постоянно расширяют список устройств с Яндекс.Алисой. Уточняйте информацию в характеристиках устройств.
Алгоритм подключения к Алисе
Процедура подключения прибора к голосовому помощнику практически одинакова у разных производителей. Для смартфонов на iOS или Android порядок действий также однотипный. Пользователи часто интересуются, как управлять роботом-пылесосом через Алису. Предлагаем общую схему синхронизации с виртуальным ассистентом.
Установка мобильного приложения
Чтобы подключить аппарат к Алисе, установите в смартфон приложение. Оно должно соответствовать вашей модели пылесоса.
Затем выполните следующие действия:
Ярлык устройства появится на экране телефона. Теперь можно переходить к следующему этапу.
Синхронизация с Яндексом
Чтобы узнать, как включить робот-пылесос с помощью Алисы, сначала потребуется завести аккаунт в приложении Яндекс. Для запуска прибора через экосиситему «умный дом» его необходимо внести в список подключенных девайсов в личном кабинете Яндекса.
Для управления роботом-пылесосом, который работает с Алисой, понадобится объединить аккаунты приложений гаджета и Яндекса.
Для этого необходимо:
При успешном проведении операции, аппарат появится в списке, им можно будет управлять через виртуального ассистента. Голосовые команды запускают, приостанавливают, завершают уборку. Купить робот-пылесос с Алисой – упростить выполнение ежедневно повторяющейся задачи по очистке дома от пыли и мусора.
Возможные проблемы
При подключении к виртуальному помощнику иногда возникают проблемы. Синхронизация может пройти не с первого раза, выйдет ошибка и предложение повторить попытку позже. Неполадка часто возникает из-за перегруженности серверов. Подключение лучше попытаться выполнить через некоторое время.
Еще одна проблема связана с неосведомленностью пользователей, как подключить робот-пылесос Xiaomi к Алисе. В этом случае прибор не появляется в перечне активных устройств после регистрации в приложении Яндекс. Это может произойти из-за неверно выбранного региона подключения.
Для решения проблемы выполните шаги:
Гаджет должен отобразиться в списке активных. Теперь можно испытать, как робот-пылесос Xiaomi работает с Яндекс.Алисой.
Поддержка российского виртуального ассистента минимизирует участие владельцев в управлении домашней техникой. Корректная настройка подключения автоматического уборщика к Алисе повышает удобство его использования.