СПОСОБ И АППАРАТ МУЛЬТИСЕНСОРНОГО УЛУЧШЕНИЯ РЕЧИ В МОБИЛЬНОМ УСТРОЙСТВЕ Российский патент 2010 года по МПК G10L21/00 

Уровень техники

Настоящее изобретение относится к мобильным устройствам. В частности, настоящее изобретение относится к мультисенсорным мобильным устройствам.

Мобильные карманные устройства, такие как мобильные телефоны и личные цифровые помощники, которые предоставляют телефонные функции или принимают ввод речи, часто используются в условиях неблагоприятного шумового окружения, например на оживленных улицах, в ресторанах, аэропортах и автомобилях. Сильный шум окружающей среды в этом окружении может делать неразборчивой речь пользователя и затруднять понимание того, что человек говорит. Помимо этого он серьезно снижает точность распознавания речи.

Хотя были разработаны системы фильтрации шума, которые пытаются устранять шум на основе модели шума, эти системы не смогли устранить шум полностью. В частности, многие эти системы испытывают трудности в том, чтобы устранять шум, который состоит из речи других людей на фоне. Одна из причин этого состоит в том, что чрезвычайно трудно, если не невозможно, для этих систем определять, что речевой сигнал, принятый посредством микрофона, пришел от кого-то иного, чем человек, использующий мобильное устройство.

Для головных телефонов, которые крепятся на голове пользователя посредством закрепления гарнитуры вокруг головы или за ушами пользователя, были разработаны системы, которые предоставляют более надежную фильтрацию шума, основываясь на дополнительных типах датчиков на гарнитуре. В одном примере датчик костной проводимости помещается на один конец гарнитуры и прижимается до соприкосновения с кожей, охватывая череп, уши или нижнюю челюсть пользователей за счет эластичности гарнитуры. Датчик костной проводимости распознает колебания черепа, ушей или нижней челюсти, которые создаются, когда пользователь говорит. С помощью сигнала от датчика костной проводимости эта система может лучше идентифицировать, когда пользователь говорит, и как результат может лучше фильтровать шум в речевом сигнале.

Хотя такие системы хорошо подходят для гарнитур, гарнитуры ограничены передачей данных по проводному соединению с телефоном. По существу, их использование в более распространенных приложениях обмена данными ограничено. Помимо этого гарнитура визуально непривлекательна (большая и громоздкая), а также ее неудобно носить весь день, и как результат маловероятно, что пользователи захотят не снимать ее в течение всего дня. Это делает гарнитуры неудобными для использования.

Сущность изобретения

Предусмотрено мобильное устройство, которое включает в себя микрофон воздушной проводимости и альтернативный датчик, который предоставляет сигнал альтернативного датчика, указывающий на речь. Интерфейс обмена данными дает возможность мобильному устройству непосредственно обмениваться данными с другими мобильными устройствами.

Краткое описание чертежей

Фиг.1 - вид в перспективе одного варианта осуществления настоящего изобретения.

Фиг.2 иллюстрирует телефон фиг. 1 в положении на левой стороне головы пользователя.

Фиг.3 иллюстрирует телефон фиг. 1 в положении на правой стороне головы пользователя.

Фиг.4 - блок-схема микрофона костной проводимости.

Фиг.5 - вид в перспективе альтернативного варианта осуществления настоящего изобретения.

Фиг.6 - вид в поперечном разрезе микрофона костной проводимости согласно одному варианту осуществления настоящего изобретения.

Фиг.7 - вид спереди варианта осуществления с ожерельем мобильного устройства настоящего изобретения.

Фиг.8 - вид сзади одного варианта осуществления с ожерельем фиг. 7.

Фиг.9 иллюстрирует вариант осуществления фиг. 7 с ожерельем, размещенным на пользователе.

Фиг.10 предоставляет вид в перспективе варианта осуществления с браслетом/часами мобильного устройства настоящего изобретения.

Фиг.11 - блок-схема мобильного устройства согласно одному варианту осуществления настоящего изобретения.

Фиг.12 - блок-схема общей системы обработки речи настоящего изобретения.

Фиг.13 - блок-схема, иллюстрирующая возможное подключение обмена данными мобильных устройств настоящего изобретения.

Фиг.14 - блок-схема, иллюстрирующая множество подключений обмена данными с мобильным устройством настоящего изобретения, чтобы облегчать встречу.

Фиг.15 - блок-схема, иллюстрирующая множество подключений обмена данными с мобильным устройством настоящего изобретения, чтобы облегчать диспетчеризацию производственных нарядов.

Фиг.16 - блок-схема, иллюстрирующая множество подключений обмена данными с мобильным устройством настоящего изобретения, чтобы облегчать групповой обмен данными и оказывать помощь по спасению.

Фиг.17 - блок-схема, иллюстрирующая множество подключений обмена данными с мобильным устройством настоящего изобретения, чтобы облегчать проведение игр.

Фиг.18 - блок-схема, иллюстрирующая возможность сохранять, организовывать и просматривать видео и аудио с помощью мобильного устройства настоящего изобретения.

Фиг.19 - блок-схема, иллюстрирующая множество подключений обмена данными с мобильным устройством настоящего изобретения, чтобы облегчать определение местоположения и обмен данными с детьми/пожилыми людьми.

Фиг.20 - блок-схема, иллюстрирующая множество подключений обмена данными с мобильным устройством настоящего изобретения, чтобы облегчать встречи, которые требуют перевода речи.

Фиг.21 - блок-схема, иллюстрирующая множество подключений обмена данными с мобильным устройством настоящего изобретения, чтобы облегчать встречи, которые требуют перевода речи.

Фиг.22 - блок-схема, иллюстрирующая множество одноранговых подключений обмена данными между мобильным устройством настоящего изобретения и другими устройствами.

Осуществление изобретения

Варианты осуществления настоящего изобретения предоставляют мобильные устройства, которые содержат и микрофон воздушной проводимости, и альтернативный датчик, который может быть использован при распознавании речи и фильтрации шума. Примеры мобильных устройств настоящего изобретения включают в себя сотовые телефоны, личные цифровые помощники, ювелирные изделия и часы. Фиг.1 предоставляет типичный вариант осуществления, в котором мобильным устройством является мобильный телефон 100. Мобильный телефон 100 включает в себя клавишную панель 102, дисплей 104, элемент управления 106 курсором, микрофон 108 воздушной проводимости, динамик 110, два микрофона 112 и 114 костной проводимости и дополнительно датчик 116 близости. Мобильный телефон 100 также включает в себя источник питания, например, аккумулятор, процессор, детектор и процессор спутникового сигнала глобального позиционирования, которые не видны на поверхности телефона. Дополнительно мобильный телефон 100 может также включать в себя датчик пульса, датчик оксиметрии, датчик температуры и видеокамеру.

Сенсорная панель 102 дает пользователю возможность вводить цифры и буквы в мобильный телефон. В других вариантах осуществления сенсорная панель 102 объединена с дисплеем 104 в форме сенсорного экрана. Элемент управления 106 курсором дает пользователю возможность выделять и выбирать информацию на дисплее 104 и прокручивать изображения и страницы, большие по размеру, чем дисплей 104.

Как проиллюстрировано на фиг. 2 и 3, когда мобильный телефон 100 помещен в стандартное положение для разговора по телефону, динамик 110 размещается около левого уха 200 или правого уха 300 пользователя, а микрофон 108 воздушной проводимости размещен рядом с ртом 202 пользователя. Когда телефон размещен рядом с левым ухом пользователя, как на фиг. 2, микрофон 114 костной проводимости соприкасается с черепом или ухом пользователя и генерирует сигнал альтернативного датчика, который предоставляет информацию о речи и может быть использован, чтобы устранять шум из речевого сигнала, принятого микрофоном 108 воздушной проводимости. Например, информация, предоставленная в сигнале альтернативного датчика, может включать в себя указание на то, разговаривает ли пользователь, а также низкочастотную информацию, относящуюся к речи пользователя. Когда телефон размещен рядом с правым ухом пользователя, как на фиг. 3, микрофон 112 костной проводимости соприкасается с черепом или ухом пользователя и генерирует сигнал альтернативного датчика, который может быть использован, чтобы устранять шум из речевого сигнала.

Дополнительный датчик 116 близости показывает, как близко телефон располагается к пользователю. Как подробнее описано ниже, эта информация используется, чтобы присваивать веса вкладу микрофонов костной проводимости в генерирование значения речи. В общем, если детектор близости распознает, что телефон близко к пользователю, сигналам микрофонов костной проводимости присваиваются большие веса, чем если телефон находится на некотором расстоянии от пользователя. Эта настройка отражает тот факт, что сигнал микрофона костной проводимости более точно показывает, что пользователь говорит, когда находится в соприкосновении с пользователем. Когда он отстоит на некотором расстоянии от пользователя, то более восприимчив к шуму окружающей среды. Датчик близости используется в вариантах осуществления настоящего изобретения, поскольку пользователи не всегда держат телефон прижатым к своей голове.

Фиг.4 иллюстрирует один вариант осуществления датчика 400 костной проводимости настоящего изобретения. В датчике 400 неконтактный мост 402 из эластомера прикреплен к мембране 404 обычного микрофона 406 воздушной проводимости. Этот неконтактный мост 402 проводит колебания от контакта 408 с кожей пользователя непосредственно в мембрану 404 микрофона 406. Движение мембраны 404 преобразуется в электрический сигнал преобразователем 410 в микрофоне 406.

Фиг.5 предоставляет альтернативный вариант осуществления мобильного телефона 500 с карманным мобильным устройством настоящего изобретения. Мобильный телефон 500 включает в себя клавишную панель 502, дисплей 504, элемент управления 106 курсором, микрофон 508 воздушной проводимости, динамик 510 и сочетание микрофона костной проводимости и датчика 512 близости.

Как показано на виде в поперечном разрезе фиг. 6, сочетание микрофона костной проводимости и датчика 512 близости состоит из неконтактной среднезаполненной (жидкостью или эластомером) прокладки 600, которая имеет наружную поверхности 602, предназначенную, чтобы соприкасаться с пользователем, когда пользователь помещает телефон у своего уха. Прокладка 600 формирует кольцо вокруг отверстия, которое обеспечивает проход звука от динамика 510, который размещен в отверстии или непосредственно под отверстием в телефоне 500. Прокладка 600 не ограничена этой формой, и может быть использована любая форма для прокладки. В общем, тем не менее, предпочтительно, если прокладка 600 включает в себя части слева и справа от динамика 510, так чтобы, по меньшей мере, одна часть прокладки 600 соприкасалась с пользователем независимо от того, у какого уха пользователь помещает телефон. Части прокладки могут быть внешне непрерывными или могут быть внешне разделенными, но с помощью жидкой среды соединены друг с другом внутри телефона.

Электронный преобразователь 604 давления гидравлически соединен с жидкостью или эластомером в прокладке 600 и преобразует давление жидкости в прокладке 600 в электрический сигнал на проводнике 606. Примеры электронного преобразователя 604 давления включают в себя основанные на MEMS преобразователи. В общем, преобразователь 604 давления должен иметь высокочастотную характеристику.

Электрический сигнал в проводнике 606 включает в себя две составляющие, постоянную составляющую тока и переменную составляющую тока. Постоянная составляющая тока предоставляет сигнал датчика близости, поскольку статическое давление в прокладке 600 будет выше, когда телефон прижимается к уху, чем когда телефон находится на некотором расстоянии от уха пользователя. Переменная составляющая тока электрического сигнала предоставляет сигнал микрофона костной проводимости, поскольку колебания в костях черепа, челюсти или уха пользователя создают флюктуации давления в прокладке 600, которые преобразуются в электрический сигнал переменного тока преобразователем 604 давления. Согласно одному варианту осуществления фильтр применяется к электрическому сигналу, чтобы дать возможность пройти постоянной составляющей тока сигнала и переменным составляющим выше минимальной частоты.

Хотя выше были описаны два примера датчиков костной проводимости, другие формы датчика костной проводимости также не выходят за рамки области применения настоящего изобретения.

Фиг.7 и 8 иллюстрируют вид спереди и вид сзади альтернативного варианта осуществления мобильного устройства согласно настоящему изобретению. На фиг. 7 и 8 мобильное устройство 700 состоит из ожерелья или шейного украшения 702 и наушника 704. Ожерелье 702 включает в себя декоративный/орнаментный диск или брелок 706, который подвешен на одеваемом на шею предмете 708, например ремешке или шнурке. Одеваемый на шею предмет поддерживает мобильное устройство на пользователе и предназначен, чтобы быть прикрепленным к шее пользователя. Декоративный диск 706 включает в себя отверстие 708 микрофона и отверстие 710 для видео.

Как проиллюстрировано с помощью вида сзади фиг. 8, мобильное устройство 700 включает в себя аккумулятор 710, который питает микрофон 712 воздушной проводимости, альтернативный датчик 714, видеокамеру 716, набор 718 микросхем обработки и приемное устройство 720 спутникового сигнала глобального позиционирования (GPS). Набор 718 микросхем обработки соединен с микрофоном 712 воздушной проводимости, альтернативным датчиком 714, видеокамерой 716 и приемным устройством 720 GPS. Набор 718 микросхем обработки включает в себя процессор, запоминающее устройство, интерфейс ввода/вывода и интерфейс обмена данными. Интерфейс обмена данными дает процессору возможность обмениваться данными с процессором в наушнике 704, давая возможность процессору в наборе 718 микросхем обработки передавать электрические сигналы, представляющие акустическую информацию, наушнику 704. Интерфейс обмена данными набора 718 микросхем обработки также может в беспроводном режиме обмениваться данными с набором других устройств, в том числе видеодисплеем, персональной вычислительной машиной, маршрутизатором и другими мобильными устройствами. Протокол, используемый при таком обмене данными, может включать в себя любой известный протокол, в том числе любые разновидности протокола 802.11.

Наушник 704 включает в себя наружную часть 730, часть 732 ушного канала и отверстие 734 динамика. Наушник 704 принимает сигнал от набора 718 микросхем обработки и преобразует этот сигнал в слуховой сигнал посредством динамика, который является внутренним для наушника 704. Данный слуховой сигнал выходит через отверстие 734 динамика в ухо пользователя. Наушник 704 включает в себя аккумулятор (не показан) и интерфейс обмена данными, который дает ему возможность обмениваться данными с интерфейсом обмена данными набора 718 микросхем обработки.

Как показано на фиг.9, одеваемый на шею предмет 708 охватывает шею 900 пользователя, чтобы помещать брелок 706 в соприкосновении с передней частью шеи пользователя чуть ниже щитовидного хряща гортани, часто называемого "кадыком". Наушник 704 помещен в ухо пользователя, так что внешняя часть 730 располагается между козелком 900 и антикозелком 902 наружного уха.

Фиг.10 предоставляет наглядное изображение другого варианта осуществления мобильного устройства согласно настоящему изобретению. На фиг. 10 мобильное устройство включает в себя часы или браслет 1000 и наушник 1002. Часы 1000 включают в себя корпус 1001, размещенный на надеваемом на запястье предмете 1006, например обруче, предназначенном, чтобы закрепляться вокруг запястья пользователя. Корпус 1001 имеет внутреннюю часть, которая держит набор электронного устройства, которое включает в себя аккумулятор, процессор, память, интерфейс обмена данными, интерфейс ввода/вывода, приемное устройство спутникового сигнала глобального позиционирования, видеокамеру, динамик, микрофон воздушной проводимости, датчик пульса, датчик оксиметрии и датчик температуры. Эти устройства описаны более подробно на фиг. 11. Интерфейс обмена данными дает процессору возможность обмениваться данными с процессором в наушнике 1002 и тем самым передавать акустическую информацию в наушник 1002 и принимать данные от альтернативного датчика 1018 в наушнике 1002. Помимо этого интерфейс обмена данными дает возможность беспроводного обмена данными с одним или более из маршрутизатора, персональной вычислительной машины и других мобильных устройств. Корпус 1001 включает в себя отверстия, соответствующие некоторым из электронных устройств в корпусе, включая счетчик 1008 пульса и оксиметрии, микрофон 1010 воздушной проводимости, видеокамеру 1012. Измерительный прибор 1008 пульса и оксиметрии замеряет пульс пользователя, когда пользователь помещает палец на счетчик, а также замеряет содержание кислорода в крови пользователя с помощью источника света или светочувствительного датчика. Наружная часть одной стороны корпуса 1001 также включает в себя дисплей 1004.

Наушник 1002 включает в себя наушную часть 1014, предназначенную, чтобы быть помещенной в ушной канал пользователя, и отверстие 1016 динамика. Помимо этого наушник 1002 включает в себя альтернативный датчик 1018, который остается напротив челюсти пользователя, когда наушник 1002 вставлен в ушной канал пользователя.

Фиг.11 - блок-схема мобильного устройства 1100 согласно нескольким вариантам осуществления настоящего изобретения. Мобильное устройство 1100 включает в себя источник 1152 питания, микропроцессор 1102, память 1104, интерфейс 1106 ввода/вывода и интерфейс 1108 обмена данными для обмена данными с удаленными вычислительными машинами, сетями обмена данными или другими мобильными устройствами. В одном варианте осуществления вышеупомянутые компоненты подсоединены для обмена данными друг с другом по надлежащей шине 1110. Помимо этого все компоненты, которые требуют питания, подключены к источнику 1152 питания, которым типично является аккумулятор. На фиг. 11 соединения между источником 1152 питания и остальными компонентами не показаны, чтобы избежать ненужного усложнения чертежа.

Память 1104 может быть реализована как энергонезависимая электронная память, такая как оперативное запоминающее устройство (ОЗУ) с модулем аварийного аккумуляторного питания (не показана), так чтобы информация, сохраненная в памяти 1104, не была потеряна, когда основное питание мобильного устройства 1100 выключается. Альтернативно, все части памяти 1104 могут быть энергозависимой или энергонезависимой съемной памятью. Часть памяти 1104 предпочтительно назначается в качестве адресуемой памяти для исполнения программ, тогда как другая часть памяти 1104 предпочтительно используется для хранения, например, чтобы эмулировать хранение на жестком диске.

Память 1104 включает в себя операционную систему 1112, прикладные программы 1114, а также запоминающее устройство 1116 объектов. В ходе работы операционная система 1112 предпочтительно приводится в исполнение процессором 1102 из памяти 1104. Операционной системой 1112 в одном предпочтительном варианте осуществления является операционная система торговой марки WINDOWS CE, коммерчески распространяемая корпорацией Майкрософт. Операционная система 1112 предпочтительно предназначена для мобильных устройств и реализует функции базы данных, которая может быть использована приложениями 1114 посредством набора открытых интерфейсов и способов прикладного программирования. Объекты в запоминающем устройстве 1116 объектов сохраняются посредством приложений 1114 и операционной системы 1112, по меньшей мере, частично в ответ на обращения к открытым интерфейсам и способам прикладного программирования.

Интерфейс 1108 обмена данными представляет множество устройств и технологий, которые дают возможность мобильному устройству 1100 отправлять и принимать информацию. В некоторых вариантах осуществления интерфейс 1108 обмена данными включает в себя интерфейс сотовой телефонной сети, который взаимодействует с сотовой телефонной сетью, чтобы разрешить вызовам быть размещенными и принятыми. Другие интерфейсы включают в себя интерфейс телефонных систем частного пользования, интерфейс беспроводного протокола, например, 802.11 и его разновидности, спутниковые приемные устройства и широковещательные тюнеры, помимо прочего. Мобильное устройство 1100 также может быть напрямую подключено к вычислительной машине, чтобы обмениваться с ней данными. В таких случаях интерфейсом 1108 обмена данными может быть инфракрасное приемо-передающее устройство либо последовательное или параллельное подключение обмена данными, все из которых могут передавать потоковую информацию.

Интерфейс 1108 обмена данными дает мобильному устройству 1100 возможность обмениваться данными с внешними серверами 1154 и удаленным устройством 1156, включая прямую передачу данных другим мобильным устройствам.

Машиноисполняемые инструкции, которые приводятся в исполнение процессором 1102, чтобы реализовать настоящее изобретение, могут быть сохранены в памяти 1104 или приняты по интерфейсу 1108 обмена данными. Эти инструкции находятся в машиночитаемом носителе, который без ограничений может включать в себя носитель хранения вычислительной машины и носитель передачи данных.

Носитель хранения вычислительной машины включает в себя энергозависимый и энергонезависимый, сменный и стационарный носитель, реализованный по любому способу или технологии хранения такой информации как машиночитаемые инструкции, структуры данных, программные модули и др. данные. Носитель хранения вычислительной машины включает в себя (но не только) ОЗУ, ПЗУ, электрически стираемое программируемое ПЗУ, флэш-память или другую технологию памяти, CD-ROM, универсальные цифровые диски (DVD) или другие оптические диски, магнитные кассеты, магнитные ленты, магнитные диски или другие магнитные устройства хранения, либо любой другой носитель, который может быть использован, чтобы сохранять нужную информацию, и к которому можно осуществлять доступ.

Носитель передачи данных в типичном варианте содержит машиночитаемые инструкции, структуры данных, программные модули или другие данные в модулированном информационном сигнале, таком как несущее колебание или другой механизм распространения, и включает в себя любой носитель для доставки информации. Термин "модулированный сигнал данных" означает сигнал, который имеет одну или более из его характеристик, установленных или изменяемых таким образом, чтобы кодировать информацию в сигнале. Для примера, но не в качестве ограничения, носитель передачи данных включает в себя проводной носитель, такой как проводная сеть или непосредственное проводное соединение, и беспроводной носитель, такой как акустическая среда, радиочастота, инфракрасное излучение и другая беспроводная среда. Сочетания любого из вышеперечисленного также следует включить в число машиночитаемых носителей.

Интерфейс 1106 ввода/вывода представляет интерфейсы к набору устройств ввода и вывода, в том числе приемное устройство 1148 спутникового сигнала глобального позиционирования (GPS), видеокамеру 1150, динамик 1130, цифровой вход 1132 (например, одна или набор кнопок, сенсорный экран, шаровой манипулятор, мышь, ролик или сочетание этих компонентов, которые могут управляться манипуляциями большим или другим пальцем), дисплей 1134, микрофон 1136 воздушной проводимости, альтернативный датчик 1138, датчик 1142 пульса, датчик 1144 оксиметрии и датчик 1146 температуры. Согласно одному варианту осуществления альтернативным датчиком 1138 является микрофон костной проводимости или гортанной проводимости. Устройства перечислены выше в качестве примера и необязательно все должны присутствовать на мобильном устройстве 1100. Помимо этого другие устройства ввода/вывода могут быть присоединены или находиться в мобильном устройстве 1100 без отступления от области применения настоящего изобретения.

С помощью микрофона воздушной проводимости или альтернативного датчика варианты настоящего изобретения могут предоставлять улучшенный речевой сигнал. Фиг. 12 предоставляет базовую блок-схему системы обработки речи вариантов осуществления настоящего изобретения, которая предоставляет улучшенный речевой сигнал.

На фиг.12 динамик 1200 генерирует речевой сигнал 1202, который распознается микрофоном 1204 воздушной проводимости и альтернативным датчиком 1206. Одним примером альтернативного датчика является датчик костной проводимости, который размещен на или рядом с лицевой или черепной костью пользователя (например, челюстной костью) или на ухе пользователя и который воспринимает колебания уха, черепа или челюсти, которые соответствуют речи, генерируемой пользователем. Другим примером альтернативного датчика является инфракрасный датчик, который ориентирован и распознает движение рта пользователя. Дополнительным примером альтернативного датчика является гортанный датчик, который воспринимает колебания гортани пользователя, которые соответствуют речи, генерируемой пользователем. Микрофон 1204 воздушной проводимости - тип микрофона, который используется, как правило, чтобы преобразовывать звуковые волны в электрические сигналы.

Микрофон 1204 воздушной проводимости также принимает шум 1208, генерируемый одним или более источниками 1210 шума. В зависимости от типа альтернативного датчика и уровня шума шум 1208 также может быть распознан альтернативным датчиком 1206. Тем не менее согласно большинству вариантов осуществления настоящего изобретения альтернативный датчик 1206 типично менее чувствителен к шуму окружающей среды, чем микрофон 1204 воздушной проводимости. Таким образом, сигнал 1212 альтернативного датчика, генерируемый альтернативным датчиком 1206, обычно включает в себя меньше шума, чем сигнал 1214 микрофона воздушной проводимости, генерируемый микрофоном 1204 воздушной проводимости.

Сигнал 1212 альтернативного датчика и сигнал 1214 микрофона воздушной проводимости предоставляются устройством 1216 оценки чистого сигнала, который оценивает чистый речевой сигнал 1218 из сигнала 1212 альтернативного датчика и сигнала 1214 микрофона воздушной проводимости. Оценка 1218 чистого сигнала предоставляется в речевой процесс 1220. Чистым речевым сигналом 1218 может быть либо отфильтрованный сигнал временной области, либо вектор области признаков. Если оценка 1218 чистого сигнала - это сигнал временной области, речевой процесс 1220 может принимать форму приемного устройства, передающего устройства в форме сотового телефона, системы кодирования речи или системы распознавания речи. Если чистый сетевой сигнал 1218 - это вектор области признаков, речевой процесс 1220 обычно представляет собой систему распознавания речи.

Настоящее изобретение использует несколько способов и систем оценки чистой речи с помощью сигнала 1214 микрофона воздушной проводимости и сигнала 1212 альтернативного датчика. Одна система использует обучающие стереоданные, чтобы обучать поправочные векторы для сигнала альтернативного датчика. Когда эти поправочные векторы впоследствии добавляются, чтобы протестировать вектор альтернативного датчика, они предоставляют оценку вектора чистого сигнала. Одно дополнительное расширение данной системы - сначала отслеживать изменяющиеся во времени искажения и затем вставлять эту информацию в вычисление поправочных векторов и в оценку чистой речи.

Вторая система предоставляет интерполяцию между оценкой чистого сигнала, сгенерированной поправочными векторами, и оценкой, сформированной посредством вычитания оценки текущего шума в тестовом сигнале воздушной проводимости из сигнала воздушной проводимости. Третья система использует сигнал альтернативного датчика, чтобы оценить основной тон речевого сигнала, и затем использует оцененный основной тон, чтобы определить оценку для чистого речевого сигнала. Четвертая система использует непосредственную фильтрацию, в которой сигнал альтернативного датчика и сигнал воздушной проводимости используются, чтобы определить одну или более характеристик канала альтернативного датчика. Характеристика(и) канала затем используются, чтобы оценить чистый речевой сигнал.

С помощью интерфейсов 1108 обмена данными мобильное устройство настоящего изобретения может обмениваться данными с большим числом других устройств посредством большого числа различных сетей, как проиллюстрировано на блок-схеме фиг. 13. На фиг. 13 проиллюстрировано три мобильных устройства 1300, 1302 и 1304. Эти мобильные устройства могут обмениваться данными друг с другом посредством интерфейса 1108 обмена данными. Согласно одному конкретному варианту осуществления протокол обмена данными 802.11 используется, чтобы обмениваться данными между мобильными устройствами. Мобильные устройства могут обмениваться данными друг с другом на основе "один-с-одним", например, обмениваются данными только мобильные устройства 1300 и 1302 без обмена данными с мобильным устройством 1304. Мобильные устройства также могут обмениваться данными в конфигурации "один-со-многими", в которой одно из мобильных устройств обменивается данными со всеми другими мобильными устройствами, но другие мобильные устройства не обмениваются данными друг с другом. Например, мобильное устройство 1300 будет обмениваться данными с мобильными устройствами 1302 и 1304, но мобильное устройство 1302 не будет обмениваться данными с мобильным устройством 1304. Мобильные устройства также могут обмениваться данными на основе "многие-со-многими", когда все мобильные устройства могут обмениваться данными друг с другом.

Каждое мобильное устройство также может обмениваться данными с одной или более из множества сетей, например, сотовой телефонной сетью 1306, телефонной сетью 1308 частного пользования и локальной вычислительной сетью/глобальной вычислительной сетью (ЛВС/ГВС) 1310. Чтобы обмениваться данными с сотовой телефонной сетью 1306, мобильные устройства могут использовать прямой канал связи с сотовой телефонной вышкой посредством интерфейса 1108 обмена данными или могут обмениваться данными с сотовым телефоном посредством локального протокола, например, 802.11. Сотовый телефон в таком случае будет передавать обмен данными мобильных устройств сотовой телефонной вышке сотовой телефонной сети 1306.

Мобильные устройства 1300, 1302 и 1304 могут обмениваться данными с телефонной сетью 1308 частного пользования посредством концентратора телефонной системы частного пользования, которая преобразует беспроводной сигнал в проводной сигнал для телефонной сети частного пользования. Любые подходящие протоколы для такого концентратора могут быть использованы согласно настоящему изобретению. Мобильные устройства могут обмениваться данными с ЛВС/ГВС 1310 посредством беспроводного подключения к дорожной вычислительной машине, персональной вычислительной машине или беспроводному маршрутизатору, который является частью ЛВС/ГВС.

Посредством сетей 1306, 1308 и 1310 мобильные устройства могут обмениваться данными с другими устройствами, например устройствами 1312 и 1314. Эти другие устройства могут содержать дорожные вычислительные машины, персональные вычислительные машины или серверы, которые предоставляют услуги мобильному устройству. Эти серверы включают в себя согласно некоторым вариантам осуществления сервер распознавания речи, который распознает текст из речевого сигнала, и/или сервер перевода, который переводит текст на одном языке в текст или звук на другом языке. Серверы также могут включать в себя сервер живого обмена данными, который дает возможность мгновенного обмена сообщениями, отслеживает информацию о присутствии, например, доступен ли пользователь для встреч, и координирует обмен данными, чтобы дать возможность совместной работы в реальном времени над документами в ходе живых встреч, которые включают в себя обмен звуковыми и видеоданными. Серверы также могут включать в себя основанный на местоположении сервер, который предоставляет информацию о мобильном устройстве, например карты, показывающие местоположение мобильного устройства относительно других интересующих точек.

Поскольку мобильное устройство настоящего изобретения использует и микрофон воздушной проводимости, и альтернативный датчик, чтобы воспринимать речевые сигналы, оно предоставляет улучшенный речевой сигнал, которые дает возможность повышенной производительности в ряде приложений. Дополнительно объединение этих микрофонов и альтернативных датчиков с другими устройствами, например приемным устройством GPS, видеокамерой и датчиком работоспособности, таким как датчик пульса, датчик оксиметрии и датчик температуры, дает возможность мобильному устройству настоящего изобретения быть использованным с несколькими серверами, чтобы предоставлять интегрированные решения, чтобы облегчать обмен данными между несколькими участниками.

Фиг.14 предоставляет блок-схему соединений между серверами и мобильным устройством, которые предоставляют возможность определять местоположение человека, имеющего при себе мобильное устройство, отправлять мгновенное сообщение мобильному устройству, чтобы запросить встречу, и использовать сервер живого обмена данными, чтобы поддерживать встречу.

На фиг.14 мобильное устройство 1300 оснащено приемным устройством GPS. С помощью информации от приемного устройства GPS мобильное устройство 1400 периодически передает данные о своем местоположении основанному на местоположении серверу 1402 посредством сетевого подключения 1404, например, сотовой телефонной сети или ЛВС/ГВС. Это дает возможность удаленному пользователю использовать приложение 1408 определения местоположения людей на вычислительном устройстве 1406 удаленного пользователя, чтобы получать информацию о местоположении мобильного устройства 1400 от основанного на местоположении сервера 1402 посредством сетевого подключения 1410. Эта информация о местоположении может включать в себя адрес или графическое представление местоположения мобильного устройства, например демонстрацию местоположения на карте.

Посредством сетевого подключения 1404, которым может быть то же сетевое подключение, используемое, чтобы подключаться к основанному на местоположении серверу 1402, или другое сетевое подключение, мобильное устройство 1400 также может обмениваться данными с сервером 1412 живого обмена данными. Посредством этого соединения пользователь, владеющий мобильным устройством 1400, может указывать то, является ли он доступным и находится ли в оперативном режиме, а также то, находится он в офисе или вне офиса. В общем, это называется информацией "о присутствии".

Помимо этого мобильное устройство 1400 может отправлять и принимать мгновенные сообщения посредством сервера 1412 живого обмена данными. Эти сообщения идут к и от устройства 1406 удаленного пользователя, который использует приложение 1414 обмена мгновенными сообщениями, чтобы отправлять и принимать сообщения. Это должно, например, дать возможность удаленному пользователю запрашивать, чтобы пользователь мобильного устройства 1400 присоединился к живой встрече.

Удаленный пользователь может устанавливать живую встречу с помощью приложения 1418 живых встреч, которое использует услуги, предоставляемые сервером 1412 живого обмена данными, чтобы давать возможность нескольким клиентам обмениваться звуковыми и видеосигналами и управлять совместно используемыми документами, так чтобы изменения в документе, сделанные на мобильном устройстве 1400, отображались в реальном времени на дисплее вычислительного устройства 1406 удаленного пользователя.

С помощью беспроводного соединения мобильное устройство 1400 может обмениваться данными с дорожной вычислительной машиной 1420. С помощью улучшенного речевого сигнала, предоставляемого посредством наличия сигнала микрофона воздушной проводимости и сигнала альтернативного датчика, мобильное устройство 1400 может отправлять речевые сигналы, представляющие команды, дорожной вычислительной машине 1420. Приложение 1422 командного управления в дорожной вычислительной машине 1420 переадресует речевые сигналы серверу 1424 распознавания речи посредством сетевого подключения 1426. Сервер 1424 распознавания речи преобразует речевой сигнал в текст и возвращает текст приложению 1422 командного управления. На основе распознанной команды приложение 1422 командного управления инициирует одно или более приложений 1428 и управляет их работой.

Одно из приложений, инициированных посредством блока 1422 командного управления, может включать в себя приложение живых встреч, которое дает возможность пользователю мобильного устройства присоединиться к живой встрече, сгенерированной удаленным пользователем 1406. Дорожная вычислительная машина 1420 может обмениваться данными с сервером 1412 живого обмена данными посредством сетевого подключения 1430. Пользователь может взаимодействовать с живой встречей непосредственно на дорожной вычислительной машине 1420 или посредством выдачи речевых команд с помощью мобильного устройства 1400 для дорожной вычислительной машины 1420. Помимо этого дорожная вычислительная машина 1420 может передавать речевые сигналы, сгенерированные мобильным устройством 1400, посредством сервера 1412 живого обмена данными устройству 1406 удаленного пользователя, тем самым обеспечивая звуковую часть живой встречи. С помощью приложения живых встреч пользователь мобильного устройства может использовать звук, видео и документы совместно с удаленным пользователем. Это включает в себя возможность и пользователю мобильного устройства, и удаленному пользователю управлять одним и тем же документом в реальном времени.

Таким образом, с помощью блок-схемы фиг. 14 удаленный пользователь может определять, что человек, имеющий при себе мобильное устройство 1400, еще не сел на борт самолета, а по-прежнему находится в аэропорту. После этого удаленный пользователь может отправить мгновенное сообщение обладателю мобильного устройства 1400, предлагая обладателю мобильного устройства присоединиться к живой встрече. Когда обладатель мобильного устройства может присоединиться к встрече, он может включить свою дорожную вычислительную машину 1420, выдать команды посредством мобильного устройства 1400 и присоединиться к живой встрече, установленной удаленным пользователем 1406. В ходе встречи пользователь может разговаривать посредством мобильного устройства 1400, чтобы предоставлять звуковой вход для живой встречи. Поскольку речь в мобильном устройстве 1400 улучшена, команды, предоставляемые дорожной вычислительной машине 1420, выполняются более эффективно и надежно, а речь, предоставляемая мобильному устройству 1400, более разборчива в ходе живой встречи.

Фиг.15 предоставляет альтернативный вариант осуществления, в котором мобильное устройство настоящего изобретения используется диспетчером, чтобы назначать задания одному или более сотрудникам и взаимодействовать с сотрудниками, чтобы предоставлять им информацию, необходимую, чтобы выполнять задания. В частности, диспетчер имеет при себе мобильное устройство 1500 на фиг. 15. Диспетчер принимает телефонные звонки от клиентов по телефонной сети 1504 частного пользования, которая обменивается данными с мобильным устройством 1500 посредством базовой станции 1502 частного пользования. В частности, базовая станция 1502 частного пользования предоставляет беспроводное соединение с мобильным устройством 1500 и преобразует передачу данных по беспроводному соединению в аналоговый сигнал, который может быть продолжен в телефонную сеть 1504 частного пользования.

После приема запроса на задание диспетчер определяет, кто из множества выездных сотрудников доступен и ближе всего к рабочей площадке. Чтобы определить, какие сотрудники доступны, диспетчер говорит в мобильное устройство 1500, чтобы сгенерировать речевые команды, который предоставляются блоку 1506 командного управления. Блок 1506 командного управления может находиться в мобильном устройстве 1500 или может быть в отдельном устройстве, например дорожной или персональной вычислительной машине. Блок 1506 командного управления преобразует речевой сигнал в одну или более команд. Согласно одному варианту осуществления блок 1506 командного управления выполняет это преобразование посредством передачи речевого сигнала серверу 1508 распознавания речи посредством сети 1510. Сервер 1508 распознавания речи преобразует речевой сигнал в текст, представляющий команду, и возвращает текст блоку 1506 командного управления.

Чтобы определить, доступен ли сотрудник, командой, предоставленной блоку 1506 командного управления, будет команда проверить состояние "присутствия" каждого сотрудника с помощью приложения 1512 присутствия. Приложение присутствия обменивается данными с сервером 1514 живого обмена данными посредством сетевого соединения 1516. Сервер живого обмена данными сохраняет и обновляет состояние присутствия каждого сотрудника. Конкретно, каждый сотрудник имеет мобильное устройство, например мобильные устройства 1518, 1520 и 1522, которые подключены к серверу 1514 живого обмена данными по сетевому подключению 1524. Заметим, что хотя на фиг. 15 проиллюстрировано одно сетевое соединение 1524, каждое мобильное устройство может быть подключено посредством различных сетевых соединений и даже различных типов сетевых соединений. Посредством сетевого соединения 1524 мобильные устройства 1518, 1520 и 1522 могут обновлять состояние присутствия каждого из сотрудников, ассоциативно связанного с мобильными устройствами.

Для сотрудников, которые доступны, диспетчер использует мобильное устройство 1500, чтобы находить текущее местоположение каждого сотрудника посредством выдачи речевой команды блоку 1506 командного управления, чтобы открыть приложение 1530 определения местоположения людей. Приложение 1530 определения местоположения людей обменивается данными посредством сетевого соединения 1532 с основанным на местоположении сервером 1534. Основанный на местоположении сервер 1534 отслеживает местоположение мобильных устройств 1518, 1520 и 1522 посредством приема информации о местоположении посредством сети 1536. Сеть 1536 может включать в себя сотовую телефонную сеть, в которой местоположение мобильного устройства определяется тем, посредством какой вышки в сотовой телефонной сети обменивается данными мобильное устройство. В других вариантах осуществления каждое мобильное устройство 1518, 1520 и 1522 может включать в себя приемное устройство GPS, и информация о положении, определенная приемными устройствами GPS, может быть передана посредством сети 1536 основанному на местоположении серверу 1534.

В ответ на запрос посредством приложения 1530 определения местоположения людей основанный на местоположении сервер 1534 может предоставлять информацию о местоположении для каждого из мобильных устройств. Эта информация о местоположении может быть в форме адреса или в форме графического представления, в котором местоположение каждого из мобильных устройств показано на карте.

На основе местоположения каждого из сотрудников диспетчер выбирает одного из сотрудников, чтобы назначить ему задание. Согласно одному варианту осуществления диспетчер отправляет мгновенное сообщение этому сотруднику посредством выдачи речевой команды с помощью блока 1506 командного управления, чтобы инициировать приложение 1538 мгновенных сообщений и создать мгновенное сообщение, которое маршрутизируется через сеть 1516, сервер 1514 живого обмена данными, сеть 1524, чтобы достичь одного из мобильных устройств 1518, 1520 и 1522. В другом варианте осуществления диспетчер выдает команду посредством мобильного устройства 1500 и блока 1506 командного управления, чтобы инициировать вспомогательное приложение 1540, которое осуществляет доступ к базе 1542 данных контактов, чтобы найти телефонный номер мобильного устройства, ассоциативно связанного с сотрудником. С помощью телефонного номера мобильное устройство 1500 подключается к мобильному устройству сотрудника посредством сотовой телефонной сети 1544. С помощью этого сотового телефонного подключения диспетчер инструктирует сотрудника, чтобы прибыть на рабочую площадку.

Если сотруднику требуются указания, как добраться до рабочей площадки, диспетчер выдает голосовую команду посредством мобильного устройства 1500, чтобы подвергнуть обработке приложение 1546 указания местоположения, которое использует основанный на местоположении сервер 1534, чтобы предоставлять указания одному из сотрудников посредством мобильных устройств 1518, 1520 и 1522. В частности, основанный на местоположении сервер 1534 использует местоположение мобильного устройства и местоположение задания, предоставленного посредством мобильного устройства 1500 диспетчером, чтобы сгенерировать карту и указания, как добраться до местоположения рабочей площадки из текущего местоположения сотрудника.

После того, как сотрудник прибыл на местоположение, он может использовать свое мобильное устройство, например мобильные устройства 1518, 1520 и 1522, чтобы установить живую встречу с диспетчером, чтобы принимать технические требования по заданию. Это может быть достигнуто посредством использования диспетчером мобильного устройства 1500, чтобы активировать приложение живых встреч, которое обменивается данными с сервером 1514 живого обмена данными, чтобы дать возможность совместной работы в реальном времени и совместного использования документов, таких как форм ввода заказов и планов проектов.

Согласно другим вариантам осуществления настоящего изобретения мобильное устройство может переключаться между различными режимами обмена данными. Например, на фиг. 16 мобильное устройство 1600 может первоначально передать информацию непосредственно другим мобильным устройствам 1602 и 1604 на основе "один-со-многими". Например, мобильное устройство 1600 может предоставлять информацию, например звук, видео, информацию о положении GPS и информацию о работоспособности, например пульс, оксиметрию и температуру, мобильным устройствам 1602 и 1604. В этом режиме обмена данными мобильное устройство 1604 может использовать информацию о положении от мобильного устройства 1600, чтобы получить графическое представление положения обладателя мобильного устройства 1600. В одном конкретном варианте осуществления мобильное устройство 1604 может предоставлять информацию о положении от мобильного устройства 1600 основанному на местоположении серверу 1608 посредством беспроводного подключения к сети 1610. Основанный на местоположении сервер 1608 затем будет использовать информацию о положении, чтобы сгенерировать карту, которая возвращается мобильному устройству 1604. В этом варианте осуществления беспроводное подключение к сети 1610 может быть выполнено посредством маршрутизатора, персональной вычислительной машины или дорожной вычислительной машины.

Мобильное устройство 1600 может переключиться с вышеописанного однорангового обмена данными на обмен данными с одним или более серверами посредством сетевого подключения 1612. Например, если обладатель мобильного устройства 1600 сталкивается с потерпевшей стороной в ходе работы, обладатель может переключить мобильное устройство 1600 из обмена данными "один-со-многими" с мобильными устройствами в обмен данными посредством сети 1612. С помощью сетевого подключения обладатель мобильного устройства 1600 может осуществлять доступ к веб-страницам, сохраненным на веб-сервере 1614, который подключен к сети 1612, чтобы определять местоположение и обмениваться данными с группой 1616 скорой помощи.

После того, как связались с группой 1616 скорой помощи, она может инициировать приложение 1620 скорой помощи, чтобы собрать информацию от мобильного устройства 1600, чтобы помочь потерпевшей стороне. Эта информация может включать в себя информацию о положении GPS, предоставленную мобильным устройством 1600 основанному на местоположении серверу 1618 посредством сети 1612. Приложение 1620 скорой помощи может отправить запрос основанному на местоположении серверу 1618, чтобы получить графическое представление положения мобильного устройства 1600, тем самым облегчая для группы 1616 скорой помощи определить местоположение обладателя мобильного устройства. Приложение 1620 скорой помощи также может использовать сервер 1622 живого обмена данными, чтобы совместно использовать информацию с обладателем мобильного устройства 1600, такую как текущее положение группы скорой помощи и ожидаемое время прибытия, а также инструкции по оказанию помощи потерпевшей стороне. Эти инструкции могут включать в себя видео, показывающее способ помощи потерпевшему, а также видео, захваченное мобильным устройством 1600 потерпевшего.

Если потерпевший также имеет при себе мобильное устройство, такое как мобильное устройство 1624, это мобильное устройство может быть включено во встречу посредством сервера 1622 живого обмена данными, с тем чтобы мобильное устройство могло предоставить информацию о потерпевшей стороне.

Если предполагается, что повреждения серьезны, группа скорой помощи может попросить службу 1626 здравоохранения в больнице присоединиться к живой встрече с помощью приложения 1628 удаленной неотложной помощи. Это приложение неотложной удаленной помощи позволяет собрать информацию о состоянии здоровья, предоставленную мобильным устройством 1624, и дать возможность службе здравоохранения предоставить звуковые и видеоинструкции группе 1616 скорой помощи. Приложение 1628 удаленной неотложной помощи может также дать возможность службе здравоохранения начать распределение необходимых ресурсов в больнице, чтобы оказать помощь пациенту, таких как диагностическое оборудование и операционные.

Мобильное устройство настоящего изобретения также может быть использовано в контексте проведения игр, чтобы дать пользователю возможность обмениваться данными с членами команды и оппонентами в игре. Как показано на фиг. 17, игроки, например игроки 1700 и 1702, обладающие соответствующими мобильными устройствами 1704 и 1706, взаимодействуют с игровой базовой станцией 1708.

Согласно одному варианту осуществления удаленный игрок 1710 определяет, что игрок 1700 доступен посредством осуществления доступа к приложению 1712 списка игроков, которое подключается к серверу 1714 живого обмена данными посредством сетевого соединения 1713, чтобы определить присутствие или доступность игрока 1700 посредством соединения между мобильным устройством 1704 и сервером живого обмена данными 1714 по сети 1716. Если сервер 1714 живого обмена данными показывает, что игрок 1700 доступен, игрок 1710 может отправить мгновенное сообщение посредством сервера 1714 живого обмена данными мобильному устройству 1704, чтобы запросить, чтобы игрок присоединился к игре. Согласно одному варианту осуществления эта игра управляется игровым сервером 1718, который подключен к игровой базовой станции 1708 посредством сети 1720 и к игроку 1710 посредством сети 1722.

В ходе проведения игры звук и видео от игроков 1700 и 1702 захватываются мобильными устройствами 1704 и 1706 соответственно и предоставляются игровой базовой станции/ПЭВМ 1708 посредством беспроводного соединения. Этот звук и/или видео предоставляются посредством сетевого соединения 1720 с игровым сервером 1718 и переадресуются игроку 1710 посредством игрового сервера 1718.

Согласно одному варианту осуществления, чтобы снизить полосу пропускания звуковой информации, распространяемой посредством сети 1720, мобильные устройства 1704 и 1706 отфильтровывают все звуки за исключением тех, которые возникают, когда игрок, ассоциативно связанный с мобильным устройством, разговаривает. В частности, посредством использования альтернативного датчика в мобильном устройстве мобильное устройство может определять, когда игрок фактически разговаривает. Когда игрок не разговаривает, мобильное устройство не передает никаких звуковых данных. Как результат, речевые сигналы от другого игрока, который находится в комнате, или речевые сигналы, сгенерированные игровой станцией посредством динамика 1724, не выводятся в качестве звуковых данных мобильными устройствами 1704 и 1706. Это снижает объем информации, которая отправляется игровой базовой станции 1708 и, таким образом, снижает объем информации, которая проходит через сеть 1720. Посредством уменьшения объема информации, выводимого мобильными устройствами 1704 и 1706, настоящее изобретение снижает энергопотребление мобильных устройств 1704 и 1706 за счет того, что не требует от мобильных устройств, чтобы они фильтровали и передавали лишние звуковые данные. Другой более прямой способ снижения энергопотребления - отключить обработку (в микрофоне), когда пользователь не разговаривает.

Мобильное устройство настоящего изобретения также дает возможность записи и сохранения звука более лучшего качества, особенно речевых сигналов, которые впоследствии могут быть проверены. Фиг. 18 предоставляет блок-схему системы, которая дает возможность сохранения и проверки звуковых и видеоданных.

На фиг. 18 мобильное устройство 1800 сохраняет звуковые и видеоданные локально в запоминающем устройстве 1802 звука/видео. С помощью беспроводного подключения к персональной вычислительной машине 1804 звуковые и видеоданные, сохраненные в запоминающем устройстве 1802, могут быть загружены в ПЭВМ 1804, чтобы стать загруженными данными 1806. Когда звуковые и видеоданные сохранены в запоминающем устройстве 1802 звука/видео, мобильное устройство 1800 включает в себя временную метку, показывающую время, когда звук и видео были захвачены, а также метку положения, показывающую положение мобильного устройства 1800, когда звук и видео были собраны. Согласно одному варианту осуществления временная метка генерируется из часов 1801, а метка положения генерируется приемным устройством спутникового сигнала глобального позиционирования 1803. Временные метки и метки положения загружаются с соответствующими звуковыми и видеоклипами в загруженные данные 1806.

С помощью временных меток контролируемая по времени записная книжка 1808 может организовывать данные на основе времени, чтобы сформировать организованные по времени данные 1810. Основанная на местоположении записная книжка 1812 организует звуковые и видеоданные на основе метки положения, ассоциативно связанной с данными, чтобы сформировать организованные по местоположению данные 1814. Затем пользователь может использовать дисплей персональной вычислительной машины 1804, чтобы проверять организованные по времени данные 1810 или организованные по местоположению данные 1814.

Звуковые данные в загруженных данных 1806 также могут быть преобразованы приложением 1816 преобразования. Чтобы преобразовать звуковые данные, приложение 1816 преобразования может использовать сервер 1818 распознавания речи, который может находиться локально на персональной вычислительной машине 1804 или может быть подключен к персональной вычислительной машине 1804 посредством сетевого соединения 1820. Приложение 1816 преобразования отправляет звуковые данные, представляющие звуковой сигнал, серверу 1818 распознавания речи, который преобразует звуковые данные в текст. Затем текст возвращается в приложение 1816 преобразования, которое использует текст, чтобы генерировать представление 1822. Поскольку мобильное устройство 1800 использует альтернативный датчик и микрофон воздушной проводимости, чтобы собрать речевые данные, распознавание, выполняемое сервером 1818 распознавания речи, значительно улучшено, и представление 1822 лучше отражает фактическую речь, собранную мобильным устройством 1800.

После того, как представления 1822 были сформированы, пользователь может активировать приложение 1824 поиска, которое может осуществлять поиск в представлениях 1822 по ключевым словам, чтобы находить конкретные разговоры.

Мобильные устройства настоящего изобретения также могут быть использованы, чтобы определять местоположение и обмениваться данными с детьми и пожилыми людьми, которые имеют при себе мобильное устройство. Например, на фиг. 19 мобильное устройство 1900 имеет при себе ребенок или пожилой человек. Мобильное устройство предоставляет информацию о положении GPS посредством сети 1902 основанному на местоположении серверу 1904. С помощью персональной вычислительной машины 1906 другой пользователь может связаться с основанным на местоположении сервером 1904, чтобы получить информацию о положении обладателя мобильного устройства 1900. Эта информация о положении может быть предоставлена в форме адреса или графического представления карты, показывающего местоположение обладателя на карте. Другой пользователь также может связаться с обладателем мобильного устройства с помощью телефона 1908 посредством телефонной сети 1910, которая передает данные мобильному устройству 1900. Примером такой телефонной сети будет сотовая телефонная сеть. С помощью альтернативного датчика и датчика микрофона воздушной проводимости мобильное устройство 1900 предоставляет более оптимальный речевой сигнал для обмена данными посредством телефонной сети 1910. Это особенно важно, когда обладателем мобильного устройства 1900 является ребенок или пожилой человек, поскольку речевые сигналы детей и пожилых людей зачастую имеют меньшую амплитуду и, таким образом, их труднее различать в шумном окружении.

Мобильное устройство настоящего изобретения также может быть использовано, чтобы усовершенствовать услуги автоматического перевода. Например, на фиг. 20 мобильное устройство 2000 принимает речевой ввод от обладателя мобильного устройства 2002 и говорящего на иностранном языке человека 2004. Поскольку мобильное устройство имеет при себе владелец 2002, мобильное устройство 2000 может различать речь, генерируемую обладателем 2002, и речь, генерируемую говорящим на иностранном языке человеком 2004. Речь, генерируемая говорящим на иностранном языке человеком 2004, таким образом может быть маршрутизирована мобильным устройством 2000 серверу 2006 перевода посредством сетевого соединения 2008. Сервер 2006 перевода затем может вернуть либо переведенный звук, либо переведенный текст речи, сгенерированной говорящим на иностранном языке человеком 2004. С помощью дисплея на мобильном устройстве 2000 или динамика на мобильном устройстве 2000 обладатель 2002, таким образом, может понимать содержимое речи говорящего на иностранном языке человека 2004. Поскольку мобильное устройство 2000 может автоматически разделять два речевых сигнала, перевод получается более легко.

Мобильное устройство 2000 также может использовать иностранную речь, переведенную речь или переведенный текст и видео говорящего на иностранном языке человека, захваченное мобильным устройством 2000, совместно с удаленным пользователем 2010. Согласно одному варианту осуществления эта информация совместно используется посредством сервера 2012 живого обмена данными, который соединен с удаленным пользователем 2010 посредством сетевого соединения 2014 и с мобильным устройством 2000 посредством сетевого соединения 2008. С помощью соединения посредством сервера 2012 живого обмена данными удаленный пользователь 2010 может разговаривать с говорящим на иностранном языке человеком 2004 и может предоставлять видеоданные говорящему на иностранном языке человеку 2004 посредством дисплея на мобильном устройстве 2000. Речь, предоставляемая удаленным пользователем 2010, может быть маршрутизирована мобильным устройством 2000 серверу 2006 перевода, чтобы быть переведенной на язык говорящего на иностранном языке человека. Звуковой сигнал на основе этого перевода затем предоставляется говорящему на иностранном языке человеку посредством динамика в мобильном устройстве 2000.

Фиг.21 предоставляет альтернативный вариант осуществления настоящего изобретения для усовершенствования услуг автоматического перевода. На фиг.21 мобильное устройство 2100 принимает речевой ввод от обладателя мобильного устройства 2102 и говорящего на иностранном языке человека 2104. Поскольку мобильное устройство имеет при себе владелец 2102 мобильное устройство 2100 может различать речь, генерируемую обладателем 2102, и речь, генерируемую говорящим на иностранном языке человеком 2104. Речь, генерируемая говорящим на иностранном языке человеком 2100, таким образом может быть определена в обмене данными между мобильным устройством 2100 и другим мобильным устройством 2105. Мобильное устройство 2105 может принять речевые данные, которые были определены как исходящие от говорящего на иностранном языке человека мобильным устройством 2100, и предоставить их серверу перевода 2106 посредством сетевого соединения 2108. Сервер 2106 перевода затем может вернуть либо переведенный звук, либо переведенный текст речи, сгенерированной говорящим на иностранном языке человеком 2104. С помощью дисплея на мобильном устройстве 2100 или динамика на мобильном устройстве 2100 обладатель 2102, таким образом, может понимать содержимое речи говорящего на иностранном языке человека 2104. Поскольку мобильное устройство 2100 может автоматически разделять два речевых сигнала, перевод получается более легко.

Мобильное устройство 2105 также может совместно использовать иностранную речь, переведенную речь или переведенный текст и видео говорящего на иностранном языке человека, захваченное мобильным устройством 2100, с множеством удаленных пользователей 2110, 2120 и 2130. Согласно одному варианту осуществления эта информация совместно используется посредством сервера 2112 живого обмена данными, который соединен с удаленными пользователями 2110, 2120 и 2130 посредством сетевого соединения 2114 и с мобильным устройством 2105 посредством сетевого соединения 2108. С помощью соединения посредством сервера 2112 живого обмена данными удаленные пользователи 2110, 2120 и 2130 могут разговаривать с говорящим на иностранном языке человеком 2104 и могут предоставлять видеоданные говорящему на иностранном языке человеку 2104 посредством дисплея на мобильном устройстве 2100. Речь, предоставляемая удаленными пользователями 2110, 2120 и 2130, может быть маршрутизирована мобильным устройством 2105 серверу 2106 перевода, чтобы быть переведенной на язык говорящего на иностранном языке человека. Звуковой сигнал на основе этого перевода затем предоставляется говорящему на иностранном языке человеку посредством динамика в мобильном устройстве 2100.

Мобильные устройства настоящего изобретения также могут обмениваться данными в одноранговом режиме с другими устройствами, например принтерами, бытовыми электроприборами, устройствами записи мультимедиа, устройствами воспроизведения мультимедиа и автомобилями. Фиг. 22 предоставляет диаграмму, иллюстрирующую мобильное устройство 2200 при обмене данными с другими устройствами, такими как устройства 2202, 2204 и 2206.

Согласно одному конкретному варианту осуществления протокол обмена данными 802.11 используется, чтобы обмениваться данными между мобильным устройством и другими устройствами. Мобильное устройство может обмениваться данными с другими устройствами на основе "один-с-одним", например, мобильное устройство 2200 обменивается данными с устройством 2202 без обмена данными с устройствами 2204 и 2206. Мобильное устройство также может обмениваться данными в конфигурации "один-со-многими", в которой мобильное устройство или одно из других устройств обменивается данными с мобильным устройством и всеми другими устройствами, но другие устройства не обмениваются данными друг с другом. Например, мобильное устройство 2200 будет обмениваться данными с устройствами 2202 и 2204, но устройство 2202 не будет обмениваться данными с устройством 2204. Устройства также могут обмениваться данными на основе "многие-со-многими", когда все устройства и мобильное устройство могут обмениваться данными друг с другом.

Хотя настоящее изобретение было описано со ссылками на конкретные варианты осуществления, специалисты в данной области техники признают, что изменения могут быть сделаны в форме и деталях без отступления от духа и области применения изобретения.

Изобретение относится к мобильным устройствам, в частности к мультисенсорным мобильным устройствам. Мобильное устройство включает в себя микрофон воздушной проводимости и альтернативный датчик, который предоставляет сигнал альтернативного датчика, указывающий на речь, и датчик близости, который представляет сигнал, содержащий информацию о расстоянии между мобильным устройством и пользователем, а также устройство оценки чистого сигнала на основе сигнала микрофона, сигнала альтернативного датчика и сигнала датчика близости. Интерфейс обмена данными дает возможность мобильному устройству непосредственно обмениваться данными с другими мобильными устройствами. Технический результат - повышение точности распознавания речи. 2 н. и 32 з.п. ф-лы, 22 ил.

1. Мобильное устройство, причем устройство содержит:
микрофон воздушной проводимости, который преобразует акустические волны в электрический сигнал микрофона;
альтернативный датчик, который предоставляет сигнал альтернативного датчика, содержащий информацию о речи;
датчик близости, который представляет сигнал, содержащий информацию о расстоянии между мобильным устройством и пользователем;
устройство оценки чистого сигнала, которое выполняет оценку значения чистой речи на основе упомянутого сигнала микрофона, сигнала альтернативного датчика и сигнала датчика близости; и
интерфейс обмена данными, который дает возможность мобильному устройству непосредственно передавать упомянутое значение чистой речи в другие мобильные устройства.

2. Мобильное устройство по п.1, в котором интерфейс обмена данными дает возможность осуществлять несколько типов обмена данными с другими мобильными устройствами.

3. Мобильное устройство по п.2, в котором один из нескольких типов обмена данными содержит обмен данными "один-с-одним" с одним другим мобильным устройством, даже когда более одного мобильного устройства доступно для обмена данными.

4. Мобильное устройство по п.2, в котором один из нескольких типов обмена данными содержит обмен данными "один-со-многими" с множеством других мобильных устройств.

5. Мобильное устройство по п.2, в котором интерфейс обмена данными один из нескольких типов обмена данными содержит обмен данными "многие-со-многими".

6. Мобильное устройство по п.1, в котором интерфейс обмена данными дополнительно дает возможность обмена данными с сетью.

7. Мобильное устройство по п.6, в котором интерфейс обмена данными дополнительно дает возможность обмена данными с сервером в сети.

8. Мобильное устройство по п.7, в котором обмен данными с сервером содержит звук и видео.

9. Мобильное устройство по п.8, в котором обмен данными с сервером дополнительно содержит данные, соответствующие изображению документа, который совместно используется с другим вычислительным устройством.

10. Мобильное устройство по п.9, в котором обмен данными с сервером дополнительно содержит инструкции, чтобы модифицировать документ, и в котором на основе инструкций сервер модифицирует документ и предоставляет данные, соответствующие модификации документа, другому вычислительному устройству.

11. Мобильное устройство по п.7, в котором мобильное устройство дополнительно содержит приемное устройство спутникового сигнала глобального позиционирования, которое может генерировать значение положения, указывающее положение мобильного устройства.

12. Мобильное устройство по п.11, в котором обмен данными с сервером содержит предоставление значения положения серверу.

13. Мобильное устройство по п.7, в котором сервер размещает программу распознавания речи, и в котором обмен данными с сервером содержит предоставление звуковых данных серверу и прием распознанного текста от сервера.

14. Мобильное устройство по п.7, в котором сервер размещает программу перевода, и в котором обмен данными с сервером содержит предоставление содержимого на одном языке серверу и прием перевода на другом языке от сервера.

15. Мобильное устройство по п.1, в котором мобильное устройство содержит сотовый телефон.

16. Мобильное устройство по п.1, в котором мобильное устройство содержит личного цифрового помощника.

17. Мобильное устройство по п.1, в котором интерфейс обмена данными дополнительно дает возможность непосредственного обмена данными с другим устройством.

18. Способ оценки сигнала речи в мобильном устройстве, при этом способ содержит этапы, на которых:
принимают сигнал микрофона воздушной проводимости;
принимают сигнал альтернативного датчика, который содержит информацию о речи;
принимают сигнал датчика близости, содержащий информацию о расстоянии между мобильным устройством и пользователем;
оценивают улучшенное значение чистой речи на основе сигнала микрофона воздушной проводимости и сигнала альтернативного датчика;
и сигнала датчика близости; и
предоставляют улучшенное значение чистой речи непосредственно другому мобильному устройству.

19. Способ по п.18, в котором предоставление улучшенного значения чистой речи непосредственно другому мобильному устройству содержит этапы, на которых предоставляют улучшенное значение чистой речи в ходе обмена данными "один-с-одним" между мобильным устройством и другим мобильным устройством.

20. Способ по п.18, в котором предоставление улучшенного значения чистой речи непосредственно другому мобильному устройству содержит этапы, на которых предоставляют улучшенное значение чистой речи в ходе обмена данными "один-со-многими" между мобильным устройством и множеством других мобильных устройств.

21. Способ по п.18, в котором предоставление улучшенного значения чистой речи непосредственно другому мобильному устройству содержит этапы, на которых предоставляют улучшенное значение чистой речи в ходе обмена данными "многие-со-многими" между множеством мобильных устройств.

22. Способ по п.18, при этом способ дополнительно содержит этапы, на которых обмениваются данными между мобильным устройством и сетью вычислительного устройства.

23. Способ по п.22, при этом способ дополнительно содержит этапы, на которых обмениваются данными между мобильным устройством и сервером в сети вычислительных устройств.

24. Способ по п.23, в котором обмен данными между мобильным устройством и сервером содержит этапы, на которых обмениваются мгновенными сообщениями.

25. Способ по п.23, в котором обмен данными между мобильным устройством и сервером содержит этапы, на которых обмениваются информацией, которая совместно используется с другим вычислительным устройством, который поддерживает обмен данными с сервером.

26. Способ по п.25, в котором информация, которая совместно используется, содержит изменения в объект, отображаемый на мобильном устройстве и другом вычислительном устройстве.

27. Способ по п.26, в котором информация, которая совместно используется, дополнительно содержит звуковую информацию.

28. Способ по п.27, в котором информация, которая совместно используется, дополнительно содержит видеоинформацию.

29. Способ по п.23, при этом способ дополнительно содержит этапы, на которых определяют положение мобильного устройства и передают положение мобильного устройства от мобильного устройства серверу.

30. Способ по п.29, при этом способ дополнительно содержит этапы, на которых используют положение мобильного устройства, чтобы сгенерировать карту, и передают карту от сервера другому вычислительному устройству.

31. Способ по п.23, при этом способ дополнительно содержит этапы, на которых используют службу перевода на сервере, чтобы переводить текст с одного языка на другой язык на основе данных, отправленных с мобильного устройства серверу.

32. Способ по п.31, при этом способ дополнительно содержит этапы, на которых возвращают значения, представляющие звуковой сигнал, от сервера мобильному устройству, причем звуковой сигнал представляет перевод текста.

33. Способ по п.31, при этом способ дополнительно содержит этапы, на которых возвращают текст от сервера мобильному устройству, причем текст представляет перевод текста.

34. Способ по п.18, при этом способ дополнительно содержит этапы, на которых обмениваются данными между мобильным устройством и другим устройством.