СПОСОБ И УСТРОЙСТВО ДЛЯ УЛАВЛИВАНИЯ ЗВУКОВ, СООТВЕТСТВУЮЩИХ ИЗОБРАЖЕНИЯМ НАБЛЮДЕНИЯ Российский патент 2017 года по МПК G06K9/00 H04N5/92 

ПЕРЕКРЕСТНАЯ ССЫЛКА НА РОДСТВЕННЫЕ ЗАЯВКИ

[0001] Настоящая заявка основана на и испрашивает приоритет Китайской патентной заявки № 201510462792.9, поданной 31 июля 2015, все содержание которой включено в настоящий документ посредством ссылки.

ОБЛАСТЬ ТЕХНИКИ

[0002] Настоящее раскрытие в основном относится к области компьютерных технологий, более конкретно к способу и устройству для улавливания (сбора) звуков, соответствующих изображениям наблюдения.

ПРЕДШЕСТВУЮЩИЙ УРОВЕНЬ ТЕХНИКИ

[0003] Камеры могут точно контролировать процесс различных событий, и контрольная функция камер широко применяется, например, в наблюдении за дорожным движением, наблюдении в супермаркетах или наблюдении за населением и т.п.

[0004] При наблюдении с использованием камер на устройстве контроля, если наблюдаемый объект, подлежащий съемке, находится относительно далеко, устройство контроля не может четко уловить звуки от наблюдаемого объекта, и, таким образом, информация наблюдения является неполной.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

[0005] Для того чтобы решить проблему, состоящую в том, что устройство контроля не может четко уловить звуки от наблюдаемого объекта, который находится относительно далеко от устройства контроля, настоящее раскрытие обеспечивает способ и устройство для улавливания звуков, соответствующих изображениям наблюдения. Технические решения заключаются в следующем.

[0006] В соответствии с первым аспектом вариантов осуществления настоящего раскрытия, предложен способ улавливания звуков, соответствующих изображениям наблюдения, включающий в себя:

[0007] когда изображения наблюдения собираются камерой устройства контроля, обнаружение, имеется ли наблюдаемый объект, создающий звуки, в изображениях наблюдения;

[0008] если имеется наблюдаемый объект, создающий звуки, в изображениях наблюдения, определение получающего звуки устройства, удовлетворяющего предварительно установленному условию, которое требует, чтобы уровень сигнала звуков, улавливаемых получающим звуки устройством от наблюдаемого объекта, был больше, чем уровень сигнала звуков, улавливаемых устройством контроля от наблюдаемого объекта; и

[0009] управление получающим звуки устройством, чтобы улавливать звуки от наблюдаемого объекта.

[0010] Опционально, обнаружение, имеется ли наблюдаемый объект, создающий звуки, в изображениях наблюдения, включает в себя:

[0011] обнаружение, имеется ли элемент изменения изображения, создающий звуки, в изображениях наблюдения, причем элемент изменения изображения включает в себя наблюдаемый объект, входящий в изображения наблюдения, или наблюдаемый объект, губы которого двигаются; или

[0012] обнаружение, создает ли звуки объект указанного типа в изображениях наблюдения, причем объект указанного типа включает в себя по меньшей мере одно из двери, окна и бытового прибора; или

[0013] в соответствии с указанным индексом, сообщенным устройством обнаружения, обнаружение, имеется ли наблюдаемый объект, создающий звуки, в изображениях наблюдения, причем устройство обнаружения является устройством, связанным с устройством контроля, для обнаружения указанного индекса, и указанный индекс включает в себя одно из состояний включения/выключения, параметров качества воздуха, температуры, параметров, указывающих изменения источников тепла, или параметров физиологических признаков.

[0014] Опционально, определение получающего звуки устройства, удовлетворяющего предварительно установленному условию, включает в себя:

[0015] обнаружение, являются ли звуки, соответствующие изображениям наблюдения, собранным устройством контроля, меньшими, чем предварительно установленное пороговое значение звука; и

[0016] если звуки, соответствующие изображениям наблюдения, собранным устройством контроля, меньше, чем предварительно установленное пороговое значение звука, определение получающего звуки устройства, удовлетворяющего предварительно установленному условию.

[0017] Опционально, определение получающего звуки устройства, удовлетворяющего предварительно установленному условию, включает в себя:

[0018] идентификацию получающего звуки устройства, ближайшего к наблюдаемому объекту, создающему звуки, из всех получающих звуки устройств, связанных с устройством контроля, и определение идентифицированного получающего звуки устройства в качестве получающего звуки устройства, удовлетворяющего предварительно установленному условию; или

[0019] управление всеми получающими звуки устройствами, связанными с устройством контроля, чтобы улавливать звуки от наблюдаемого объекта, создающего звуки, и определение получающего звуки устройства, которое улавливает самый сильный звуковой сигнал, в качестве получающего звуки устройства, удовлетворяющего предварительно установленному условию; или

[0020] определение по меньшей мере одного мобильного устройства, связанного с устройством контроля, в качестве получающего звуки устройства, удовлетворяющего предварительно установленному условию.

[0021] Опционально, идентификация получающего звуки устройства, ближайшего к наблюдаемому объекту, создающему звуки, среди всех получающих звуки устройств, связанных с устройством контроля, включает в себя:

[0022] посредством технологии позиционирования внутри помещения, идентификацию получающего звуки устройства, ближайшего к наблюдаемому объекту, создающему звуки, среди всех получающих звуки устройств, связанных с устройством контроля; или

[0023] посредством технологии распознавания образов, определение местоположения, где находится наблюдаемый объект, создающий звуки, и определение получающего звуки устройства для контроля звуков от наблюдаемого объекта, создающего звуки, в соответствии с соответствующими диапазонами области наблюдения, соответствующими получающим звуки устройствам.

[0024] Опционально, управление получающим звуки устройством для улавливания звуков от наблюдаемого объекта включает в себя:

[0025] когда получающее звуки устройство, удовлетворяющее предварительно установленному условию, является получающим звуки устройством, ближайшим к наблюдаемому объекту, создающему звуки, управление получающим звуки устройством для улавливания звуков; или

[0026] когда получающее звуки устройство, удовлетворяющее предварительно установленному условию, является получающим звуки устройством, которое улавливает самый сильный звуковой сигнал, управление получающим звуки устройством для улавливания звуков; или

[0027] когда получающее звуки устройство, удовлетворяющее предварительно установленному условию, является мобильным устройством, связанным с устройством контроля, управление мобильным устройством для перемещения к местоположению наблюдаемого объекта, создающего звуки, в изображениях наблюдения, и управление мобильным устройством для улавливания звуков в местоположении, где находится наблюдаемый объект.

[0028] В соответствии с вторым аспектом вариантов осуществления настоящего раскрытия, предложено устройство для улавливания звуков, соответствующих изображениям наблюдения, включающее в себя:

[0029] модуль обнаружения, сконфигурированный, чтобы, когда изображения наблюдения собираются камерой устройства контроля, обнаруживать, имеется ли наблюдаемый объект, создающий звуки, в изображениях наблюдения;

[0030] модуль определения, сконфигурированный, чтобы, если модуль обнаружения обнаруживает, что имеется наблюдаемый объект, создающий звуки, в изображениях наблюдения, определять получающее звуки устройство, удовлетворяющее предварительно установленному условию, которое требует, чтобы уровень сигнала звуков, улавливаемых получающим звуки устройством от наблюдаемого объекта, был больше, чем уровень сигнала звуков, улавливаемых устройством контроля от наблюдаемого объекта; и

[0031] модуль управления, сконфигурированный для управления получающим звуки устройством, определенным модулем определения, чтобы улавливать звуки от наблюдаемого объекта.

[0032] Опционально, модуль обнаружения включает в себя:

[0033] первый подмодуль обнаружения, сконфигурированный для обнаружения, имеется ли элемент изменения изображения, создающий звуки, в изображениях наблюдения, причем элемент изменения изображения включает в себя наблюдаемый объект, входящий в изображения наблюдения, или наблюдаемый объект, губы которого двигаются; или

[0034] второй подмодуль обнаружения, сконфигурированный для обнаружения, создает ли звуки объект указанного типа в изображениях наблюдения, причем объект указанного типа включает в себя по меньшей мере одно из двери, окна и бытового прибора; или

[0035] третий подмодуль обнаружения, сконфигурированный, чтобы, в соответствии с указанным индексом, сообщенным устройством обнаружения, обнаруживать, имеется ли наблюдаемый объект, создающий звуки, в изображениях наблюдения, причем устройство обнаружения является устройством, связанным с устройством контроля для обнаружения указанного индекса, и указанный индекс включает в себя одно из состояний включения/выключения, параметров качества воздуха, температуры, параметров, указывающих изменения источников тепла, или параметров физиологических признаков.

[0036] Опционально, модуль определения включает в себя:

[0037] четвертый подмодуль обнаружения, сконфигурированный для обнаружения, являются ли звуки, соответствующие изображениям наблюдения, собранным устройством контроля, меньшими, чем предварительно установленное пороговое значение звука; и

[0038] первый подмодуль определения, сконфигурированный, чтобы, если четвертый подмодуль обнаружения обнаруживает, что звуки, соответствующие изображениям наблюдения, собранным устройством контроля, меньше, чем предварительно установленное пороговое значение звука, определять получающее звуки устройство, удовлетворяющее предварительно установленному условию.

[0039] Опционально, первый подмодуль определения включает в себя:

[0040] первый подмодуль идентификации, сконфигурированный для идентификации получающего звуки устройства, ближайшего к наблюдаемому объекту, создающему звуки, среди всех получающих звуки устройств, связанных с устройством контроля, и определения идентифицированного получающего звуки устройства в качестве получающего звуки устройства, удовлетворяющего предварительно установленному условию; или

[0041] второй подмодуль идентификации, сконфигурированный для управления всеми получающими звуки устройствами, связанными с устройством контроля, чтобы улавливать звуки от наблюдаемого объекта, создающего звуки, и определения получающего звуки устройства, которое улавливает самый сильный звуковой сигнал, в качестве получающего звуки устройства, удовлетворяющего предварительно установленному условию; или

[0042] второй подмодуль определения, сконфигурированный для определения по меньшей мере одного мобильного устройства, связанного с устройством контроля, в качестве получающего звуки устройства, удовлетворяющего предварительно установленному условию.

[0043] Опционально, первый подмодуль идентификации включает в себя:

[0044] третий подмодуль идентификации, сконфигурированный, чтобы, посредством технологии позиционирования внутри помещения, идентифицировать получающее звуки устройство, ближайшее к наблюдаемому объекту, создающему звуки, среди всех получающих звуки устройств, связанных с устройством контроля; или

[0045] четвертый подмодуль определения, сконфигурированный, чтобы, посредством технологии распознавания образов, определять местоположение, где находится наблюдаемый объект, создающий звуки, и определять получающее звуки устройство для контроля звуков от наблюдаемого объекта, создающего звуки, в соответствии с соответствующими диапазонами области наблюдения, соответствующими получающим звуки устройствам.

[0046] Опционально, модуль управления включает в себя:

[0047] первый подмодуль управления, сконфигурированный, чтобы, когда получающее звуки устройство, удовлетворяющее предварительно установленному условию, является получающим звуки устройством, ближайшим к наблюдаемому объекту, создающему звуки, управлять получающим звуки устройством для улавливания звуков; или

[0048] второй подмодуль управления, сконфигурированный, чтобы, когда получающее звуки устройство, удовлетворяющее предварительно установленному условию, является получающим звуки устройством, которое улавливает самый сильный звуковой сигнал, управлять получающим звуки устройством для улавливания звуков; или

[0049] третий подмодуль управления, сконфигурированный, чтобы, когда получающее звуки устройство, удовлетворяющее предварительно установленному условию, является мобильным устройством, связанным с устройством контроля, управлять мобильным устройством для перемещения к местоположению наблюдаемого объекта, создающего звуки, в изображениях наблюдения, и управлять мобильным устройством для улавливания звуков в местоположении, где находится наблюдаемый объект.

[0050] В соответствии с третьим аспектом вариантов осуществления настоящего раскрытия, предложено устройство для улавливания звуков, соответствующих изображениям наблюдения, включающее в себя:

[0051] процессор и

[0052] память для хранения инструкций, исполняемых процессором;

[0053] при этом процессор сконфигурирован, чтобы:

[0054] когда изображения наблюдения собираются камерой устройства контроля, обнаруживать, имеется ли наблюдаемый объект, создающий звуки, в изображениях наблюдения;

[0055] если имеется наблюдаемый объект, создающий звуки, в изображениях наблюдения, определять получающее звуки устройство, удовлетворяющее предварительно установленному условию, которое требует, чтобы уровень сигнала звуков, улавливаемых получающим звуки устройством от наблюдаемого объекта, был выше, чем уровень сигнала звуков, улавливаемых устройством контроля от наблюдаемого объекта; и

[0056] управлять получающим звуки устройством для улавливания звуков от наблюдаемого объекта.

[0057] Технические решения, обеспечиваемые вариантами осуществления настоящего раскрытия, могут иметь следующие полезные результаты:

[0058] Идентифицируют наблюдаемый объект, создающий звуки, в изображениях наблюдения и управляют получающим звуки устройством, которое улавливает звуки с более высоким уровнем сигнала от наблюдаемого объекта, чем уровень сигнала звуков, улавливаемых устройством контроля от наблюдаемого объекта, для улавливания звуков от наблюдаемого объекта. Таким образом, настоящее раскрытие может решить проблему, состоящую в том, что устройство контроля не может четко улавливать звуки от наблюдаемого объекта, который находится относительно далеко от устройства контроля. Устройство контроля управляет получающим звуки устройством для улавливания звуков от наблюдаемого объекта, и, таким образом, информация наблюдения становится более полной.

[0059] Следует иметь в виду, что приведенное выше обобщенное описание и последующее детальное описание являются только иллюстративными и пояснительными, но не ограничивающими настоящее изобретение, как оно заявлено.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0060] Приложенные чертежи, которые включены в настоящий документ и составляют часть настоящего описания, иллюстрируют варианты осуществления, соответствующие настоящему раскрытию, и вместе с описанием служат для пояснения принципов настоящего раскрытия.

[0061] Фиг. 1 является блок-схемой последовательности операций, иллюстрирующей способ улавливания звуков, соответствующих изображениям наблюдения, в соответствии с примерным вариантом осуществления.

[0062] Фиг. 2A является блок-схемой последовательности операций, иллюстрирующей обнаружение, имеется ли наблюдаемый объект, создающий звуки, в изображениях наблюдения, в соответствии с примерным вариантом осуществления.

[0063] Фиг. 2B является блок-схемой последовательности операций, иллюстрирующей способ обнаружения, имеется ли наблюдаемый объект, создающий звуки, в изображениях наблюдения, в соответствии с примерным вариантом осуществления.

[0064] Фиг. 2C является схематичным представлением, иллюстрирующим, что наблюдаемый объект входит в изображения наблюдения, в соответствии с примерным вариантом осуществления.

[0065] Фиг. 2D является схематичным представлением, иллюстрирующим, что имеется наблюдаемый объект, у которого губы двигаются на изображениях наблюдения, в соответствии с an примерным вариантом осуществления.

[0066] Фиг. 2E является схематичным представлением, иллюстрирующим объект указанного типа, создающий звуки, в изображениях наблюдения, в соответствии с примерным вариантом осуществления.

[0067] Фиг. 2F является схематичным представлением, иллюстрирующим обнаружение, имеется ли наблюдаемый объект, создающий звуки, в изображениях наблюдения, в соответствии с указанным индексом, сообщенным устройством обнаружения, в соответствии с примерным вариантом осуществления.

[0068] Фиг. 2G является блок-схемой последовательности операций, иллюстрирующей способ определения получающего звуки устройства, удовлетворяющего предварительно установленному условию, в соответствии с примерным вариантом осуществления.

[0069] Фиг. 2H является схематичным представлением, иллюстрирующим, что получающее звуки устройство, которое улавливает самый сильный звуковой сигнал, определено как получающее звуки устройство, удовлетворяющее предварительно установленному условию, в соответствии с примерным вариантом осуществления.

[0070] Фиг. 2I является блок-схемой последовательности операций, иллюстрирующей способ идентификации получающего звуки устройства, ближайшего к наблюдаемому объекту, создающему звуки, в изображениях наблюдения, среди всех получающих звуки устройств, связанных с устройством контроля, в соответствии с примерным вариантом осуществления.

[0071] Фиг. 2J является схематичным представлением, иллюстрирующим, что устройство контроля определяет получающее звуки устройство для контроля звуков от наблюдаемого объекта, создающего звуки, в соответствии с примерным вариантом осуществления.

[0072] Фиг. 2K является блок-схемой последовательности операций, иллюстрирующей способ управления получающим звуки устройством для улавливания звуков от наблюдаемого объекта в соответствии с примерным вариантом осуществления.

[0073] Фиг. 2L является схематичным представлением, иллюстрирующим, что устройство контроля управляет мобильным устройством для перемещения к местоположению наблюдаемого объекта, создающему звуки, в изображениях наблюдения, в соответствии с примерным вариантом осуществления.

[0074] Фиг. 3 является блок-схемой, иллюстрирующей устройство для улавливания звуков, соответствующих изображениям наблюдения, в соответствии с примерным вариантом осуществления.

[0075] Фиг. 4 является блок-схемой, иллюстрирующей устройство для улавливания звуков, соответствующих изображениям наблюдения, в соответствии с другим примерным вариантом осуществления.

[0076] Фиг. 5 является блок-схемой, иллюстрирующей устройство для улавливания звуков, соответствующих изображениям наблюдения, в соответствии с примерным вариантом осуществления.

ДЕТАЛЬНОЕ ОПИСАНИЕ

[0077] Ссылка далее будет даваться на детальное описание примерных вариантов осуществления, примеры которых иллюстрируются на приложенных чертежах. Следующее описание относится к приложенным чертежам, на которых те же ссылочные позиции на различных чертежах представляют те же или подобные элементы, если не представлено иначе. Реализации примерных вариантов осуществления, изложенные в последующем описании, не представляют все возможные реализации, соответствующие настоящему раскрытию. Напротив, они являются только примерами устройств и способов, соответствующих аспектам, относящимся к настоящему раскрытию, как изложено в приложенной формуле изобретения.

[0078] Фиг. 1 является блок-схемой последовательности операций, иллюстрирующей способ улавливания звуков, соответствующих изображениям наблюдения, в соответствии с примерным вариантом осуществления. Как показано на фиг. 1, способ улавливания звуков, соответствующих изображениям наблюдения, включает в себя следующие этапы.

[0079] На этапе 101, когда изображения наблюдения собираются камерой устройства контроля, обнаруживают, имеется ли наблюдаемый объект, создающий звуки, в изображениях наблюдения.

[0080] В общем, устройство контроля может собирать не только изображения наблюдения, но и звуки, создаваемые наблюдаемым объектом в изображениях наблюдения.

[0081] На этапе 102, если имеется наблюдаемый объект, создающий звуки, в изображениях наблюдения, определяют получающее звуки устройство, удовлетворяющее предварительно установленному условию. Предварительно установленное условие требует, чтобы уровень сигнала звуков, улавливаемых получающим звуки устройством от наблюдаемого объекта, был больше, чем уровень сигнала звуков, улавливаемых устройством контроля от наблюдаемого объекта.

[0082] При этом, даже хотя устройство контроля может четко формировать изображения наблюдения, устройство контроля не может эффективно улавливать звуки от наблюдаемого объекта в изображениях наблюдения. Например, если наблюдаемый объект в изображениях наблюдения создает очень слабые звуки, или наблюдаемый объект в изображениях наблюдения находится относительно далеко от устройства контроля, звуки от наблюдаемого объекта не могут четко улавливаться устройством контроля и могут даже автоматически отфильтровываться устройством контроля. Таким образом, требуется дополнительное получающее звуки устройство, удовлетворяющее предварительно установленному условию, для улавливания звуков от наблюдаемого объекта.

[0083] Предварительно установленное условие здесь может определять, что уровень сигнала звуков, улавливаемых получающим звуки устройством от наблюдаемого объекта, больше, чем уровень сигнала звуков, улавливаемых устройством контроля от наблюдаемого объекта. Когда предварительно установленное условие удовлетворено, получающее звуки устройство включается для улавливания звуков от наблюдаемого объекта.

[0084] Получающим звуки устройством здесь могут быть устройства, имеющие элементы улавливания звука, такие как мобильный телефон, аудиооборудование или Bluetooth-наушники.

[0085] На этапе 103 получающее звуки устройство управляется для улавливания звуков от наблюдаемого объекта.

[0086] Когда устройство контроля обнаруживает, что наблюдаемый объект в изображения наблюдения создает звуки, но звуки от наблюдаемого объекта слишком слабы, или наблюдаемый объект слишком удален от устройства контроля, устройство контроля не может четко улавливать звуки от наблюдаемого объекта. При этом устройство контроля может управлять получающим звуки устройством, удовлетворяющим предварительно установленному условию, для улавливания звуков от наблюдаемого объекта.

[0087] Ввиду вышеизложенного, в способе улавливания звуков, соответствующих изображениям наблюдения, обеспечиваемом вариантами осуществления настоящего раскрытия, идентифицируют наблюдаемый объект, создающий звуки, в изображениях наблюдения и управляют получающим звуки устройством, которое улавливает звуки с более высоким уровнем сигнала от наблюдаемого объекта, чем уровень сигнала звуков, улавливаемых устройством контроля от наблюдаемого объекта, для улавливания звуков от наблюдаемого объекта. Таким образом, настоящее раскрытие может решить проблему, состоящую в том, что устройство контроля не может четко улавливать звуки от наблюдаемого объекта, который находится относительно далеко от устройства контроля. Устройство контроля управляет получающим звуки устройством для улавливания звуков от наблюдаемого объекта, и, таким образом, информация наблюдения становится более полной.

[0088] В возможной реализации этап 102 на фиг. 1 может быть заменен этапами 102a-102b. Фиг. 2A является блок-схемой последовательности операций, иллюстрирующей обнаружение, имеется ли наблюдаемый объект, создающий звуки, в изображениях наблюдения, в соответствии с примерным вариантом осуществления. Как показано на фиг. 2A, обнаружение устройством контроля, имеется ли наблюдаемый объект, создающий звуки, в изображениях наблюдения, может включать в себя следующие этапы.

[0089] На этапе 102a, обнаруживают, являются ли звуки, соответствующие изображениям наблюдения, собранным устройством контроля, меньшими, чем предварительно установленное пороговое значение звука.

[0090] Если звуки, создаваемые наблюдаемым объектом в изображениях наблюдения, являются слишком слабыми, или наблюдаемый объект в изображениях наблюдения находится слишком далеко от устройства контроля, звуки, создаваемые наблюдаемым объектом, не могут четко улавливаться устройством контроля. Таким образом, предварительно установленное пороговое значение звука относится здесь к пороговому значению, определяющему, может ли устройство контроля четко улавливать звуки, соответствующие изображениям наблюдения. Если звуки, соответствующие изображениям наблюдения, собранным устройством контроля, меньше, чем предварительно установленное пороговое значение звука, это указывает, что устройство контроля временно не может улавливать звуки, соответствующие изображениям наблюдения.

[0091] На этапе 102b, если звуки, соответствующие изображениям наблюдения, собранным устройством контроля, меньше, чем предварительно установленное пороговое значение звука, то определяют получающее звуки устройство, удовлетворяющее предварительно установленному условию.

[0092] Когда звуки, соответствующие изображениям наблюдения, собранным устройством контроля, меньше, чем предварительно установленное пороговое значение звука, это указывает на то, что устройство контроля временно не может улавливать звуки, соответствующие изображениям наблюдения. Таким образом, необходимо определить получающее звуки устройство, удовлетворяющее предварительно установленному условию, для улавливания звуков, соответствующих изображениям наблюдения, вместо устройства контроля.

[0093] Ввиду изложенного выше, в способе улавливания звуков, соответствующих изображениям наблюдения, обеспеченном вариантами осуществления настоящего раскрытия, идентифицируют наблюдаемый объект, создающий звуки, в изображениях наблюдения и управляют получающим звуки устройством, которое улавливает звуки с более высоким уровнем сигнала от наблюдаемого объекта, чем уровень сигнала звуков, улавливаемых устройством контроля от наблюдаемого объекта, для улавливания звуков от наблюдаемого объекта. Таким образом, настоящее раскрытие может решить проблему, состоящую в том, что устройство контроля не может четко улавливать звуки от наблюдаемого объекта, который находится относительно далеко от устройства контроля. Устройство контроля управляет получающим звуки устройством для улавливания звуков от наблюдаемого объекта, и, таким образом, информация наблюдения становится более полной.

[0094] Кроме того, когда устройство контроля не может четко улавливать звуки, создаваемые наблюдаемым объектом, устройство контроля может послать инструкцию об улавливании на получающее звуки устройство, удовлетворяющее предварительно установленному условию, чтобы инструктировать получающее звуки устройство улавливать звуки от наблюдаемого объекта. Предварительно установленное условие требует, чтобы получающее звуки устройство было ближайшим к наблюдаемому объекту, или чтобы получающее звуки устройство улавливало самый сильный звуковой сигнал, или чтобы получающее звуки устройство было мобильным устройством, связанным с устройством контроля.

[0095] Возможная реализация показана на фиг. 2B, которая является блок-схемой последовательности операций, иллюстрирующей способ обнаружения, имеется ли наблюдаемый объект, создающий звуки, в изображениях наблюдения, в соответствии с примерным вариантом осуществления. Как показано на фиг. 2B, этап 101 может включать в себя следующие три реализации.

[0096] В первой реализации 101a обнаруживают, имеется ли элемент изменения изображения, создающий звуки, в изображениях наблюдения. Элемент изменения изображения включает в себя наблюдаемый объект, входящий в изображения наблюдения, или наблюдаемый объект, губы которого двигаются.

[0097] Здесь, элемент изменения изображения может относиться к человеку или объекту, перемещающемуся в изображения наблюдения, или движению губ человека или животного.

[0098] Фиг. 2C является схематичным представлением, иллюстрирующим наблюдаемые объекты, входящие в изображения наблюдения, в соответствии с примерным вариантом осуществления. Как показано на фиг. 2C, когда человек 11, кошка 12 и собака 13 перемещаются в изображения, наблюдаемые устройством 10 контроля, устройство 10 контроля может рассматривать человека 11, кошку 12 и собаку 13 в качестве наблюдаемых объектов. Фиг. 2D является схематичным представлением, иллюстрирующим наблюдаемые объекты, губы которых двигаются в изображениях наблюдения, в соответствии с примерным вариантом осуществления. Как показано на фиг. 2D, когда люди 11a и 11b в изображениях, наблюдаемых устройством 10 контроля, разговаривают, устройство 10 контроля может рассматривать людей 11a и 11b в качестве наблюдаемых объектов, когда обнаруживается, что губы этих людей 11a, 11b двигаются.

[0099] Во второй реализации 101b обнаруживают, создает ли звуки объект указанного типа в изображениях наблюдения. Объект указанного типа включает в себя по меньшей мере одно из двери, окна и бытового прибора.

[00100] Иногда, когда дверь, окно и бытовой прибор в изображениях наблюдения создают звуки (например, когда человек стучит в дверь, включается телевизор или работает вентилятор), никаких существенных изменений не происходит в изображениях наблюдения. Таким образом, объект указанного типа относится к объекту, который не перемещается, и камера должна определять, следует ли получать звуки от объекта, в соответствии с улавливаемыми звуками.

[00101] Фиг. 2E является схематичным представлением, иллюстрирующим объект указанного типа, создающий звуки в изображениях наблюдения, в соответствии с примерным вариантом осуществления. Как показано на фиг. 2E, когда в дверь 14 стучат, телевизор 15 включается, и вентилятор 16 работает в изображениях наблюдения, даже если не имеется существенных изменений в изображениях наблюдения в целом, устройство 10 контроля может все же рассматривать дверь 14, телевизор 15 и вентилятор 16 в качестве наблюдаемых объектов в соответствии со стуком, звуком, создаваемым телевизионной программой, и звуком, создаваемым лопастями вентилятора.

[00102] В третьей реализации 101c, в соответствии с указанным индексом, сообщенным устройством обнаружения, обнаруживают, имеется ли наблюдаемый объект, создающий звуки, в изображениях наблюдения. Устройство обнаружения является устройством, связанным с устройством контроля, для обнаружения указанного индекса, причем указанный индекс включает в себя одно из состояний включения/выключения, параметров качества воздуха, температуры, параметров, указывающих изменения источников тепла, или параметров физиологических признаков.

[00103] Когда звуки, создаваемые наблюдаемым объектом в изображениях наблюдения, являются слишком слабыми, устройство контроля может определить, какие наблюдаемые объекты в изображениях наблюдения создают звуки, с помощью устройства обнаружения. Здесь, устройство обнаружения относится к устройству для обнаружения состояний наблюдаемых объектов, которое установлено около наблюдаемых объектов или на наблюдаемых объектах.

[00104] Например, устройство обнаружения установлено на выключателе бытового прибора. Когда бытовой прибор включается, устройство обнаружения посылает данные о состоянии включения на устройство контроля. После приема данных, устройство контроля определяет, что бытовой прибор является наблюдаемым объектом, и посылает инструкцию об улавливании на получающее звуки устройство, удовлетворяющее предварительно установленному условию, чтобы инструктировать получающее звуки устройство, удовлетворяющее предварительно установленному условию, улавливать звуки от бытового прибора. В другом примере, устройство обнаружения может быть установлено рядом с окном или дверью. Когда дверь или окно открывается, и устройство обнаружения воспринимает изменения температуры внешнего воздуха, устройство обнаружения посылает данные об изменении температуры на устройство контроля. После приема данных, устройство контроля определяет, что окно или дверь является наблюдаемым объектом, и посылает инструкцию об улавливании на получающее звуки устройство, удовлетворяющее предварительно установленному условию, чтобы инструктировать получающее звуки устройство, удовлетворяющее предварительно установленному условию, улавливать звуки от двери или окна.

[00105] Фиг. 2F является схематичным представлением, иллюстрирующим обнаружение, имеется ли наблюдаемый объект, создающий звуки, в изображениях наблюдения, в соответствии с указанным индексом, сообщенным устройством обнаружения, в соответствии с примерным вариантом осуществления. Как показано на фиг. 2F, когда дверь 18 в изображениях наблюдения открыта, датчик 17, установленный над дверью 18, воспринимает изменения температуры внешнего воздуха и посылает данные об изменении температуры на устройство 10 контроля, которое принимает возвращенные данные и посылает инструкцию об улавливании на получающее звуки устройство, удовлетворяющее предварительно установленному условию, чтобы инструктировать получающее звуки устройство, удовлетворяющее предварительно установленному условию, улавливать звуки от двери 18.

[00106] Возможная реализация показана на фиг. 2G, которая является блок-схемой последовательности операций, иллюстрирующей способ определения получающего звуки устройства, удовлетворяющего предварительно установленному условию, в соответствии с примерным вариантом осуществления. Как показано на фиг. 2G, определение получающего звуки устройства, удовлетворяющего предварительно установленному условию (этап 102b), может включать в себя следующие три реализации:

[00107] В первой реализации 102b1 идентифицируют получающее звуки устройство, ближайшее к наблюдаемому объекту, создающему звуки, из всех получающих звуки устройств, связанных с устройством контроля, и идентифицированное получающее звуки устройство определяется как получающее звуки устройство, удовлетворяющее предварительно установленному условию.

[00108] Когда предварительно установленное условие требует, чтобы получающее звуки устройство было ближайшим к наблюдаемому объекту, устройство контроля может идентифицировать получающее звуки устройство, ближайшее к наблюдаемому объекту, создающему звуки, в соответствии с изображениями наблюдения и определять получающее звуки устройство в качестве получающего звуки устройства, удовлетворяющего предварительно установленному условию.

[00109] Во второй реализации 102b2 управляют всеми получающими звуки устройствами, связанными с устройством контроля, для улавливания звуков от наблюдаемого объекта, создающего звуки, и определяют получающее звуки устройство, которое улавливает самый сильный звуковой сигнал, в качестве получающего звуки устройства, удовлетворяющего предварительно установленному условию.

[00110] Когда предварительно установленное условие требует, чтобы получающее звуки устройство собирало самый сильный звуковой сигнал, устройство контроля может посылать инструкцию об улавливании на все получающие звуки устройства, чтобы инструктировать все получающие звуки устройства улавливать звуки от наблюдаемого объекта в изображениях наблюдения. После приема инструкции об улавливании, все получающие звуки устройства начинают улавливать звуки от наблюдаемого объекта и посылать полученные звуки на устройство контроля для тестирования. Устройство контроля принимает и тестирует все звуки, полученные получающими звуки устройствами, определяет получающее звуки устройство, которое улавливает самый сильный звуковой сигнал, и определяет получающее звуки устройство в качестве получающего звуки устройства, удовлетворяющего предварительно установленному условию.

[00111] Фиг. 2H является схематичным представлением, иллюстрирующим определение получающего звуки устройства, которое улавливает самый сильный звуковой сигнал, в качестве получающего звуки устройства, удовлетворяющего предварительно установленному условию, в соответствии с примерным вариантом осуществления. Как показано на фиг. 2H, имеется три получающих звуки устройства в изображениях наблюдения, т.е., аудиооборудование 19, Bluetooth-наушники 20 и мобильный телефон 21. Если человек 11 входит в изображения наблюдения, устройство 10 контроля определяет человека 11 в качестве наблюдаемого объекта и затем посылает инструкцию об улавливании на аудиооборудование 19, Bluetooth-наушники 20 мобильный телефон 21. После приема инструкции об улавливании, три получающих звуки устройства улавливают звуки от человека 11 и посылают полученные звуки на устройство 10 контроля. Устройство 10 контроля тестирует звуки, полученные тремя получающими звуки устройствами, и определяет, что Bluetooth-наушники 20 улавливают самый сильный звуковой сигнал, и, тем самым, определяют Bluetooth-наушники 20 в качестве получающего звуки устройства, удовлетворяющего предварительно установленному условию.

[00112] В третьей реализации 102b3, по меньшей мере одно мобильное устройство, связанное с устройством контроля, определяется в качестве получающего звуки устройства, удовлетворяющего предварительно установленному условию.

[00113] Устройство контроля может быть связано с мобильными устройствами, которые перемещаются внутри дома, например, мобильный терминал, робот-уборщик дома, дистанционно управляемый летательный аппарат. Когда наблюдаемый объект находится слишком далеко от устройства контроля, эти мобильные устройства определяются как получающие звуки устройства, удовлетворяющие предварительно установленному условию.

[00114] Возможная реализация показана на фиг. 2I, которая является блок-схемой последовательности операций, иллюстрирующей способ идентификации получающего звуки устройства, ближайшего к наблюдаемому объекту, создающему звуки, в изображениях наблюдения, среди всех получающих звуки устройств, связанных с устройством контроля, в соответствии с примерным вариантом осуществления. Как показано на фиг. 2I, первая реализация 102b1 на этапе 102b может включать в себя следующие две реализации:

[00115] В первой реализации 102b1a, посредством технологии позиционирования внутри помещения, идентифицируют получающее звуки устройство, ближайшее к наблюдаемому объекту, создающему звуки, среди всех получающих звуки устройств, связанных с устройством контроля.

[00116] Устройство контроля может быть установлено во множестве помещений, и устройства контроля могут быть соединены беспроводными или проводными сетями для формирования системы позиционирования внутри помещений. Таким образом, люди, животные или бытовые приборы и т.п. внутри помещений могут находиться под наблюдением. Когда наблюдаемый объект, создающий звуки, появляется на изображениях наблюдения устройства контроля, получающее звуки устройство, ближайшее к наблюдаемому объекту, может быть идентифицировано из всех получающих звуки устройств, связанных с устройством контроля, и устройство контроля может послать инструкцию об улавливании на получающее звуки устройство, чтобы инструктировать получающее звуки устройство улавливать звуки от наблюдаемого объекта.

[00117] Во второй реализации 102b1b, посредством технологии распознавания образов, определяют местоположение наблюдаемого объекта, создающего звуки, и определяют получающее звуки устройство для контроля звуков от наблюдаемого объекта, создающего звуки, в соответствии с соответствующими диапазонами области наблюдения, соответствующими получающим звуки устройствам.

[00118] Каждое получающее звуки устройство имеет индивидуальный диапазон области наблюдения. Данные диапазона наблюдения всех получающих звуки устройств могут быть записаны в устройстве контроля. В соответствии с изображениями наблюдения, устройство контроля может определить диапазон области наблюдения получающего звуки устройства, в котором находится наблюдаемый объект, создающий звуки, и, таким образом, устройство контроля может определить получающее звуки устройство для контроля наблюдаемого объекта.

[00119] Фиг. 2J является схематичным представлением, иллюстрирующим, что устройство контроля определяет получающее звуки устройство для контроля звуков от наблюдаемого объекта, создающего звуки, в соответствии с примерным вариантом осуществления. Как показано на фиг. 2J, имеется два угла в текущих изображениях наблюдения, где установлены устройства 10a и 10b контроля. Устройства 10a и 10b контроля соединены друг с другом посредством беспроводной или проводной сети, чтобы образовать систему позиционирования внутри помещений. Когда телевизор 15 в изображениях наблюдения устройства 10а контроля включается, в соответствии с изображениями наблюдения, устройство 10а контроля определяет, что имеется только одно получающее звуки устройство (т.е., аудиооборудование 19) в изображениях наблюдения, но телевизор 15 не находится в диапазоне 19а области наблюдения аудиооборудования 19, и, таким образом, устройство 10а контроля посылает инструкцию запроса на устройство 10b контроля, чтобы запросить, имеется ли мобильное устройство, связанное со всеми устройствами контроля, в изображениях наблюдения устройства 10b контроля. После приема инструкции запроса, устройство 10b контроля определяет, что домашний робот-уборщик 23 в соответствующих изображениях наблюдения связан со всеми устройствами контроля, и посылает инструкцию о перемещении на домашний робот-уборщик 23, чтобы инструктировать домашний робот-уборщик 23 перемещаться в изображения наблюдения устройства 10а контроля. Устройство 10а контроля посылает домашнему роботу-уборщику 23 инструкцию о перемещении, чтобы инструктировать домашний робот-уборщик 23 перемещаться в местоположение, где находится телевизор 15, чтобы перевести телевизор 15 в диапазон 23а области наблюдения домашнего робота-уборщика 23, и инструкцию об улавливании, чтобы инструктировать домашний робот-уборщик 23 улавливать звуки от телевизора 15.

[00120] Со ссылкой на фиг. 2J, когда собака 13 входит в изображения наблюдения устройства 10b контроля, в соответствии с изображениями наблюдения, устройство 10b контроля определяет, что имеется два получающих звуки устройства (т.е. мобильный телефон 21 и домашний робот-уборщик 23) в изображениях наблюдения, собака 13 находится в диапазоне 21а области наблюдения мобильного телефона 21, но не в диапазоне 23а области наблюдения домашнего робота-уборщика 23. При этом устройство 10b контроля может послать инструкцию об улавливании на мобильный телефон 21, чтобы инструктировать мобильный телефон 21 улавливать звуки от собаки 13. Далее, чтобы достичь лучших результатов улавливания звуков, устройство 10b контроля может послать домашнему роботу-уборщику 23 инструкцию о перемещении для инструктирования домашнего робота-уборщика 23 перемещаться в местоположение ближе к собаке 13, чтобы перевести собаку 13 в диапазон 23а области наблюдения домашнего робота-уборщика 23, и инструкцию об улавливании для инструктирования домашнего робота-уборщика 23 улавливать звуки от собаки 13.

[00121] Возможная реализация показана на фиг. 2K, которая является блок-схемой последовательности операций, иллюстрирующей способ управления получающим звуки устройством для улавливания звуков от наблюдаемого объекта в соответствии с примерным вариантом осуществления. Как показано на фиг. 2K, этап 103 может включать в себя следующие три реализации:

[00122] В первой реализации 103a, когда получающее звуки устройство, удовлетворяющее предварительно установленному условию, является получающим звуки устройством, ближайшим к наблюдаемому объекту, создающему звуки, получающим звуки устройством управляют, чтобы улавливать звуки.

[00123] Когда устройство контроля временно не может улавливать звуки, соответствующие наблюдаемому объекту, создающему звуки, в изображениях наблюдения, устройство контроля может послать инструкцию об улавливании на получающее звуки устройство, ближайшее к наблюдаемому объекту, создающему звуки, чтобы инструктировать получающее звуки устройство улавливать звуки, создаваемые наблюдаемым объектом.

[00124] Во второй реализации 103b, когда получающее звуки устройство, удовлетворяющее предварительно установленному условию, является получающим звуки устройством, которое улавливает самый сильный звуковой сигнал, получающим звуки устройством управляют, чтобы улавливать звуки.

[00125] Когда устройство контроля временно не может улавливать звуки, соответствующие наблюдаемому объекту, создающему звуки, в изображениях наблюдения, устройство контроля может послать инструкцию об улавливании на получающее звуки устройство, которое улавливает самый сильный звуковой сигнал, чтобы инструктировать получающее звуки устройство улавливать звуки, создаваемые наблюдаемым объектом.

[00126] В третьей реализации 103b, когда получающее звуки устройство, удовлетворяющее предварительно установленному условию, является получающим звуки устройством, которое улавливает самый сильный звуковой сигнал, получающим звуки устройством управляют, чтобы улавливать звуки.

[00127] Когда устройство контроля определяет, что получающее звуки устройство, удовлетворяющее предварительно установленному условию, является мобильным устройством, связанным с устройством контроля, устройство контроля может послать мобильному устройству инструкцию о перемещении для инструктирования мобильного устройства перемещаться в местоположение вблизи наблюдаемого объекта, создающего звуки, в изображениях наблюдения, и инструкцию об улавливании для инструктирования мобильного устройства улавливать звуки от наблюдаемого объекта, который создает звуки.

[00128] Фиг. 2L является схематичным представлением, иллюстрирующим, что устройство контроля управляет мобильным устройством, чтобы перемещаться к местоположению наблюдаемого объекта, создающего звуки, в изображениях наблюдения в соответствии с примерным вариантом осуществления. Как показано на фиг. 2L, когда устройство 10 контроля не может детектировать звуки, издаваемые кошкой 12, устройство 10 контроля определяет получающие звуки устройства, удовлетворяющие предварительно установленному условию, как дистанционно управляемый летательный аппарат 22 и домашний робот-уборщик 23, связанные с устройством 10 контроля, и затем посылает дистанционно управляемому летательному аппарату 22 или домашнему роботу-уборщику 23 инструкцию о перемещении и инструкцию об улавливании. Инструкция о перемещении инструктирует дистанционно управляемый летательный аппарат 22 или домашний робот-уборщик 23 перемещаться к местоположению, где находится кошка 12, и инструкция об улавливании инструктирует дистанционно управляемый летательный аппарат 22 или домашний робот-уборщик 23 улавливать звуки, издаваемые кошкой 12.

[00129] Далее представлены варианты осуществления устройства согласно настоящему раскрытию, которое может быть использовано для выполнения вариантов осуществления способа согласно настоящему раскрытию. В отношении деталей, не раскрытых в вариантах осуществления устройство, можно сослаться на варианты осуществления способа согласно настоящему раскрытию.

[00130] Фиг. 3 является блок-схемой, иллюстрирующей устройство для улавливания звуков, соответствующих изображениям наблюдения, в соответствии с примерным вариантом осуществления. Как показано на фиг. 3, устройство для улавливания звуков, соответствующих изображениям наблюдения, включает в себя, без ограничения указанным, модуль 201 обнаружения, модуль 202 определения и модуль 203 управления.

[00131] Модуль 201 обнаружения сконфигурирован, чтобы, когда изображения наблюдения собираются камерой устройства контроля, обнаруживать, имеется ли наблюдаемый объект, создающий звуки, в изображениях наблюдения.

[00132] Модуль 202 определения сконфигурирован, чтобы, если модуль 201 обнаружения обнаруживает, что имеется наблюдаемый объект, создающий звуки, в изображениях наблюдения, определять получающее звуки устройство, удовлетворяющее предварительно установленному условию, которое требует, чтобы уровень сигнала звуков, улавливаемых получающим звуки устройством от наблюдаемого объекта, был больше, чем уровень сигнала звуков, улавливаемых устройством контроля от наблюдаемого объекта.

[00133] Модуль 203 управления сконфигурирован для управления получающим звуки устройством, определенным модулем 202 определения, чтобы улавливать звуки от наблюдаемого объекта.

[00134] Возможная реализация показана на фиг. 4, которая является блок-схемой, иллюстрирующей устройство для улавливания звуков, соответствующих изображениям наблюдения, в соответствии с другим примерным вариантом осуществления. Как показано на фиг. 4, модуль 201 обнаружения включает в себя первый подмодуль 201а обнаружения, второй подмодуль 201b обнаружения и третий подмодуль 201с обнаружения.

[00135] Первый подмодуль 201а обнаружения сконфигурирован для обнаружения, имеется ли элемент изменения изображения, создающий звуки, в изображениях наблюдения. Элемент изменения изображения включает в себя наблюдаемый объект, входящий в изображения наблюдения, или наблюдаемый объект, губы которого двигаются.

[00136] Второй подмодуль 201b обнаружения сконфигурирован для обнаружения, создает ли звуки объект указанного типа в изображениях наблюдения. Объект указанного типа включает в себя по меньшей мере одно из двери, окна и бытового прибора.

[00137] Третий подмодуль 201с обнаружения сконфигурирован, чтобы, в соответствии с указанным индексом, сообщенным устройством обнаружения, обнаруживать, имеется ли наблюдаемый объект, создающий звуки, в изображениях наблюдения, причем устройство обнаружения является устройством, связанным с устройством контроля, для обнаружения указанного индекса, и указанный индекс включает в себя одно из состояний включения/выключения, параметров качества воздуха, температуры, параметров, указывающих изменения источников тепла, или параметров физиологических признаков.

[00138] В возможной реализации, со ссылкой на фиг. 4, модуль 202 определения включает в себя четвертый подмодуль 202а обнаружения и первый подмодуль 202b определения.

[00139] Четвертый подмодуль 202а обнаружения сконфигурирован для обнаружения, являются ли звуки, соответствующие изображениям наблюдения, собранным устройством контроля, меньшими, чем предварительно установленное пороговое значение звука.

[00140] Первый подмодуль 202b определения сконфигурирован, чтобы, если четвертый подмодуль 202а обнаружения обнаруживает, что звуки, соответствующие изображениям наблюдения, собранным устройством контроля, меньше, чем предварительно установленное пороговое значение звука, определять получающее звуки устройство, удовлетворяющее предварительно установленному условию.

[00141] В возможной реализации, со ссылкой на фиг. 4, первый подмодуль 202b определения включает в себя первый подмодуль 202b1 идентификации, второй подмодуль 202b2 идентификации или второй подмодуль 202b3 определения.

[00142] Первый подмодуль 202b1 идентификации сконфигурирован для идентификации получающего звуки устройства, ближайшего к наблюдаемому объекту, создающему звуки, среди всех получающих звуки устройств, связанных с устройством контроля, и определения идентифицированного получающего звуки устройства как получающего звуки устройства, удовлетворяющего предварительно установленному условию.

[00143] Второй подмодуль 202b2 идентификации сконфигурирован для управления всеми получающими звуки устройствами, связанными с устройством контроля, для улавливания звуков от наблюдаемого объекта, создающего звуки, и определения получающего звуки устройства, которое улавливает самый сильный звуковой сигнал, в качестве получающего звуки устройства, удовлетворяющего предварительно установленному условию.

[00144] Второй подмодуль 202b3 определения сконфигурирован для определения по меньшей мере одного мобильного устройства, связанного с устройством контроля, в качестве получающего звуки устройства, удовлетворяющего предварительно установленному условию.

[00145] В возможной реализации, со ссылкой на фиг. 4, первый подмодуль 202b1 идентификации включает в себя третий подмодуль 202b1а идентификации или четвертый подмодуль 202b1b определения.

[00146] Третий подмодуль 202b1а идентификации сконфигурирован, чтобы, посредством технологии позиционирования внутри помещения, идентифицировать получающее звуки устройство, ближайшее к наблюдаемому объекту, создающему звуки, среди всех получающих звуки устройств, связанных с устройством контроля.

[00147] Четвертый подмодуль 202b1b определения сконфигурирован, чтобы, посредством технологии распознавания образов, определять местоположение, где находится наблюдаемый объект, создающий звуки, и определять получающее звуки устройство для контроля звуков от наблюдаемого объекта, создающего звуки, в соответствии с соответствующими диапазонами области наблюдения, соответствующими получающим звуки устройствам.

[00148] В возможной реализации, со ссылкой на фиг. 4, модуль 203 управления включает в себя первый подмодуль 203а управления, второй подмодуль 203b управления или третий подмодуль 203с управления.

[00149] Первый подмодуль 203а управления сконфигурирован, чтобы, когда получающее звуки устройство, удовлетворяющее предварительно установленному условию, является получающим звуки устройством, ближайшим к наблюдаемому объекту, создающему звуки, управлять получающим звуки устройством для улавливания звуков.

[00150] Второй подмодуль 203b управления сконфигурирован, чтобы, когда получающее звуки устройство, удовлетворяющее предварительно установленному условию, является получающим звуки устройством, которое улавливает самый сильный звуковой сигнал, управлять получающим звуки устройством для улавливания звуков.

[00151] Третий подмодуль 203с управления сконфигурирован, чтобы, когда получающее звуки устройство, удовлетворяющее предварительно установленному условию, является мобильным устройством, связанным с устройством контроля, управлять мобильным устройством, чтобы перемещаться к местоположению наблюдаемого объекта, создающего звуки, в изображениях наблюдения, и управлять мобильным устройством для улавливания звуков в местоположении, где находится наблюдаемый объект.

[00152] Ввиду вышеизложенного, в устройстве для улавливания звуков, соответствующих изображениям наблюдения, обеспечиваемом вариантами осуществления настоящего раскрытия, идентифицируют наблюдаемый объект, создающий звуки, в изображениях наблюдения, и управляют получающим звуки устройством, которое улавливает звуки с более высоким уровнем сигнала от наблюдаемого объекта, чем уровень сигнала звуков, улавливаемых устройством контроля от наблюдаемого объекта, для улавливания звуков от наблюдаемого объекта. Таким образом, настоящее раскрытие может решить проблему, состоящую в том, что устройство контроля не может четко улавливать звуки от наблюдаемого объекта, который находится относительно далеко от устройства контроля. Устройство контроля управляет получающим звуки устройством для улавливания звуков от наблюдаемого объекта, и, таким образом, информация наблюдения становится более полной.

[00153] В дополнение, когда устройство контроля не может четко улавливать звуки, создаваемые наблюдаемым объектом, устройство контроля может послать инструкцию об улавливании на получающее звуки устройство, удовлетворяющее предварительно установленному условию, чтобы инструктировать получающее звуки устройство улавливать звуки от наблюдаемого объекта. Предварительно установленное условие требует, чтобы получающее звуки устройство было ближайшим к наблюдаемому объекту, или чтобы получающее звуки устройство улавливало самый сильный звуковой сигнал, или чтобы получающее звуки устройство было мобильным устройством, связанным с устройством контроля.

[00154] По отношению к устройствам в вышеописанных вариантах осуществления, конкретные способы для выполнения операций для индивидуальных модулей в них были подробно описаны в вариантах осуществления, относящихся к способам, что не будут детально описываться здесь.

[00155] Примерный вариант осуществления настоящего раскрытия обеспечивает устройство для улавливания звуков, соответствующих изображениям наблюдения, которое способно реализовать способ для улавливания звуков, соответствующих изображениям наблюдения, обеспечиваемый настоящим раскрытием. Устройство для улавливания звуков, соответствующих изображениям наблюдения, включает в себя:

[00156] процессор и

[00157] память для хранения инструкций, исполняемых процессором;

[00158] при этом процессор сконфигурирован, чтобы:

[00159] когда изображения наблюдения собираются камерой устройства контроля, обнаруживать, имеется ли наблюдаемый объект, создающий звуки, в изображениях наблюдения;

[00160] если имеется наблюдаемый объект, создающий звуки, в изображениях наблюдения, определять получающее звуки устройство, удовлетворяющее предварительно установленному условию, которое требует, чтобы уровень сигнала звуков, улавливаемых получающим звуки устройством от наблюдаемого объекта, был больше, чем уровень сигнала звуков, улавливаемых устройством контроля от наблюдаемого объекта; и

[00161] управлять получающим звуки устройством для улавливания звуков от наблюдаемого объекта.

[00162] Фиг. 5 является блок-схемой, иллюстрирующей устройство для улавливания звуков, соответствующих изображениям наблюдения, в соответствии с примерным вариантом осуществления. Например, устройство 400 может быть мобильным телефоном, компьютером, терминалом цифрового вещания, устройством передачи изображений, игровой приставкой, планшетом, медицинским устройством, тренажерным оборудованием, персональным цифровым помощником и т.п.

[00163] Согласно фиг. 5, устройство 400 может включать в себя один или более из следующих компонентов: компонент 402 обработки, память 404, компонент 406 питания, мультимедийный компонент 408, аудиокомпонент 410, интерфейс 412 ввода/вывода (I/O), сенсорный компонент 414 и компонент 416 связи.

[00164] Компонент 402 обработки обычно управляет общими операциями устройства 400, такими как операции, ассоциированные с отображением, телефонными вызовами, передачами данных, операции камеры и операции записи. Компонент 402 обработки может включать в себя один или более процессоров 418, чтобы исполнять инструкции для выполнения всех или части этапов вышеописанных способов. Кроме того, компонент 402 обработки может включать в себя один или более модулей, которые облегчают взаимодействие между компонентом 402 обработки и другими компонентами. Например, компонент 402 обработки может включать в себя мультимедийный модуль для облегчения взаимодействия между мультимедийным компонентом 408 и компонентом 402 обработки.

[00165] Память 404 сконфигурирована для хранения различных типов данных для поддержки операции устройства 400. Примеры таких данных включают в себя инструкции для любых приложений или способов, реализуемых на устройстве 400, данные контактов, данные телефонного справочника, сообщения, картинки, видео и т.д. Память 404 может быть реализована с использованием любого типа энергозависимых или энергонезависимых устройств памяти или их комбинации, таких как статическая оперативная память (SRAM), электрически-стираемая программируемая постоянная память (EEPROM), стираемая программируемая постоянная память (EPROM), программируемая постоянная память (PROM), постоянная память (ROM), магнитная память, флэш-память, магнитный или оптический диск.

[00166] Компонент 406 питания подает питание на различные компоненты устройства 400. Компонент 406 питания может включать в себя систему управления питанием, один или более источников питания и любые другие компоненты, ассоциированные с генерацией, управлением и распределением питания в устройстве 400.

[00167] Мультимедийный компонент 408 включает в себя экран, обеспечивающий интерфейс вывода между устройством 400 и пользователем. В некоторых вариантах осуществления экран может включать в себя жидкокристаллический дисплей (LCD) и сенсорную панель (TP). Если экран включает в себя сенсорную панель, экран может быть реализован как сенсорный экран, чтобы принимать сигналы ввода от пользователя. Сенсорная панель включает в себя один или более датчиков касания, чтобы воспринимать касания, пролистывания и жесты на сенсорной панели. Датчики касания могут не только воспринимать границу действия касания или пролистывания, но и также воспринимать период времени и давление, ассоциированное с действием касания или пролистывания. В некоторых вариантах осуществления, мультимедийный компонент 408 включает в себя фронтальную камеру и/или заднюю камеру. Фронтальная камера и задняя камера могут принимать внешние мультимедийные данные, в то время как устройство 400 находится в рабочем режиме, таком как режим фотографирования или режим видео. Каждая из фронтальной камеры и задней камеры может быть фиксированной оптической линзовой системой или иметь возможности фокусировки и оптического изменения масштаба.

[00168] Аудиокомпонент 410 сконфигурирован для вывода и/или ввода аудиосигналов. Например, аудиокомпонент 410 включает в себя микрофон (MIC), сконфигурированный для приема внешнего аудиосигнала, когда устройство 400 находится в рабочем режиме, таком как режим вызова, режим записи и режим распознавания голоса. Принятый аудиосигнал может дополнительно сохраняться в памяти 404 или передаваться посредством компонента 416 связи. В некоторых вариантах осуществления, аудиокомпонент 410 дополнительно включает в себя динамик для вывода аудиосигналов.

[00169] Интерфейс 412 I/O обеспечивает интерфейс между компонентом 402 обработки и интерфейсными модулями периферийных устройств, таких как клавиатура, колесико с фиксацией, кнопки и т.п. Кнопки могут включать в себя, без ограничения указанным, кнопку “домой”, кнопку громкости, кнопку запуска и кнопку блокировки.

[00170] Сенсорный компонент 414 включает в себя один или более датчиков для обеспечения оценок состояния для различных аспектов устройства 400. Например, сенсорный компонент 414 может обнаруживать открытое/закрытое состояние устройства 400, относительное позиционирование компонентов, например дисплея и клавиатуры, устройства 400, изменение в положении устройства 400 или компонента устройства 400, присутствие или отсутствие пользовательского контакта с устройством 400, ориентацию или ускорение/замедление устройства 400 и изменение в температуре устройства 400. Сенсорный компонент 414 может включать в себя датчик близости, может включать в себя датчик близости, сконфигурированный для обнаружения присутствия ближних объектов без какого-либо физического контакта. Сенсорный компонент 414 может также включать в себя датчик света, такой как CMOS или CCD датчик изображения, для использования в приложениях формирования изображения. В некоторых вариантах осуществления сенсорный компонент 414 может также включать в себя датчик акселерометра, датчик гироскопа, магнитный датчик, датчик давления или датчик температуры.

[00171] Компонент 416 связи сконфигурирован для обеспечения связи, проводной или беспроводной, между устройством 400 и другими устройствами. Устройство 400 может получать доступ к беспроводной сети на основе стандарта связи, такого как WiFi, 2G или 3G или их комбинация. В одном примерном варианте осуществления компонент 416 связи принимает сигнал вещания или информацию, ассоциированную с вещанием, от внешней системы управления вещанием через канал вещания. В одном примерном варианте осуществления компонент 416 связи дополнительно включает в себя модуль связи в ближней зоне (NFC), чтобы обеспечивать связь малой дальности. Например, модуль NFC может быть реализован на основе технологии радиочастотной идентификации (RFID), технологии передачи данных в инфракрасном диапазоне (IrDA), ультра-широкополосной технологии (UWB), технологии Bluetooth (BT) и других технологий.

[00172] В примерных вариантах осуществления устройство 400 может быть реализовано с помощью одной или более специализированных интегральных схем (ASIC), цифровых процессоров сигналов (DSP), устройств цифровой обработки данных (DSPD), программируемых логических устройств (PLD), программируемых пользователем вентильных матриц (FPGA), контроллеров, микроконтроллеров, микропроцессоров или других электронных компонентов для выполнения вышеописанных способов для улавливания звуков, соответствующих изображениям наблюдения.

[00173] В примерных вариантах осуществления, также предложен невременный считываемый компьютером носитель хранения, включающий в себя инструкции, такие как включенные в память 404, исполняемые процессором 418 в устройстве 400, для выполнения вышеописанных способов для улавливания звуков, соответствующих изображениям наблюдения. Например, невременный считываемый компьютером носитель хранения может представлять собой ROM, RAM, CD-ROM, магнитную ленту, гибкий диск, оптическое устройство хранения данных и т.п.

[00174] Другие варианты осуществления изобретения будут очевидны для специалистов в данной области техники на основе изучения описания и реализации изобретения, описанного здесь. Настоящая заявка предназначена, чтобы охватывать любые вариации, использования или адаптации настоящего раскрытия в соответствии с его основными принципами, и включает в себя такие отклонения от настоящего раскрытия, которые находятся в рамках известной или обычной практики в уровне техники. Подразумевается, что описание и примеры должны рассматриваться только как иллюстративные, причем истинный объем и сущность изобретения определяются приложенной формулой изобретения.

[00175] Должно быть понятно, что настоящее изобретение не ограничено точной конструкцией, которая описана выше и проиллюстрирована на приложенных чертежах, и что различные модификации и изменения могут быть выполнены без отклонения от его объема. Подразумевается, что объем настоящего раскрытия ограничен только приложенной формулой изобретения.

Изобретение в основном относится к области компьютерных технологий и, более конкретно, к улавливанию (сбору) звуков, соответствующих изображениям наблюдения. Техническим результатом является повышение уровня сигнала, улавливаемого устройством контроля звуков от наблюдаемого объекта. В способе улавливания звуков, соответствующих изображениям наблюдения, когда изображения наблюдения собираются камерой устройства контроля, обнаруживают, имеется ли наблюдаемый объект, создающий звуки, в изображениях наблюдения. Если имеется наблюдаемый объект, создающий звуки, в изображениях наблюдения, определяют получающее звуки устройство, удовлетворяющее предварительно установленному условию, которое требует, чтобы уровень сигнала звуков, улавливаемых получающим звуки устройством от наблюдаемого объекта, был больше, чем уровень сигнала звуков, улавливаемых устройством контроля от наблюдаемого объекта. Управляют получающим звуки устройством, чтобы улавливать звуки от наблюдаемого объекта. Таким образом, настоящее раскрытие может решить проблему, состоящую в том, что устройство контроля не может четко улавливать звуки от наблюдаемого объекта, который находится относительно далеко от устройства контроля. 3 н. и 8 з.п. ф-лы, 16 ил.

1. Способ улавливания звуков, соответствующих изображениям наблюдения, содержащий:

когда изображения наблюдения собираются камерой устройства контроля, обнаружение, имеется ли наблюдаемый объект, создающий звуки, в изображениях наблюдения;

если имеется наблюдаемый объект, создающий звуки, в изображениях наблюдения, определение получающего звуки устройства, удовлетворяющего предварительно установленному условию, которое требует, чтобы уровень сигнала звуков, улавливаемых получающим звуки устройством от наблюдаемого объекта, был больше, чем уровень сигнала звуков, улавливаемых устройством контроля от наблюдаемого объекта; и

управление получающим звуки устройством, чтобы улавливать звуки от наблюдаемого объекта,

причем обнаружение, имеется ли наблюдаемый объект, создающий звуки, в изображениях наблюдения, содержит:

обнаружение, имеется ли элемент изменения изображения, создающий звуки, в изображениях наблюдения, причем элемент изменения изображения содержит наблюдаемый объект, входящий в изображения наблюдения, или наблюдаемый объект, губы которого двигаются; или

обнаружение, действительно ли объект указанного типа в изображениях наблюдения создает звуки, причем объект указанного типа содержит, по меньшей мере, одно из двери, окна и бытового прибора; или

в соответствии с указанным индексом, сообщенным устройством обнаружения, обнаружение, имеется ли наблюдаемый объект, создающий звуки, в изображениях наблюдения, причем устройство обнаружения является устройством, связанным с устройством контроля, для обнаружения указанного индекса, и указанный индекс содержит одно из состояний включения/выключения, параметров качества воздуха, температуры, параметров, указывающих изменения источников тепла, или параметров физиологических признаков.

2. Способ по п. 1, в котором определение получающего звуки устройства, удовлетворяющего предварительно установленному условию, содержит:

обнаружение, являются ли звуки, соответствующие изображениям наблюдения, собранным устройством контроля, меньшими, чем предварительно установленное пороговое значение звука; и

если звуки, соответствующие изображениям наблюдения, собранным устройством контроля, меньше, чем предварительно установленное пороговое значение звука, определение, что получающее звуки устройство удовлетворяет предварительно установленному условию.

3. Способ по п. 2, в котором определение, что получающее звуки устройство удовлетворяет предварительно установленному условию, содержит:

идентификацию получающего звуки устройства, ближайшего к наблюдаемому объекту, создающему звуки, из всех получающих звуки устройств, связанных с устройством контроля, и определение идентифицированного получающего звуки устройства в качестве получающего звуки устройства, удовлетворяющего предварительно установленному условию; или

управление всеми получающими звуки устройствами, связанными с устройством контроля, чтобы улавливать звуки от наблюдаемого объекта, создающего звуки, и определение получающего звуки устройства, которое улавливает самый сильный звуковой сигнал, в качестве получающего звуки устройства, удовлетворяющего предварительно установленному условию; или

определение по меньшей мере одного мобильного устройства, связанного с устройством контроля, в качестве получающего звуки устройства, удовлетворяющего предварительно установленному условию.

4. Способ по п. 3, в котором идентификация получающего звуки устройства, ближайшего к наблюдаемому объекту, создающему звуки, среди всех получающих звуки устройств, связанных с устройством контроля, содержит:

посредством технологии позиционирования внутри помещения, идентификацию получающего звуки устройства, ближайшего к наблюдаемому объекту, создающему звуки, среди всех получающих звуки устройств, связанных с устройством контроля; или

посредством технологии распознавания образов, определение местоположения, где находится наблюдаемый объект, создающий звуки, и определение получающего звуки устройства для контроля звуков от наблюдаемого объекта, создающего звуки, в соответствии с соответствующими диапазонами области наблюдения, соответствующими получающим звуки устройствам.

5. Способ по любому из пп. 1-4, в котором управление получающим звуки устройством для улавливания звуков от наблюдаемого объекта содержит:

когда получающее звуки устройство, удовлетворяющее предварительно установленному условию, является получающим звуки устройством, ближайшим к наблюдаемому объекту, создающему звуки, управление получающим звуки устройством для улавливания звуков; или

когда получающее звуки устройство, удовлетворяющее предварительно установленному условию, является получающим звуки устройством, которое улавливает самый сильный звуковой сигнал, управление получающим звуки устройством для улавливания звуков; или

когда получающее звуки устройство, удовлетворяющее предварительно установленному условию, является мобильным устройством, связанным с устройством контроля, управление мобильным устройством для перемещения к местоположению наблюдаемого объекта, создающего звуки в изображениях наблюдения, и управление мобильным устройством для улавливания звуков в местоположении, где находится наблюдаемый объект.

6. Устройство для улавливания звуков, соответствующих изображениям наблюдения, содержащее:

модуль обнаружения, сконфигурированный, чтобы, когда изображения наблюдения собираются камерой устройства контроля, обнаруживать, имеется ли наблюдаемый объект, создающий звуки, в изображениях наблюдения;

модуль определения, сконфигурированный, чтобы, если модуль обнаружения обнаруживает, что имеется наблюдаемый объект, создающий звуки, в изображениях наблюдения, определять получающее звуки устройство, удовлетворяющее предварительно установленному условию, которое требует, чтобы уровень сигнала звуков, улавливаемых получающим звуки устройством от наблюдаемого объекта, был больше, чем уровень сигнала звуков, улавливаемых устройством контроля от наблюдаемого объекта; и

модуль управления, сконфигурированный для управления получающим звуки устройством, определенным модулем определения, чтобы улавливать звуки от наблюдаемого объекта, причем

модуль обнаружения содержит:

первый подмодуль обнаружения, сконфигурированный для обнаружения, имеется ли элемент изменения изображения, создающий звуки, в изображениях наблюдения, причем элемент изменения изображения содержит наблюдаемый объект, входящий в изображение наблюдения, или наблюдаемый объект, губы которого двигаются; или

второй подмодуль обнаружения, сконфигурированный для обнаружения, создает ли звуки объект указанного типа в изображениях наблюдения, причем объект указанного типа содержит, по меньшей мере, одно из двери, окна и бытового прибора; или

третий подмодуль обнаружения, сконфигурированный, чтобы, в соответствии с указанным индексом, сообщенным устройством обнаружения, обнаруживать, имеется ли наблюдаемый объект, создающий звуки, в изображениях наблюдения, причем устройство обнаружения является устройством, связанным с устройством контроля для обнаружения указанного индекса, и указанный индекс содержит одно из состояний включения/выключения, параметров качества воздуха, температуры, параметров, указывающих изменения источников тепла, или параметров физиологических признаков.

7. Устройство по п. 6, в котором модуль определения содержит:

четвертый подмодуль обнаружения, сконфигурированный для обнаружения, являются ли звуки, соответствующие изображениям наблюдения, собираемым устройством контроля, меньшими, чем предварительно установленное пороговое значение звука; и

первый подмодуль определения сконфигурированный, чтобы, если четвертый подмодуль обнаружения обнаруживает, что звуки, соответствующие изображениям наблюдения, собранным устройством контроля, меньше, чем предварительно установленное пороговое значение звука, определять получающее звуки устройство, удовлетворяющее предварительно установленному условию.

8. Устройство по п. 7, в котором первый подмодуль определения содержит:

первый подмодуль идентификации, сконфигурированный для идентификации получающего звуки устройства, ближайшего к наблюдаемому объекту, создающему звуки, среди всех получающих звуки устройств, связанных с устройством контроля, и определения идентифицированного получающего звуки устройства в качестве получающего звуки устройства, удовлетворяющего предварительно установленному условию; или

второй подмодуль идентификации, сконфигурированный для управления всеми получающими звуки устройствами, связанными с устройством контроля, чтобы улавливать звуки от наблюдаемого объекта, создающего звуки, и определения получающего звуки устройства, которое улавливает самый сильный звуковой сигнал, в качестве получающего звуки устройства, удовлетворяющего предварительно установленному условию; или

второй подмодуль определения, сконфигурированный для определения по меньшей мере одного мобильного устройства, связанного с устройством контроля, в качестве получающего звуки устройства, удовлетворяющего предварительно установленному условию.

9. Устройство по п. 8, в котором первый подмодуль идентификации содержит:

третий подмодуль идентификации, сконфигурированный, чтобы, посредством технологии позиционирования внутри помещения, идентифицировать получающее звуки устройство, ближайшее к наблюдаемому объекту, создающему звуки, среди всех получающих звуки устройств, связанных с устройством контроля; или

четвертый подмодуль определения, сконфигурированный, чтобы, посредством технологии распознавания образов, определять местоположение, где находится наблюдаемый объект, создающий звуки, и определять получающее звуки устройство для контроля звуков от наблюдаемого объекта, создающего звуки, в соответствии с соответствующими диапазонами области наблюдения, соответствующими получающим звуки устройствам.

10. Устройство по любому из пп. 6-9, в котором модуль управления содержит:

первый подмодуль управления, сконфигурированный, чтобы, когда получающее звуки устройство, удовлетворяющее предварительно установленному условию, является получающим звуки устройством, ближайшим к наблюдаемому объекту, создающему звуки, управлять получающим звуки устройством для улавливания звуков; или

второй подмодуль управления, сконфигурированный, чтобы, когда получающее звуки устройство, удовлетворяющее предварительно установленному условию, является получающим звуки устройством, которое улавливает самый сильный звуковой сигнал, управлять получающим звуки устройством для улавливания звуков; или

третий подмодуль управления сконфигурированный, чтобы, когда получающее звуки устройство, удовлетворяющее предварительно установленному условию, является мобильным устройством, связанным с устройством контроля, управлять мобильным устройством, чтобы перемещаться к местоположению наблюдаемого объекта, создающего звуки, в изображениях наблюдения, и управлять мобильным устройством для улавливания звуков в местоположении, где находится наблюдаемый объект.

11. Устройство для улавливания звуков, соответствующих изображениям наблюдения, содержащее:

процессор и

память для сохранения инструкций, исполняемых процессором;

при этом процессор сконфигурирован, чтобы:

когда изображения наблюдения собираются камерой устройства контроля, обнаруживать, имеется ли наблюдаемый объект, создающий звуки, в изображениях наблюдения;

если имеется наблюдаемый объект, создающий звуки, в изображениях наблюдения, определять получающее звуки устройство, удовлетворяющее предварительно установленному условию, которое требует, чтобы уровень сигнала звуков, улавливаемых получающим звуки устройством от наблюдаемого объекта, был выше, чем уровень сигнала звуков, улавливаемых устройством контроля от наблюдаемого объекта; и

управлять получающим звуки устройством для улавливания звуков от наблюдаемого объекта,

причем обнаружение, имеется ли наблюдаемый объект, создающий звуки, в изображениях наблюдения, содержит:

обнаружение, имеется ли элемент изменения изображения, создающий звуки, в изображениях наблюдения, причем элемент изменения изображения содержит наблюдаемый объект, входящий в изображения наблюдения, или наблюдаемый объект, губы которого двигаются; или

обнаружение, действительно ли объект указанного типа в изображениях наблюдения создает звуки, причем объект указанного типа содержит, по меньшей мере, одно из двери, окна и бытового прибора; или

в соответствии с указанным индексом, сообщенным устройством обнаружения, обнаружение, имеется ли наблюдаемый объект, создающий звуки, в изображениях наблюдения, причем устройство обнаружения является устройством, связанным с устройством контроля, для обнаружения указанного индекса, и указанный индекс содержит одно из состояний включения/выключения, параметров качества воздуха, температуры, параметров, указывающих изменения источников тепла, или параметров физиологических признаков.