СПОСОБ И УСТРОЙСТВО ДЛЯ СИНТЕЗИРОВАНИЯ ФОТОГРАФИЙ Российский патент 2018 года по МПК G06T1/00 

ПЕРЕКРЕСТНАЯ ССЫЛКА НА РОДСТВЕННЫЕ ЗАЯВКИ

[0001] Данная заявка основана на заявке Китая №201611078279.0, поданной 29 ноября 2016 года, по которой испрашивается приоритет и содержание которой целиком включено в состав настоящей заявки посредством ссылки.

ОБЛАСТЬ ТЕХНИКИ

[0002] Раскрытие настоящего изобретения в целом относится к области техники интеллектуальной фотосъемки, а более конкретно, - к способу и устройству для синтезирования фотографий.

ПРЕДПОСЫЛКИ СОЗДАНИЯ ИЗОБРЕТЕНИЯ

[0003] С развитием техники фотосъемки все большему количеству пользователей нравится делать фотографии в ходе ежедневных перемещений или на встречах с друзьями. Снять фотографию с приемлемым выражением лица каждого участника фотосъемки относительно сложно. На современном уровне техники устройство захвата изображений может классифицировать лица на каждой фотографии, сгенерированной в процессе фотосъемки множества людей путем выполнения предпочтительной операции групповой фотосъемки, и извлекать для синтеза лицо с наилучшими характеристиками из каждой фотографии. На современном уровне техники для генерации синтезированной фотографии используется множество фотоснимков, подлежащих синтезу, вследствие чего увеличивается потребление мощности устройством захвата изображений и возрастает время генерации синтезированной фотографии.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

[0004] Для решения проблем, существующих в данной области техники, в рамках вариантов раскрытия настоящего изобретения предлагается способ и устройство синтезирования фотографий, позволяющие устранить проблему, связанную с высоким уровнем потребления мощности и длительным временем генерации синтезированной фотографии.

[0005] В соответствии с первым аспектом вариантов раскрытия настоящего изобретения предлагается способ синтезирования фотографий, который может включать:

[0006] запуск компонента получения изображений для получения фотографии после приема инструкции генерации синтезированной фотографии;

[0007] после получения текущей фотографии, вычисление значения оценки выражения лица первого типа на текущей фотографии, при этом первый тип лица используется для индикации лица, характеризующегося значением оценки выражения, которое вычислено с помощью фотографии, полученной перед текущей фотографией, и не превышает заранее заданного порогового значения оценки;

[0008] определение, превышает ли значение оценки выражения всех без исключения лиц первого типа заранее заданное пороговое значение оценки на текущей фотографии; и

[0009] если все значения оценки выражения лиц первого типа на текущей фотографии превышают заранее заданное пороговое значение оценки, управление компонентом получения изображений с целью остановки получения фотографии и генерацию синтезированной фотографии путем сшивания второго типа лиц на полученных фотографиях, при этом второй тип лица используется для индикации лица со значением оценки выражения, превышающим заранее заданное пороговое значение оценки.

[0010] В соответствии с вариантом осуществления способ также включает:

[0011] если не все значения оценки выражения лица первого типа на текущей фотографии превышают заранее заданное пороговое значение оценки, определение, меньше ли количество полученных фотографий заранее заданного количества; и

[0012] если количество полученных фотографий меньше заранее заданного количества, определение, что для лица первого типа требуется вычисление значения оценки выражения на фотографии, полученной позже, на основе значения оценки выражения лица первого типа на текущей фотографии, и выполнение операции запуска компонента получения изображений с целью получения фотографии.

[0013] В соответствии с вариантом осуществления способ также включает:

[0014] если количество полученных фотографий не меньше заранее заданного количества, определение лиц для генерации синтезированной фотографии на основе полученных фотографий и генерацию синтезированной фотографии путем сшивания.

[0015] Согласно варианту осуществления определение лиц для генерации синтезированной фотографии на основе полученных фотографий включает:

[0016] выбор лица второго типа из полученных фотографий и лица с наибольшим значением оценки выражения среди лиц первого типа в качестве лица для генерации синтезированной фотографии.

[0017] Согласно варианту осуществления вычисление значения оценки выражения лица первого типа на текущей фотографии включает:

[0018] идентификацию каждого лица первого типа на основе текущей фотографии;

[0019] вычисление локального значения оценки, соответствующего локальной характеристике, относящейся к каждому лицу первого типа; и

[0020] взвешивание каждого локального значения оценки каждого лица первого типа для получения значения оценки выражения каждого лица первого типа.

[0021] В соответствии со вторым аспектом вариантов раскрытия настоящего изобретения предлагается устройство синтезирования фотографий, которое может содержать:

[0022] модуль получения изображений, сконфигурированный для запуска компонента получения изображений с целью получения фотографии после приема инструкции генерации синтезированной фотографии;

[0023] модуль вычисления, сконфигурированный для вычисления значения оценки выражения лица первого типа на текущей фотографии после получения текущей фотографии, при этом первый тип лица используется для индикации лица, характеризующегося значением оценки выражения, которое вычислено с помощью фотографии, полученной перед текущей фотографией, и не превышает заранее заданного порогового значения оценки;

[0024] первый модуль определения, сконфигурированный для определения, превышает ли значение оценки выражения всех без исключения лиц первого типа, вычисленное модулем вычисления, заранее заданное пороговое значение оценки на текущей фотографии; и

[0025] модуль генерации, сконфигурированный для управления компонентом получения изображений с целью остановки получения фотографии и генерации синтезированной фотографии путем сшивания второго типа лиц на полученных фотографиях, если первый модуль определения определяет, что все значения оценки выражения лица первого типа на текущей фотографии превышают заранее заданное пороговое значение оценки, при этом второй тип лица используется для индикации лица со значением оценки выражения, превышающим заранее заданное пороговое значение оценки.

[0026] Согласно варианту осуществления, устройство также содержит:

[0027] второй модуль определения, сконфигурированный для определения, меньше ли количество полученных фотографий заранее заданного количества, если первый модуль определения определяет, что не все значения оценки выражения лица первого типа на текущей фотографии превышают заранее заданное пороговое значение оценки; и

[0028] модуль выполнения операции, сконфигурированный для определения того, что для лица первого типа требуется вычисление значения оценки выражения на фотографии, полученной позже, на основе значения оценки выражения лица первого типа на текущей фотографии, и выполнения операции запуска компонента получения изображений с целью получения фотографии, если второй модуль определения определяет, что количество полученных фотографий меньше заранее заданного количества.

[0029] Согласно варианту осуществления устройство также содержит:

[0030] третий модуль определения, сконфигурированный для определения лиц для генерации синтезированной фотографии на основе полученных фотографий и генерации синтезированной фотографии путем сшивания, если второй модуль определения определяет, что количество полученных фотографий не меньше заранее заданного количества.

[0031] Согласно варианту осуществления, третий модуль определения содержит:

[0032] подмодуль выбора, сконфигурированный для выбора лица второго типа из полученных фотографий и лица с наибольшим значением оценки выражения среди лиц первого типа в качестве лиц для генерации синтезированной фотографии.

[0033] Согласно варианту осуществления модуль вычисления содержит:

[0034] подмодуль идентификации, сконфигурированный для идентификации каждого лица первого типа на основе текущей фотографии;

[0035] подмодуль вычисления, сконфигурированный для вычисления локального значения оценки, соответствующего локальной характеристике, относящейся к каждому лицу первого типа; и

[0036] подмодуль взвешивания, сконфигурированный для взвешивания каждого локального значения оценки каждого лица первого типа для получения значения оценки выражения каждого лица первого типа.

[0037] В соответствии с третьим аспектом вариантов раскрытия настоящего изобретения предлагается устройство синтезирования фотографий, которое может содержать:

[0038] процессор и

[0039] память, в которой хранятся инструкции, выполняемые процессором;

[0040] при этом процессор сконфигурирован для выполнения следующих операций:

[0041] запуск компонента получения изображений для получения фотографии после приема инструкции генерации синтезированной фотографии;

[0042] после получения текущей фотографии, вычисление значения оценки выражения лица первого типа на текущей фотографии, при этом первый тип лица используется для индикации лица, характеризующегося значением оценки выражения, которое вычислено с помощью фотографии, полученной перед текущей фотографией, и не превышает заранее заданного порогового значения оценки;

[0043] определение, превышает ли значение оценки выражения всех без исключения лиц первого типа заранее заданное пороговое значение оценки на текущей фотографии; и

[0044] если все значения оценки выражения лиц первого типа на текущей фотографии превышают заранее заданное пороговое значение оценки, управление компонентом получения изображений с целью остановки получения фотографии и генерация синтезированной фотографии путем сшивания второго типа лиц на полученных фотографиях, при этом второй тип лица используется для индикации лица со значением оценки выражения, превышающим заранее заданное пороговое значение оценки.

[0045] Путем реализации технических решений, соответствующих вариантам раскрытия настоящего изобретения, достигаются следующие положительные результаты: после приема инструкции генерации синтезированной фотографии компонент получения изображений начинает получать фотографии, и каждый раз при получении одной фотографии вычисляется значение оценки выражения лица первого типа на текущей фотографии, затем определяется, превышает ли значение оценки выражения всех без исключения лиц первого типа заранее заданное пороговое значение оценки на текущей фотографии, и если все значения оценки выражения лиц первого типа на текущей фотографии превышают заранее заданное пороговое значение оценки, компонент получения изображений управляется с целью остановки получения фотографии, и синтезированная фотография генерируется путем сшивания второго типа лиц на полученных фотографиях. В соответствии с вариантом раскрытия настоящего изобретения каждый раз при генерации одной фотографии можно вычислять только значение оценки выражения лица с относительно низким значением оценки выражения на ранее сгенерированной фотографии, благодаря чему количество сгенерированных фотографий может эффективно уменьшаться с одновременным обеспечением высокоэффективной генерации синтезированной фотографии. Кроме того, объем вычислений при расчете значения выражения лица на фотографии сокращается, благодаря чему эффективно уменьшается время генерации синтезированной фотографии и снижается потребление мощности при генерации синтезированной фотографии.

[0046] Помимо этого, путем ограничения количества генерируемых фотографий возможно эффективно уменьшить количество фотографий для генерации синтезированной фотографии при сохранении должного качества синтезированной фотографии.

[0047] Путем вычисления локального значения оценки каждого лица, такой как значение оценки глаз, значение оценки рта и значение оценки ориентации лица, а затем взвешивания этих оценок для получения значения оценки выражения можно на основе множества аспектов определить выражение лица, при этом оценка выражения лица может быть более полной.

[0048] Следует принимать во внимание, что как предшествующее общее описание, так и последующее подробное описание представлено только в качестве примера и разъяснения сути изобретения и не ограничивает его объем, указанный в формуле изобретения.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0049] Прилагаемые чертежи, которые включены в состав этого описания и составляют одну из его частей, иллюстрируют варианты осуществления, не противоречащие сути настоящего изобретения, и совместно с описанием помогают разобраться в принципах изобретения.

[0050] На фиг. 1 показан алгоритм выполнения способа синтезирования фотографий в соответствии с примером осуществления настоящего изобретения.

[0051] На фиг. 2 показан алгоритм выполнения способа синтезирования фотографий в соответствии с первым примером осуществления настоящего изобретения.

[0052] На фиг. 3 показан алгоритм выполнения способа вычисления значения оценки выражения лица в соответствии со вторым примером реализации настоящего изобретения.

[0053] На фиг. 4 показана блок-схема устройства синтезирования фотографий в соответствии с примером осуществления настоящего изобретения.

[0054] На фиг. 5 показана блок-схема другого устройства синтезирования фотографий в соответствии с примером осуществления настоящего изобретения.

[0055] На фиг. 6 показана блок-схема еще одного устройства синтезирования фотографий в соответствии с примером осуществления настоящего изобретения.

[0056] На фиг. 7 показана блок-схема, подходящая для устройства синтезирования фотографий в соответствии с примером осуществления настоящего изобретения.

ПОДРОБНОЕ ОПИСАНИЕ

[0057] Далее более подробно описываются примеры осуществления настоящего изобретения, иллюстрируемые посредством прилагаемых чертежей. Последующее описание приводится со ссылками на прилагаемые чертежи, на которых одинаковые цифровые отметки обозначают одинаковые или схожие элементы, если явно не указано иное. Изложенные в последующем описании примеры вариантов осуществления не охватывают всех вариантов реализации, не противоречащих настоящему изобретению. В этом описании приводятся только примеры реализации устройств и способов, соответствующих аспектам, связанным с изобретением, сущность которого излагается в прилагаемой формуле изобретения.

[0058] На фиг. 1 показан алгоритм выполнения способа синтезирования фотографий в соответствии с примером осуществления настоящего изобретения. Способ синтезирования фотографий может применяться в фотокамере или в электронном устройстве (таком как смартфон и планшет), содержащем устройство захвата изображений. Как показано на фиг. 1, способ синтезирования фотографий включает следующие шаги.

[0059] На шаге 101 выполняется запуск компонента получения изображений для получения фотографии после приема инструкции генерации синтезированной фотографии.

[0060] Согласно варианту осуществления, инструкция генерации синтезированной фотографии может инициироваться с помощью сенсорного экрана или физической кнопки.

[0061] Согласно варианту осуществления количество фотографий, выполненных компонентом получения изображений, не может превышать заранее заданного количества, например 4. Количество получаемых фотографий определяется значением оценки выражения лица в первой захваченной фотографии. Например, если значения оценки выражения всех лиц на первой фотографии превышают заранее заданное пороговое значение оценки, то можно снять только одну фотографию.

[0062] Согласно варианту осуществления заранее заданное количество может устанавливаться пользователем или может устанавливаться заранее и сохраняться в памяти производителем устройства захвата изображений.

[0063] На шаге 102 при получении текущей фотографии вычисляется значение оценки выражения лица первого типа на текущей фотографии.

[0064] Согласно варианту осуществления, первый тип лица используется для представления лица со значением оценки выражения, которое вычислено с использованием фотографии, полученной перед текущей фотографией, и не превосходит заранее заданного порогового значения оценки. Например, если на фотографии зафиксированы четыре лица: лицо А, лицо В, лицо С и лицо D, соответственно, то при получении первой фотографии каждое из лиц А, В, С и D может использоваться в качестве лица первого типа, при этом необходимо вычислить значения оценки выражения всех лиц. Если на первой фотографии значения оценки выражения лиц А, В и С превышают заранее заданное пороговое значение оценки, то для второй фотографии лицом первого типа является лицо D, и при генерации второй фотографии можно вычислить только значение оценки выражения лица D.

[0065] Согласно варианту осуществления значение оценки выражения каждого лица может измеряться с использование глаз, рта, ориентации лица, качества изображения лица и других характеристик лица.

[0066] В соответствии с вариантом осуществления настоящего изобретения, каждый раз после генерации одной фотографии значение оценки выражения лица может вычисляться с помощью предварительно заданного алгоритма обработки изображения.

[0067] Согласно варианту осуществления процесс вычисления значения оценки выражения лица может выполняться в соответствии с реализацией, показанной на фиг. 3, и в рамках данного варианта этот процесс не рассматривается.

[0068] На шаге 103 на текущей фотографии определяется, превышает ли значение оценки выражения всех без исключения лиц первого типа заранее заданное пороговое значение оценки, и если это справедливо, то выполняется шаг 104.

[0069] В соответствии с вариантом осуществления, заранее заданное пороговое значение оценки может представлять собой приемлемую оценку, например 80 пунктов, и выражение, оценка которого достигает заранее заданного порогового значения, является относительно хорошим, и это выражение может использоваться для генерации синтезированной фотографии.

[0070] На шаге 104 выполняется управление компонентом получения изображений с целью остановки получения фотографии и сшивание второго типа лиц на полученных фотографиях для генерации синтезированной фотографии.

[0071] Согласно варианту осуществления второй тип лица используется для представления лица, значение оценки выражения которого больше заранее заданного порогового значения оценки.

[0072] В соответствии с вариантом осуществления, синтезированная фотография может генерироваться путем сшивания лиц, характеризующихся значением оценки выражения, превышающим заранее заданное пороговое значение оценки на полученных фотографиях.

[0073] Согласно варианту осуществления, после приема инструкции генерации синтезированной фотографии компонент получения изображений начинает получать фотографию, и каждый раз при получении одной фотографии вычисляется значение оценки выражения лица первого типа на текущей фотографии, затем определяется, превышает ли значение оценки выражения всех без исключения лиц первого типа на текущей фотографии заранее заданное пороговое значение оценки, и если все значения оценки выражения лиц первого типа на текущей фотографии превышают заранее заданное пороговое значение оценки, компонент получения изображений управляется с целью остановки получения фотографии, и синтезированная фотография генерируется путем сшивания с использованием полученных фотографий. В соответствии с вариантом раскрытия настоящего изобретения, каждый раз при генерации одной фотографии можно вычислять только значение оценки выражения лица с относительно низким значением оценки выражения на ранее сгенерированной фотографии, благодаря чему количество сгенерированных фотографий может эффективно уменьшаться с одновременным обеспечением высокоэффективной генерации синтезированной фотографии. Кроме того, объем вычислений при расчете значения выражения лица на фотографии сокращается, благодаря чему эффективно уменьшается время генерации синтезированной фотографии и снижается потребление мощности при генерации синтезированной фотографии.

[0074] В соответствии с вариантом осуществления способ также включает:

[0075] если не все значения оценки выражения лица первого типа на текущей фотографии превышают заранее заданное пороговое значение оценки, определение, меньше ли количество полученных фотографий заранее заданного количества; и

[0076] если количество полученных фотографий меньше заранее заданного количества, определение, что для лица первого типа требуется вычисление значения оценки выражения на фотографии, полученной позже, на основе значения оценки выражения лица первого типа на текущей фотографии, и выполнение операции запуска компонента получения изображений с целью получения фотографии.

[0077] В соответствии с вариантом осуществления способ также включает:

[0078] если количество полученных фотографий не меньше заранее заданного количества, определение лиц для генерации синтезированной фотографии на основе полученных фотографий и генерацию синтезированной фотографии путем сшивания.

[0079] Согласно варианту осуществления определение лиц для генерации синтезированной фотографии на основе полученных фотографий включает:

[0080] выбор лица второго типа из полученных фотографий и лица с наибольшим значением оценки выражения среди лиц первого типа в качестве лиц для генерации синтезированной фотографии.

[0081] Согласно варианту осуществления вычисление значения оценки выражения лица первого типа на текущей фотографии включает:

[0082] идентификацию каждого лица первого типа на основе текущей фотографии;

[0083] вычисление локального значения оценки, соответствующего локальной характеристике, относящейся к каждому лицу первого типа; и

[0084] взвешивание каждого локального значения оценки каждого лица первого типа для получения значения оценки выражения каждого лица первого типа.

[0085] В рамках представленных ниже вариантов осуществления более подробно описывается способ генерации синтезированной фотографии.

[0086] Далее со ссылкой на конкретные осуществления описываются технические решения, реализуемые посредством вариантов раскрытия настоящего изобретения.

[0087] На фиг. 2 показан алгоритм выполнения способа синтезирования фотографий в соответствии с примером осуществления настоящего изобретения. Согласно настоящему варианту осуществления используется способ, описанный выше на основе вариантов раскрытия настоящего изобретения, и на чертежах приводятся примеры генерации синтезированной фотографии. Как показано на фиг. 2, способ включает следующие шаги.

[0088] На шаге 201 выполняется запуск компонента получения изображений для получения фотографии после приема инструкции генерации синтезированной фотографии.

[0089] На шаге 202 при получении текущей фотографии вычисляется значение оценки выражения лица первого типа на текущей фотографии.

[0090] Согласно варианту осуществления первый тип лица используется для представления лица со значением оценки выражения, которое вычислено с использованием фотографии, полученной перед текущей фотографией, и не превосходит заранее заданного порогового значения оценки.

[0091] Согласно варианту осуществления шаги 201 и 202 способа могут выполняться таким же образом, как шаги 101 и 102 варианта осуществления, описанного со ссылкой на фиг. 1, и в рамках данного варианта эти шаги не рассматриваются.

[0092] На шаге 203 на текущей фотографии определяется, превышает ли значение оценки выражения всех без исключения лиц первого типа заранее заданное пороговое значение оценки, и если это справедливо, то выполняется шаг 204, в противном случае выполняется шаг 205.

[0093] В соответствии с вариантом осуществления заранее заданное пороговое значение оценки может представлять собой приемлемую оценку, например 80 пунктов. Например, если текущая фотография является второй снятой фотографией и значения оценки выражения лиц А и В на первой фотографии не превышают заранее заданного порогового значения оценки, то могут рассчитываться значения оценки выражения лиц А и В на второй фотографии, и при этом определяется, превышают ли значения оценки выражения лиц А и В на второй фотографии заранее заданное пороговое значение оценки.

[0094] На шаге 204 выполняется управление компонентом получения изображений с целью остановки получения фотографии и сшивание второго типа лиц на полученных фотографиях для генерации синтезированной фотографии.

[0095] Согласно варианту осуществления, второй тип лица используется для представления лица, значение оценки выражения которого больше заранее заданного порогового значения оценки.

[0096] На шаге 205 определяется, меньше ли количество полученных фотографий заранее заданного количества, и если это справедливо, выполняется шаг 206, в противном случае выполняется шаг 207.

[0097] На шаге 206 на основе значения оценки выражения лица первого типа на текущей фотографии определяется, требуется ли расчет значения оценки выражения на фотографии, получаемой позже, и выполняется шаг 201.

[0098] Например, если на шаге 203 определяется, что на второй фотографии только значение оценки выражения лица А больше заранее заданного порогового значение оценки, то может быть установлено, что на третьей фотографии требуется вычислять только значение оценки выражения лица В.

[0099] На шаге 207 на основе полученных фотографий определяются лица для генерации синтезированной фотографии, и синтезированная фотография генерируется способом сшивания.

[00100] Согласно варианту осуществления, можно выбрать лицо второго типа из полученных фотографий и лицо с наибольшим значением оценки выражения среди лиц первого типа в качестве лиц для генерации синтезированной фотографии. Например, если на первой фотографии значения оценки выражения лиц А, С и D превышают заранее заданное пороговое значение оценки, то лица А, С и D на первой фотографии определяются в качестве лиц второго типа, то есть лица А, С и D на первой фотографии являются лицами, используемыми для генерации синтезированной фотографии. Для лица В значение оценки выражения на первой фотографии составляет 70 пунктов, на второй фотографии - 72 пункта, на третьей фотографии - 75 пунктов, и на четвертой фотографии - 79 пунктов. Если заранее заданное количество равно 4, лицо В с четвертой фотографии может быть выбрано в качестве лица для генерации синтезированной фотографии.

[00101] Согласно этому варианту осуществления, путем ограничения генерируемых фотографий можно эффективно уменьшить количество фотографий, получаемых для генерации синтезированной фотографии, и обеспечить требуемое качество синтезированной фотографии; кроме того, в том случае, если значение оценки выражения лица на всех без исключения фотографиях не превышает заранее заданного порогового значения оценки, то лицо с наибольшим значением оценки выражения определяется в качестве лица для генерации синтезированной фотографии, благодаря чему эффективно снижается количество фотографий, требуемых для генерации синтезированной фотографии, при этом обеспечивается качество синтезированной фотографии, эффективно снижается количество целевых фотографий, и повышается скорость генерации синтезированной фотографии.

[00102] На фиг. 3 показан алгоритм выполнения способа вычисления значения оценки выражения лица в соответствии со вторым примером реализации настоящего изобретения. Согласно настоящему варианту осуществления используется способ, описанный выше на основе вариантов раскрытия настоящего изобретения, и на чертежах приводится пример вычисления значения оценки выражения лица. Как показано на фиг. 3, способ включает следующие шаги.

[00103] На шаге 301 на основе текущей фотографии идентифицируется каждое лицо первого типа.

[00104] Согласно варианту осуществления каждое лицо на каждой фотографии может идентифицироваться посредством модели распознавания изображений, такой как сверточная нейронная сеть.

[00105] В соответствии с вариантом осуществления каждая область лица может также идентифицироваться с помощью других технологий обработки изображений.

[00106] На шаге 302 вычисляется локальное значение оценки, соответствующее локальной характеристике, относящейся к каждому лицу первого типа.

[00107] В соответствии с вариантом осуществления, при вычислении значения оценки выражения лица предпочтительным образом может рассчитываться локальное значение оценки, соответствующее каждому локальному значению характеристики лица, такому как доля уголков губ, видимая доля глаза, ясное изображение лица и угол наклона лица.

[00108] Согласно варианту осуществления локальное значение оценки отдельной характеристики лица может также рассчитываться с помощью модели предварительного обучения, и в последующем варианте осуществления локальное значение оценки отдельной характеристики лица может также рассчитываться посредством предварительно заданного алгоритма.

[00109] На шаге 303 выполняется взвешивание каждого локального значения оценки каждого лица первого типа для получения значения оценки выражения каждого лица первого типа.

[00110] В соответствии с вариантом осуществления коэффициент взвешивания, соответствующий каждому локальному значению оценки, может устанавливаться пользователем или предварительно устанавливаться в рамках алгоритма. Например, если взвешенные локальные значения оценки, соответствующие человеческому глазу, уголкам губ и углу наклона лица, составляют, соответственно, 0,3; 0,3 и 0,4 и соответствующие весовые коэффициенты равны 8,0; 8,3 и 8,4, то окончательное значение оценки вычисляется следующим образом: 8,0 × 0,3 + 8,3 × 0,3 + 8,4 × 0,4 = 8,25.

[00111] В соответствии с настоящим вариантом осуществления, путем вычисления локального значения оценки каждого лица, такого как значение оценки глаз, значение оценки рта и значение оценки ориентации лица, а затем взвешивания этих оценок для получения значения оценки выражения лица можно на основе множества аспектов определить выражение лица, при этом оценка выражения лица может быть более полной.

[00112] На фиг. 4 показана блок-схема устройства синтезирования фотографий в соответствии с примером осуществления настоящего изобретения. Как показано на фиг. 4, устройство синтезирования фотографий содержит: модуль 410 получения изображений, модуль 420 вычисления, первый модуль 430 определения и модуль 440 генерации.

[00113] Модуль 410 получения изображений сконфигурирован для запуска компонента получения изображений с целью получения фотографии после приема инструкции генерации синтезированной фотографии.

[00114] Модуль 420 вычисления сконфигурирован для вычисления значения оценки выражения лица первого типа на текущей фотографии после получения текущей фотографии, при этом первый тип лица используется для индикации лица, характеризующегося значением оценки выражения, которое вычислено с помощью фотографии, полученной перед текущей фотографией, и не превышает заранее заданного порогового значения оценки.

[00115] Первый модуль 430 определения сконфигурирован для определения, превышает ли значение оценки выражения всех без исключения лиц первого типа, вычисленное модулем 420 вычисления, заранее заданное пороговое значение оценки на текущей фотографии.

[00116] Модуль 440 генерации сконфигурирован для управления компонентом получения изображений с целью остановки получения фотографии и генерации синтезированной фотографии путем сшивания второго типа лиц на полученных фотографиях, если первый модуль 430 определения определяет, что все значения оценки выражения лица первого типа на текущей фотографии превышают заранее заданное пороговое значение оценки, при этом второй тип лица используется для индикации лица со значением оценки выражения, превышающим заранее заданное пороговое значение оценки.

[00117] На фиг. 5 показана блок-схема другого устройства синтезирования фотографий в соответствии с примером осуществления настоящего изобретения. Как показано на фиг. 5, на основе описанного выше варианта осуществления, показанного на фиг. 4, устройство также содержит второй модуль 450 определения и модуль 460 выполнения операции.

[00118] Второй модуль 450 определения сконфигурирован для определения, меньше ли количество полученных фотографий заранее заданного количества, если первый модуль 430 определения определяет, что не все значения оценки выражения лица первого типа на текущей фотографии превышают заранее заданное пороговое значение оценки.

[00119] Модуль 460 выполнения операции сконфигурирован для определения того, что для лица первого типа требуется вычисление значения оценки выражения на фотографии, полученной позже, на основе значения оценки выражения лица первого типа на текущей фотографии, и выполнения операции запуска компонента получения изображений с целью получения фотографии, если второй модуль 450 определения определяет, что количество полученных фотографий меньше заранее заданного количества.

[00120] Согласно варианту осуществления устройство также содержит третий модуль 470 определения.

[00121] Третий модуль 470 определения сконфигурирован для определения лиц для генерации синтезированной фотографии на основе полученных фотографий и генерации синтезированной фотографии путем сшивания, если второй модуль 450 определения определяет, что количество полученных фотографий не меньше заранее заданного количества.

[00122] Согласно варианту осуществления третий модуль 470 определения содержит подмодуль 471 выбора.

[00123] Подмодуль 471 выбора сконфигурирован для выбора лица второго типа из полученных фотографий и лица с наибольшим значением оценки выражения среди лиц первого типа в качестве лиц для генерации синтезированной фотографии.

[00124] На фиг. 6 показана блок-схема еще одного устройства синтезирования фотографий в соответствии с примером осуществления настоящего изобретения. Как показано на фиг. 6, на основе описанного выше варианта осуществления, показанного на фиг. 4 или фиг. 5, модуль 420 вычисления содержит подмодуль 421 идентификации, подмодуль 422 вычисления и подмодуль 423 взвешивания.

[00125] Подмодуль 421 идентификации сконфигурирован для идентификации каждого лица первого типа на основе текущей фотографии.

[00126] Подмодуль 422 вычисления сконфигурирован для вычисления локального значение оценки, соответствующего локальной характеристике, относящейся к каждому лицу первого типа.

[00127] Подмодуль 423 взвешивания сконфигурирован для взвешивания каждого локального значения оценки каждого лица первого типа для получения значения оценки выражения каждого лица первого типа.

[00128] Конкретные процедуры реализации функций и действий отдельных блоков описанного выше устройства могут соответствовать процедуре реализации конкретных шагов представленных выше способов, и поэтому далее эти процедуры не разъясняются.

[00129] В том, что касается вариантов реализации устройства, поскольку эти варианты по существу соответствуют вариантам осуществления способа, подходящие описания могут относиться к некоторым разъяснениям, приведенным в рамках вариантов осуществления способа. Описанные выше варианты осуществления устройства служат только в качестве иллюстрации, при этом блоки, описанные в качестве отдельных компонентов, могут физически разделяться или составлять единый модуль, и компонент, показанный в виде блока, не обязательно может представлять собой физический блок, то есть он может размещаться в одном местоположении или распределяться по множеству сетевых блоков. Модули могут частично или полностью выбираться для осуществления решения, реализуемого в рамках раскрытия настоящего изобретения, в соответствии с фактическими требованиями. Специалисту в этой области очевидно, каким образом реализовать настоящее изобретение без затрат на дополнительную изобретательскую деятельность.

[00130] На фиг. 7 показана блок-схема, подходящая для устройства синтезирования фотографий в соответствии с примером осуществления настоящего изобретения. Например, устройство 700 может представлять собой видеокамеру или электронное оборудование, содержащее устройство захвата изображений.

[00131] На фиг. 7 показано, что устройство 700 может содержать один или более следующих компонентов: компонент 702 обработки, память 704, компонент 706 питания, мультимедийный компонент 708, компонент 710 обработки звукового сигнала, интерфейс 712 ввода/вывода (I/O, input/output), компонент 714 датчиков и компонент 716 связи.

[00132] Компонент 702 обработки обычно управляет всеми операциями, выполняемыми устройством 700, такими как операции, связанные с отображением, воспроизведением речи, передачей данных и записью. Компонент 702 обработки может включать один или более процессоров 720, предназначенных для выполнения инструкций, осуществляющих все или некоторые шаги описанных выше способов. Кроме того, компонент 702 обработки может содержать один или более модулей, которые облегчают взаимодействие между компонентом 702 обработки и другими компонентами. Например, компонент 702 обработки может содержать мультимедийный модуль, который облегчает взаимодействие между мультимедийным компонентом 708 и компонентом 702 обработки.

[00133] Память 704 сконфигурирована для хранения данных различных типов, необходимых для функционирования устройства 700. К примерам таких данных относятся инструкции для любых приложений или способов, выполняемых в устройстве 700, сообщения, фотографии и т.д. Память 704 может быть реализована с использованием любого типа устройств энергонезависимой или энергозависимой памяти, или комбинации таких устройств, например, с помощью статической оперативной памяти (SRAM, Static Random Access Memory), электрически стираемого программируемого постоянного запоминающего устройства (EEPROM, Electrically Erasable Programmable Read-Only Memory), стираемого программируемого постоянного запоминающего устройства (EPROM, Erasable Programmable Read-Only Memory), программируемого постоянного запоминающего устройства (PROM, Programmable Read-Only Memory), постоянного запоминающего устройства (ROM, read-only memory), магнитного запоминающего устройства, флэш-памяти, магнитного или оптического диска.

[00134] Компонент 706 питания обеспечивает электропитание для различных компонентов устройства 700. Компонент 706 питания может включать в свой состав систему управления режимом электропитания, один или более источников питания и любые другие компоненты, связанные с генерацией, управлением и распределением электропитания в устройстве 700.

[00135] Мультимедийный компонент 708 содержит экран, обеспечивающий выходной интерфейс между устройством 700 и пользователем. В некоторых вариантах осуществления настоящего изобретения экран может представлять собой жидкокристаллический дисплей (LCD, Liquid Crystal Display) и сенсорную панель (TP, Touch Panel). Экран, реализованный в виде сенсорной панели, позволяет принимать входные сигналы от пользователя. На сенсорной панели расположены один или более тактильных датчиков, предназначенных для прикосновений, нажатий и выполнения иных жестикуляций. Тактильные датчики могут не только определять область прикосновения или нажатия, но также реагировать на период времени и давление, связанное с прикосновениями и нажатиями.

[00136] Компонент 710 обработки звукового сигнала сконфигурирован для передачи и/или приема звуковых сигналов. Например, компонент 710 обработки звукового сигнала содержит микрофон ("MIC"), позволяющий принимать внешний звуковой сигнал, когда устройство 700 находится в рабочем режиме, например в режиме выполнения вызова, записи и распознавания голоса. Принятый звуковой сигнал далее может сохраняться в памяти 704 или передаваться через компонент 716 связи. В некоторых вариантах осуществления настоящего изобретения компонент 710 обработки звукового сигнала также содержит громкоговоритель, предназначенный для вывода звуковых сигналов.

[00137] Интерфейс 712 ввода/вывода поддерживает интерфейс между компонентом 702 обработки и модулями периферийного интерфейса, такими как клавиатура, колесо мыши, кнопки и т.п. Кнопки, помимо прочего, могут представлять собой кнопку возврата, кнопку настройки уровня звука, кнопку запуска и кнопку блокировки.

[00138] Компонент 714 датчиков содержит один или более датчиков, служащих для оценки различных аспектов работы устройства 700. Например, компонент 714 датчиков может обнаруживать открытие/закрытие устройства 700, относительное позиционирование компонентов, например дисплея и клавиатуры, устройства 700, изменение позиции устройства 700 или компонента устройства 700, наличие или отсутствие контакта пользователя с устройством 700, ориентацию или ускоренное/замедленное перемещение устройства 700 и изменение температуры устройства 700. Компонент 714 датчиков может содержать бесконтактный датчик, сконфигурированный для обнаружения расположенных вблизи объектов без физического контакта с ними. Компонент 714 датчиков также может включать в свой состав светочувствительный элемент, такой как датчик изображения CMOS или CCD, предназначенный для использования в приложениях формирования изображений. В некоторых вариантах осуществления настоящего изобретения компонент 714 датчиков также может содержать акселерометр, гироскоп, магнитный датчик, датчик расстояния, датчик давления или температуры.

[00139] Компонент 716 связи сконфигурирован для облегчения процесса проводной или беспроводной связи между устройством 700 и другими устройствами. Устройство 700 может получать доступ к беспроводной сети с использованием таких стандартов связи, как WiFi, 2G или 3G, или комбинации этих стандартов. Согласно одному из примеров осуществления настоящего изобретения компонент 716 связи принимает широковещательный сигнал или передает соответствующую информацию в широковещательном режиме из внешней системы управления широковещательной передачей через широковещательный канал. В одном из примеров осуществления настоящего изобретения компонент 716 связи также содержит модуль ближней связи (NFC, Near Field Communication), позволяющий передавать сигналы на небольшие расстояния. Например, модуль NFC может быть реализован на основе технологии идентификации по радиочастотному коду (RFID, Radio Frequency Identification), технологии ассоциации по средствам передачи данных в инфракрасном диапазоне (IrDA, Infrared Data Association), технологии сверхширокополосной сети (UWB, Ultra-Wideband), технологии Bluetooth (ВТ) и других технологий.

[00140] Согласно примерам осуществления настоящего изобретения устройство 700 может быть реализовано с использованием одного или более таких компонентов, как специализированные интегральные схемы (ASIC, Application Specific Integrated Circuit), цифровые сигнальные процессоры (DSP, Digital Signal Processor), устройства цифровой обработки сигналов (DSPD, Digital Signal Processing Device), программируемые логические устройства (PLD, Programmable Logic Device), программируемые пользователем вентильные матрицы (FPGA, Field Programmable Gate Array), контроллеры, микроконтроллеры, микропроцессоры, или посредством других электронных компонентов, разработанных для выполнения следующих операций способа:

[00141] запуск компонента получения изображений для получения фотографии после приема инструкции генерации синтезированной фотографии;

[00142] после получения текущей фотографии, вычисление значения оценки выражения лица первого типа на текущей фотографии, при этом первый тип лица используется для индикации лица, характеризующегося значением оценки выражения, которое вычислено с помощью фотографии, полученной перед текущей фотографией, и не превышает заранее заданного порогового значения оценки;

[00143] определение, превышает ли значение оценки выражения всех без исключения лиц первого типа заранее заданное пороговое значение оценки на текущей фотографии; и

[00144] если все значения оценки выражения лиц первого типа на текущей фотографии превышают заранее заданное пороговое значение оценки, управление компонентом получения изображений с целью остановки получения фотографии и генерацию синтезированной фотографии путем сшивания второго типа лиц на полученных фотографиях, при этом второй тип лица используется для индикации лица со значением оценки выражения, превышающим заранее заданное пороговое значение оценки.

[00145] Согласно примерам осуществления настоящего изобретения также предлагается машиночитаемый носитель информации, на котором хранятся инструкции, такие как инструкции, записанные в памяти 704 и выполняемые процессором 720 устройства 700 для реализации описанных выше способов. Например, машиночитаемый носитель может представлять собой ROM, RAM, CD-ROM, магнитную ленту, дискету, оптическое запоминающее устройство и т.п.

[00146] Специалисту в этой области техники должны быть очевидны другие варианты осуществления настоящего изобретения, основанные на соображениях, изложенных в данном описании, и на практическом применении раскрытого изобретения. Эта заявка предназначена для охвата любых изменений, способов использования или адаптаций настоящего изобретения, соответствующих основным его принципам, включая такие отступления от раскрытия настоящего изобретения, которые относятся к известной или обычной практике в этой области техники. Это описание и иллюстрации следует рассматривать только в качестве примеров с учетом того, что сущность и объем настоящего изобретения представлены в приведенной ниже формуле изобретения.

[00147] Следует принимать во внимание, что настоящее изобретение не ограничено в точности теми формулировками, которые были приведены выше и проиллюстрированы на прилагаемых чертежах, и различные модификации и изменения могут выполняться без нарушения объема настоящего изобретения. Подразумевается, что объем изобретения ограничен только прилагаемой формулой изобретения.

Изобретение относится к способу и устройству для синтезирования фотографий. Технический результат заключается в расширении арсенала средств. В способе после получения текущей фотографии вычисляют значения оценки выражения лица первого типа на текущей фотографии, при этом первый тип лица используется для индикации лица, характеризующегося значением оценки выражения, которое вычислено с помощью фотографии, полученной перед текущей фотографией, и не превышает заранее заданного порогового значение оценки; определение, превышает ли значение оценки выражения всех без исключения лиц первого типа заранее заданное пороговое значение оценки на текущей фотографии; и если все значения оценки выражения лиц первого типа на текущей фотографии превышают заранее заданное пороговое значение оценки, управление компонентом получения изображений для остановки получения фотографии и генерацию синтезированной фотографии путем сшивания второго типа лиц на полученных фотографиях. 3 н. и 8 з.п. ф-лы, 7 ил.

1. Способ синтезирования фотографий, включающий:

запуск компонента получения изображений для получения фотографии после приема инструкции генерации синтезированной фотографии;

после получения текущей фотографии - вычисление значения оценки выражения лица первого типа на текущей фотографии, при этом первый тип лица используется для индикации лица, характеризующегося значением оценки выражения, которое вычислено с помощью фотографии, полученной перед текущей фотографией, и не превышает заранее заданного порогового значения оценки;

определение, превышает ли значение оценки выражения всех без исключения лиц первого типа заранее заданное пороговое значение оценки на текущей фотографии; и

если все значения оценки выражения лиц первого типа на текущей фотографии превышают заранее заданное пороговое значение оценки, управление компонентом получения изображений для остановки получения фотографии и генерацию синтезированной фотографии путем сшивания второго типа лиц на полученных фотографиях, при этом второй тип лица используется для индикации лица со значением оценки выражения, превышающим заранее заданное пороговое значение оценки.

2. Способ по п. 1, включающий также:

если не все значения оценки выражения лица первого типа на текущей фотографии превышают заранее заданное пороговое значение оценки, определение, меньше ли количество полученных фотографий заранее заданного количества; и

если количество полученных фотографий меньше заранее заданного количества, определение, что для лица первого типа требуется вычисление значения оценки выражения на фотографии, полученной позже, на основе значения оценки выражения лица первого типа на текущей фотографии, и выполнение операции запуска компонента получения изображений для получения фотографии.

3. Способ по п. 2, включающий также:

если количество полученных фотографий не меньше заранее заданного количества, определение лиц для генерации синтезированной фотографии на основе полученных фотографий и генерацию синтезированной фотографии путем сшивания.

4. Способ по п. 3, отличающийся тем, что определение лиц для генерации синтезированной фотографии на основе полученных фотографий включает:

выбор лица второго типа из полученных фотографий и лица с наибольшим значением оценки выражения среди лиц первого типа в качестве лиц для генерации синтезированной фотографии.

5. Способ по п. 1, отличающийся тем, что вычисление значения оценки выражения лица первого типа на текущей фотографии включает:

идентификацию каждого лица первого типа на основе текущей фотографии;

вычисление локального значения оценки, соответствующего локальной характеристике, относящейся к каждому лицу первого типа; и

взвешивание каждого локального значения оценки каждого лица первого типа для получения значения оценки выражения каждого лица первого типа.

6. Устройство для синтезирования фотографий, содержащее:

модуль получения изображений, сконфигурированный для запуска компонента получения изображений для получения фотографии после приема инструкции генерации синтезированной фотографии;

модуль вычисления, сконфигурированный для вычисления значения оценки выражения лица первого типа на текущей фотографии после получения текущей фотографии, при этом первый тип лица используется для индикации лица, характеризующегося значением оценки выражения, которое вычислено с помощью фотографии, полученной перед текущей фотографией, и не превышает заранее заданного порогового значения оценки;

первый модуль определения, сконфигурированный для определения, превышает ли значение оценки выражения всех без исключения лиц первого типа, вычисленное модулем вычисления, заранее заданное пороговое значение оценки на текущей фотографии; и

модуль генерации, сконфигурированный для управления компонентом получения изображений для остановки получения фотографии и генерации синтезированной фотографии путем сшивания второго типа лиц на полученных фотографиях, если первый модуль определения определяет, что значение оценки выражения лица первого типа на текущей фотографии превышает заранее заданное пороговое значение оценки, при этом второй тип лица используется для индикации лица со значением оценки выражения, превышающим заранее заданное пороговое значение оценки.

7. Устройство по п. 6, также содержащее:

второй модуль определения, сконфигурированный для определения, меньше ли количество полученных фотографий заранее заданного количества, если первый модуль определения определяет, что не все значения оценки выражения лица первого типа на текущей фотографии превышают заранее заданное пороговое значение оценки; и

модуль выполнения операции, сконфигурированный для определения того, что для лица первого типа требуется вычисление значения оценки выражения на фотографии, полученной позже, на основе значения оценки выражения лица первого типа на текущей фотографии, и выполнения операции запуска компонента получения изображений для получения фотографии, если второй модуль определения определяет, что количество полученных фотографий меньше заранее заданного количества.

8. Устройство по п. 7, также содержащее:

третий модуль определения, сконфигурированный для определения лиц для генерации синтезированной фотографии на основе полученных фотографий и генерации синтезированной фотографии путем сшивания, если второй модуль определения определяет, что количество полученных фотографий не меньше заранее заданного количества.

9. Устройство по п. 8, отличающееся тем, что третий модуль определения содержит:

подмодуль выбора, сконфигурированный для выбора лица второго типа из полученных фотографий и лица с наибольшим значением оценки выражения среди лиц первого типа в качестве лиц для генерации синтезированной фотографии.

10. Устройство по п. 6, отличающееся тем, что модуль вычисления содержит:

подмодуль идентификации, сконфигурированный для идентификации каждого лица первого типа на основе текущей фотографии;

подмодуль вычисления, сконфигурированный для вычисления локального значения оценки, соответствующего локальной характеристике, относящейся к каждому лицу первого типа; и

подмодуль взвешивания, сконфигурированный для взвешивания каждого локального значения оценки каждого лица первого типа для получения значения оценки выражения каждого лица первого типа.

11. Устройство для синтезирования фотографий, содержащее:

процессор и

память, в которой хранятся инструкции, выполняемые процессором;

при этом процессор сконфигурирован для выполнения следующих операций:

запуск компонента получения изображений для получения фотографии после приема инструкции генерации синтезированной фотографии;

после получения текущей фотографии - вычисление значения оценки выражения лица первого типа на текущей фотографии, при этом первый тип лица используется для индикации лица, характеризующегося значением оценки выражения, которое вычислено с помощью фотографии, полученной перед текущей фотографией, и не превышает заранее заданного порогового значения оценки;

определение, превышает ли значение оценки выражения всех без исключения лиц первого типа заранее заданное пороговое значение оценки на текущей фотографии; и

если все значения оценки выражения лиц первого типа на текущей фотографии превышают заранее заданное пороговое значение оценки, управление компонентом получения изображений для остановки получения фотографии и генерация синтезированной фотографии путем сшивания второго типа лиц на полученных фотографиях, при этом второй тип лица используется для индикации лица со значением оценки выражения, превышающим заранее заданное пороговое значение оценки.