УСТРОЙСТВО ОБРАБОТКИ ИЗОБРАЖЕНИЙ, СПОСОБ И ПРОГРАММА ОБРАБОТКИ ИЗОБРАЖЕНИЙ И УСТРОЙСТВО ЗАХВАТА ИЗОБРАЖЕНИЙ Российский патент 2017 года по МПК G06F17/30 

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

[0001] Настоящее изобретение относится к устройству обработки изображений для обработки данных светового поля.

УРОВЕНЬ ТЕХНИКИ

[0002] Известен способ формирования изображения, имеющего произвольное фокусное расстояние, глубину резкости и точку обзора на основе изображений, полученных посредством фотографирования объекта с многих точек обзора.

[0003] Например, в NPL 1, раскрыта такая конфигурация, в которой матрица микролинз, имеющая микролинзы, которые выстраиваются по одной для множества пикселов, размещена перед элементом захвата изображений, с тем чтобы получать не только двумерное распределение силы света, но также и информацию относительно направления падения световых лучей, входящих в элемент захвата изображений, чтобы за счет этого получать трехмерную информацию относительно объектного пространства.

[0004] Такое устройство захвата изображений, как описано выше, которое допускает получение трехмерной информации относительно объектного пространства, называется "камерой на основе принципа светового поля".

[0005] Помимо этого, трехмерная информация относительно объектного пространства называется "данными светового поля", и такая обработка изображений, которая называется "перефокусировкой", может выполняться посредством получения данных светового поля и выполнения для них процесса переформирования изображений после фотографирования. Перефокусировка включает в себя, например, изменение позиции фокусировки изображения и его точки обзора для фотографирования и регулирование глубины резкости изображения.

[0006] Когда должны просматриваться такие данные светового поля, как описано выше, которые обеспечивают перефокусировку, в некоторых случаях затруднительно определять то, в какой фокальной позиции сначала должно быть перефокусировано изображение, которое должно отображаться. Чтобы разрешать эту проблему в технологии PTL 1, объект извлекается из изображения, чтобы отображать перефокусированное изображение, которое находится в фокусе, в позиции, в которой размещается объект.

СПИСОК БИБЛИОГРАФИЧЕСКИХ ССЫЛОК

ПАТЕНТНЫЕ ДОКУМЕНТЫ

[0007] PTL 1. Выложенная заявка на патент (Япония) номер 2011-22796

НЕПАТЕНТНЫЕ ДОКУМЕНТЫ

[0008] NPL 1. Ren. Ng and 7 others "Light Field Photography with Hand-Held Plenoptic Camera", Stanford Tech Report CTSR, 2005-02

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

ТЕХНИЧЕСКАЯ ПРОБЛЕМА

[0009] Как описано выше, в камере на основе принципа светового поля, можно выбирать требуемое фокусное расстояние после фотографирования, чтобы переформировать изображение. Следовательно, необходимо определять, из множества фокусных расстояний, фокусное расстояние, которое должно использоваться, когда данные светового поля отображаются сначала посредством использования фокусного расстояния, используемого во время фотографирования, информации относительно основного объекта и другой такой информации, и сохранять определенное фокусное расстояние в качестве фокусного расстояния по умолчанию.

[0010] Тем не менее, например, данные светового поля, в котором фотографируются множество людей, могут включать в себя объект на фокусном расстоянии, которое отличается от фокусного расстояния основного объекта. В том случае, если фокусное расстояние основного объекта определяется в качестве фокусного расстояния по умолчанию во время передачи данных светового поля соответствующим людям, возникает следующая проблема. В частности, в случае если человек из объекта на фокусном расстоянии, отличающемся от фокусного расстояния основного объекта, является человеком назначения передачи, данные светового поля, переформированные на стороне назначения передачи, нежелательно отображаются сначала в качестве изображения, в котором размывается изображение рассматриваемого человека.

[0011] Аналогично, также во время переформирования данных светового поля, чтобы передавать изображение соответствующим людям, если фокусное расстояние основного объекта определяется в качестве фокусного расстояния по умолчанию, возникает такая проблема, что изображение рассматриваемого человека, которому передается изображение, размывается в зависимости от назначения передачи.

РЕШЕНИЕ ПРОБЛЕМЫ

[0012] Чтобы разрешать вышеуказанные проблемы, устройство обработки изображений согласно одному варианту осуществления настоящего изобретения выполнено с возможностью: получать данные светового поля, которые представляют собой трехмерную информацию относительно объектного пространства; формировать информацию объектов посредством обнаружения объекта, включенного в объектное пространство, с использованием полученных данных светового поля и добавлять сформированную информацию объектов в данные светового поля; задавать фокусное расстояние для переформирования данных светового поля на основе информации фотографирования данных светового поля и добавлять заданное фокусное расстояние в данные светового поля; определять, на основе информации относительно объекта, соответствующего внешнему устройству, которое представляет собой целевое назначение передачи данных светового поля, объект, соответствующий внешнему устройству, из информации объектов; и обновлять фокусное расстояние, заданное посредством блока настроек, в соответствии с результатом обнаружения.

ПРЕИМУЩЕСТВА ИЗОБРЕТЕНИЯ

[0013] Согласно одному варианту осуществления настоящего изобретения, даже когда передаются данные светового поля изображения, в котором фотографируются множество людей, можно отображать перефокусированное изображение сначала в назначении передачи в состоянии, в котором рассматриваемый человек находится в фокусе.

[0014] Помимо этого, даже в случае, если передается изображение, имеющее переформированные данные светового поля, можно отображать изображение, в котором рассматриваемый человек находится в фокусе в назначении передачи.

[0015] Дополнительные признаки настоящего изобретения должны становиться очевидными из нижеприведенного описания примерных вариантов осуществления со ссылкой на прилагаемые чертежи.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0016] Фиг. 1 является блок-схемой, иллюстрирующей аппаратную конфигурацию для реализации устройства обработки изображений согласно первому варианту осуществления настоящего изобретения в качестве конфигурации обработки изображений в камере на основе принципа светового поля.

Фиг. 2 является блок-схемой, иллюстрирующей процессор изображений камеры на основе принципа светового поля по фиг. 1.

Фиг. 3 является блок-схемой последовательности операций способа, иллюстрирующей операцию фотографирования камеры на основе принципа светового поля по фиг. 1.

Фиг. 4 является блок-схемой последовательности операций способа, иллюстрирующей операцию передачи камеры на основе принципа светового поля по фиг. 1.

Фиг. 5 является блок-схемой последовательности операций способа, иллюстрирующей операцию отображения камеры на основе принципа светового поля по фиг. 1.

Фиг. 6 является блок-схемой, иллюстрирующей процессор изображений облачного сервера для реализации устройства обработки изображений согласно второму варианту осуществления настоящего изобретения в качестве конфигурации обработки изображений в камере на основе принципа светового поля и облачном сервере.

Фиг. 7 является блок-схемой последовательности операций способа, иллюстрирующей операцию отображения возможного варианта изображения для загрузки, выполняемую посредством облачного сервера по фиг. 6.

Фиг. 8 является блок-схемой последовательности операций способа, иллюстрирующей операцию загрузки изображения, выполняемую посредством облачного сервера по фиг. 6.

ПОДРОБНОЕ ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ

[0017] Далее подробно описываются примерные варианты осуществления настоящего изобретения со ссылкой на прилагаемые чертежи.

[0018] ПЕРВЫЙ ПРИМЕР

Фиг. 1 является блок-схемой устройства захвата изображений, такого как цифровая камера для реализации устройства обработки изображений согласно первому варианту осуществления настоящего изобретения в качестве конфигурации обработки изображений для данных светового поля в устройстве захвата изображений, для иллюстрации аппаратной конфигурации цифровой камеры для операций, включающих в себя фотографирование, воспроизведение и передачу/прием.

[0019] Ссылаясь на фиг. 1, цифровая камера включает в себя блок 1002 захвата изображений для получения сигнала захвата изображений для получения данных светового поля, которые представляют собой трехмерную информацию относительно объектного пространства, и функциональный блок 1003, такой как кнопки и рычажок, которые должны использоваться пользователем для ввода инструкций, таких как изменение масштаба, фотографирование и выбор изображения, которое должно передаваться. Цифровая камера дополнительно включает в себя интерфейс 1004 связи, включающий в себя контактный вывод для проводного соединения, такой как контактный USB-вывод и контактный HDMI-вывод, и Wi-Fi-интерфейс для подключения к другой камере или сети, блок 1005 отображения, такой как жидкокристаллический дисплей, для отображения целевого изображения для фотографирования, меню и т.п., и оперативное запоминающее устройство 1006, такое как DRAM, для сохранения изображения и обрабатываемых данных. Еще одна дополнительная цифровая камера включает в себя процессор 1007 изображений для переформирования данных светового поля и выполнения обработки изображений, такой как JPEG-сжатие, и блок 1008 управления, такой как CPU, для выполнения инструкции, выданной из функционального блока 1003, и запрограммированной управляющей последовательности. Еще одна дополнительная цифровая камера включает в себя запоминающее устройство 1009 для сохранения различных таблиц, которые должны быть использованы посредством блока 1008 управления, и данных изображений, которые обработаны. Примеры запоминающего устройства 1009 включают в себя съемный носитель записи. Вышеуказанные блоки и запоминающие устройства электрически подключены между собой через шину 1001.

[0020] Следует отметить, что в качестве блока 1002 захвата изображений, например, известна такая конфигурация, как раскрыто в PTL 1, в которой множество камер, имеющих различные точки обзора, в целом рассматриваются в качестве блока 1002 захвата изображений, и такой элемент захвата изображений, как раскрыто в NPL 1, в котором размещено множество пикселов, включающих в себя множество субпикселов для приема световых лучей, проходящих через различные частичные области зрачка фокусирующей оптической системы. Кроме того, конфигурация блока 1002 захвата изображений не является непосредственно релевантной для настоящего изобретения. Следовательно, ее описание опускается в данном документе.

[0021] Далее описывается работа цифровой камеры, проиллюстрированной на фиг. 1, со ссылкой на фиг. 2-5.

[0022] В описании первого варианта осуществления настоящего изобретения, в качестве примера рассматривается конфигурация обработки изображений для передачи данных светового поля во внешнее устройство для отображения. Этот вариант осуществления поясняет случай, в котором источник передачи представляет собой цифровую камеру, выполненную с возможностью фотографировать данные светового поля (в дальнейшем называемую просто "камерой на основе принципа светового поля"), которая проиллюстрирована на фиг. 1, а назначение передачи представляет собой камеру на основе принципа светового поля, имеющую аналогичную конфигурацию, или широко используемую цифровую камеру. В этом варианте осуществления, камера в качестве источника передачи различает то, допускает или нет камера в качестве назначения передачи переформирование данных светового поля, чтобы определять то, данные светового поля должны передаваться или данные светового поля должны быть переформированы в источнике передачи, чтобы передавать переформированные данные в качестве JPEG-изображения.

[0023] Фиг. 2 является блок-схемой, иллюстрирующей подробную конфигурацию процессора 1007 изображений камеры на основе принципа светового поля, проиллюстрированной на фиг. 1. Следует отметить, что, на фиг. 2, компоненты, проиллюстрированные на фиг. 1, обозначаются посредством ссылок с номерами, идентичных ссылкам с номерами по фиг. 1.

[0024] Ссылаясь на фиг. 2, блок 2003 формирования данных светового поля преобразует аналоговые данные, которые фотографируются посредством блока 1002 захвата изображений, в данные светового поля. Блок 2004 обнаружения объектов выполняет обнаружение лиц с использованием панорамированного фокусированного изображения и формирует список лиц, сохраняющий для каждого лица, фокусное расстояние лица и изображение лица. Блок 2005 персональной аутентификации использует персональные аутентификационные данные, соответствующие назначению передачи, чтобы последовательно выполнять персональную аутентификацию для лиц в списке лиц, чтобы аутентифицировать то, является или нет лицо в списке лиц лицом идентичного человека, что и человек в качестве другой стороны передачи. В нижеприведенном описании этого варианта осуществления, информация лиц рассматривается в качестве примера информации объектов, которая должна обнаруживаться, и информации, которая должна использоваться для аутентификации. Тем не менее, обнаружение объектов не ограничено обнаружением лиц, и, например, может использоваться другой объект или животное при условии, что объект может обнаруживаться и различаться с использованием конкретной формы и признака.

[0025] Дополнительно, блок 2006 добавления заголовков добавляет сформированный список лиц в заголовок данных светового поля, и блок 2007 анализа заголовков анализирует заголовок данных светового поля, чтобы считывать список лиц. Блок 2008 переформирования данных светового поля переформирует данные светового поля с использованием фокусного расстояния по умолчанию. Блок 2010 JPEG-кодирования кодирует переформированное изображение посредством JPEG-сжатия, и блок 2009 JPEG-декодирования разворачивает сжатое изображение для того, чтобы декодировать изображение. Блок 2011 ретуширования изображений выполняет процесс ретуширования изображений, к примеру, изменение размера изображения до размера для отображения.

[0026] Вышеуказанные операции соответствующих блоков процессора 1007 изображений управляются посредством блока 1008 управления.

[0027] Далее описывается операция фотографирования, выполняемая посредством камеры на основе принципа светового поля по фиг. 1, в отношении блок-схемы последовательности операций способа по фиг. 3. Эта операция выполняется посредством выполнения запрограммированной управляющей последовательности посредством блока 1008 управления, и операции соответствующих блоков выполняются в ответ на инструкции, выданные из блока 1008 управления.

[0028] Во-первых, на этапе S3001, блок 2003 формирования данных светового поля получает аналоговые данные, сфотографированные посредством блока 1002 захвата изображений, чтобы преобразовывать полученные аналоговые данные в данные светового поля.

[0029] На этапе S3002, блок 2008 переформирования данных светового поля переформирует данные светового поля, полученные посредством преобразования, в панорамированное фокусированное изображение. Затем, блок 2004 обнаружения объектов использует панорамированное фокусированное изображение, полученное посредством переформирования, для того чтобы выполнять обнаружение лиц, и на основе результата обнаружения лиц, формирует список лиц посредством сохранения, для каждого лица, фокусного расстояния каждого лица и изображения лица.

[0030] На этапе S3003, блок 2006 добавления заголовков добавляет сформированный список лиц в заголовок данных светового поля.

[0031] На этапе S3004, блок 2006 добавления заголовков задает фокусное расстояние во время фотографирования в качестве фокусного расстояния по умолчанию, чтобы добавлять заданное фокусное расстояние по умолчанию в заголовок. Каждая информация фотографирования имеет одно фокусное расстояние во время фотографирования. Фокусное расстояние по умолчанию представляет собой информацию, указывающую конкретный объект, который должен быть в фокусе, когда данные светового поля переформированы.

[0032] Далее описывается операция передачи, выполняемая посредством камеры на основе принципа светового поля по фиг. 1, в отношении блок-схемы последовательности операций способа по фиг. 4. Эта операция также выполняется посредством выполнения запрограммированной управляющей последовательности посредством блока 1008 управления, и операции соответствующих блоков выполняются в ответ на инструкции, выданные из блока 1008 управления.

[0033] На этапе S4001, в ответ на управление функциональным блоком 1003 пользователем, блок 1008 управления обозначает и определяет данные светового поля, которые должны передаваться, из списка сфотографированных данных светового поля, отображаемого на блоке 1005 отображения.

[0034] На этапе S4002, в ответ на управление функциональным блоком 1003 пользователем, блок 1008 управления обозначает и определяет назначение передачи (интерфейс или внешнее устройство, в которое должны выводиться данные светового поля), в которое должны передаваться определенные данные светового поля. На этом этапе, на основе определенного назначения передачи, блок 1008 управления получает из запоминающего устройства 1009 персональные аутентификационные данные (информацию относительно другой стороны передачи или объекта, ассоциированного с другой стороной передачи), соответствующие назначению передачи.

[0035] На этапе S4003, блок 2007 анализа заголовков анализирует заголовок данных светового поля цели передачи и считывает список лиц. Затем, блок 2005 персональной аутентификации использует персональные аутентификационные данные, соответствующие назначению передачи, чтобы последовательно выполнять персональную аутентификацию для лиц в списке лиц, который считывается, чтобы аутентифицировать то, является или нет лицо из списка лиц лицом идентичного человека, что и человек в качестве другой стороны передачи, или объектом, ассоциированным с другой стороной передачи. Следует отметить, что в этом варианте осуществления предполагается, что персональные аутентификационные данные сохраняются в запоминающем устройстве 1009 в ассоциации с назначением передачи. Персональные аутентификационные данные, соответствующие назначению передачи, не обязательно являются непосредственно другой стороной передачи и могут быть объектом, ассоциированным с другой стороной передачи. Например, член семьи, близкий друг или домашнее животное другой стороны передачи могут использоваться в качестве персональных аутентификационных данных. В этом случае, в качестве персональных аутентификационных данных, объекты, ассоциированные с другой стороной передачи, группируются для записи, или информация относительно ассоциированного объекта, обозначенного посредством назначения передачи, принимается из сервера или назначения передачи, чтобы использовать принимаемую информацию для аутентификации соответствующего объекта.

[0036] На этапе S4004, блок 1008 управления управляет интерфейсом 1004 связи таким образом, чтобы принимать и получать, из целевого устройства, информацию поддержки для различения того, поддерживает или нет целевое устройство данные светового поля. Информация для различения того, поддерживает или нет целевое устройство данные светового поля, может сохраняться заранее в запоминающем устройстве 1009 вместе со списком назначений передачи, и в этом случае, блок 1008 управления получает вышеуказанную информацию на основе информации, сохраненной в запоминающем устройстве 1009. Дополнительно, в этом варианте осуществления различается то, поддерживает или нет целевое устройство данные светового поля, но может быть различено то, поддерживает или нет, из интерфейсов 1004 связи, интерфейс, выбранный для использования для обмена данными, данные светового поля. Еще дополнительно, например, в случае если пользователь выбирает способ связи с учетом целевого устройства, может быть различено то, поддерживает или нет выбранный способ связи данные светового поля.

[0037] На этапе S4005, в случае если принимаемая информация указывает то, что целевое устройство поддерживает данные светового поля, последовательность операций переходит к этапу S4006. Когда принимаемая информация указывает то, что целевое устройство не поддерживает данные светового поля, последовательность операций переходит к этапу S4009.

[0038] На этапе S4006, определяется то, определяет или нет блок 2005 персональной аутентификации то, что в списке лиц имеется лицо человека, идентичного человеку в качестве другой стороны передачи, или объекта, ассоциированного с другой стороной передачи. Если определено то, что блок 2005 персональной аутентификации определяет то, что имеется лицо человека, идентичного человеку в качестве другой стороны передачи, или объекта, ассоциированного с другой стороной передачи, последовательность операций переходит к этапу S4007. Если определено то, что блок 2005 персональной аутентификации определяет то, что отсутствует лицо человека, идентичного человеку в качестве другой стороны передачи, или объекта, ассоциированного с другой стороной передачи, фокусное расстояние по умолчанию, которое добавляется во время фотографирования, не обновляется, и последовательность операций переходит к этапу S4008.

[0039] На этапе S4007, блок 2006 добавления заголовков обновляет фокусное расстояние по умолчанию, которое задано и добавлено в данные светового поля на этапе S3004, на фокусное расстояние лица, определенного в качестве лица человека, идентичного человеку в качестве другой стороны передачи, или объекта, ассоциированного с другой стороной передачи.

[0040] На этапе S4008, блок 1008 управления инструктирует интерфейсу 1004 связи передавать данные светового поля.

[0041] На этапе S4009, выполняется определение, идентичное определению на S4006. Если определено то, что блок 2005 персональной аутентификации определяет то, что имеется лицо человека, идентичного человеку в качестве другой стороны передачи, или объекта, ассоциированного с другой стороной передачи, последовательность операций переходит к этапу S4010. Если определено то, что блок 2005 персональной аутентификации определяет то, что отсутствует лицо человека, идентичного человеку в качестве другой стороны передачи, или объекта, ассоциированного с другой стороной передачи, последовательность операций переходит к этапу S4011.

[0042] На этапе S4010, блок 2008 переформирования данных светового поля обновляет фокусное расстояние по умолчанию на фокусное расстояние лица в списке лиц, которое определяется в качестве идентичного человека, и переформирует данные светового поля цели передачи на обновленном фокусном расстоянии.

[0043] На этапе S4011, блок 2008 переформирования данных светового поля переформирует данные светового поля цели передачи на фокусном расстоянии по умолчанию.

[0044] На этапе S4012, блок 2010 JPEG-кодирования выполняет JPEG-сжатие для переформированного изображения, и блок 1008 управления управляет интерфейсом 1004 связи таким образом, чтобы передавать JPEG-изображение в назначение передачи.

[0045] Далее описывается операция приема данных светового поля посредством камеры на основе принципа светового поля по фиг. 1 в отношении блок-схемы последовательности операций способа по фиг. 5. Эта операция также выполняется посредством выполнения запрограммированной управляющей последовательности посредством блока 1008 управления, и операции соответствующих блоков выполняются в ответ на инструкции, выданные из блока 1008 управления.

[0046] На этапе S5001, блок 1008 управления управляет интерфейсом 1004 связи таким образом, чтобы принимать данные светового поля.

[0047] На этапе S5002, блок 2007 анализа заголовков получает фокусное расстояние по умолчанию из заголовка принимаемых данных светового поля. Затем, блок 2008 переформирования данных светового поля переформирует принимаемые данные светового поля на фокусном расстоянии по умолчанию. Блок 2011 ретуширования изображений изменяет размер переформированного изображения до размера для отображения, и блок 1008 управления отображает изображение с измененным размером на блоке 1005 отображения.

[0048] На этапе S5003, блок 1008 управления определяет то, управляет или нет пользователь функциональным блоком 1003 таким образом, чтобы выдавать инструкцию для того, чтобы изменять фокусное расстояние. Когда определяется то, что пользователь выдает инструкцию для того, чтобы изменять фокусное расстояние, последовательность операций переходит к этапу S5004. В противном случае, операция завершается.

[0049] На этапе S5004, блок 2008 переформирования данных светового поля переформирует принимаемые данные светового поля на полученном фокусном расстоянии. Затем, блок 2011 ретуширования изображений изменяет переформированное изображение до размера для отображения. Блок 1008 управления отображает изображение с измененным размером на блоке 1005 отображения.

[0050] На этапе S5005, блок 2006 добавления заголовков обновляет фокусное расстояние по умолчанию, как инструктировано пользователем.

[0051] Как описано выше, в этом варианте осуществления, в случае если человек, который должен принимать данные светового поля, или объект, ассоциированный с человеком, который должен принимать данные светового поля, фотографируется в качестве объекта в данных светового поля, которые должны передаваться, фокусное расстояние по умолчанию для переформирования задается равным такому фокусному расстоянию, что человек, который должен принимать данные светового поля, находится в фокусе. Соответственно, можно отображать, когда данные светового поля принимаются и отображаются сначала, такое изображение, что человек, который принимает данные светового поля, или объект, ассоциированный с человеком, который принимает данные светового поля, находится в фокусе.

[0052] Следует отметить, что в этом варианте осуществления различается то, представляет собой или нет целевое устройство камеру, допускающую переформирование данных светового поля, но без выполнения такого различения, также может передаваться JPEG-изображение, переформированное на фокусном расстоянии для человека, который принимает данные светового поля.

[0053] Дополнительно, хотя данные светового поля переформированы во время фотографирования, чтобы формировать панорамированное фокусированное изображение, и лицо обнаруживается на основе сформированного панорамированного фокусированного изображения в этом варианте осуществления, панорамированное фокусированное изображение может получаться во время фотографирования, чтобы выполнять обнаружение лиц.

[0054] Альтернативно, фокусное расстояние данных светового поля может быть последовательно изменено для того, чтобы переформировать данные светового поля, с тем чтобы выполнять обнаружение лиц для каждого переформированного изображения.

[0055] В этом варианте осуществления, описание приводится посредством рассмотрения примера, в котором устройство обработки изображений фиксирует персональные аутентификационные данные другой стороны передачи или объекта, ассоциированного с другой стороной передачи. Альтернативно, блок 1008 управления может получать персональные аутентификационные данные из другой стороны передачи (внешнего устройства), когда связь с другой стороной передачи устанавливается, или когда пользователь обозначает назначение передачи.

[0056] В этом варианте осуществления, описание приведено посредством рассмотрения примера, в котором пользователь выбирает изображение, которое должно передаваться. Альтернативно, когда определяется назначение передачи, пользователь может обозначать список изображений, которые должны передаваться, к примеру, папку, так что изображение, включающее в себя объект, соответствующий назначению передачи, автоматически выбирается из обозначенного списка, который должен передаваться.

В этом варианте осуществления, фокусное расстояние по умолчанию для данных светового поля, которые должны передаваться, задается равным фокусному расстоянию для человека, который должен принимать данные светового поля, или объекта, ассоциированного с человеком, который должен принимать данные светового поля. Тем не менее, значение, которое должно задаваться, не ограничено фокусным расстоянием по умолчанию. Например, порядок приоритетов может задаваться для каждого фокусного расстояния или лица, так что когда назначение передачи задает фокусное расстояние, которое должно использоваться для перефокусировки данных светового поля, более высокая очередность по приоритету назначается фокусному расстоянию для человека, который принимает данные светового поля, или объекта, ассоциированного с человеком, который принимает данные светового поля.

[0057] ВТОРОЙ ПРИМЕР

Во втором варианте осуществления настоящего изобретения, описывается случай, в котором камера на основе принципа светового поля и облачный сервер реализуют конфигурацию устройства обработки изображений настоящего изобретения. Этот вариант осуществления поясняет пример конфигурации обработки изображений, которая должна применяться, когда пользователь выгружает данные светового поля, сфотографированные посредством камеры на основе принципа, светового поля на облачный сервер, и данный пользователь регистрируется на облачном сервере, чтобы загружать изображение, которое должно отображаться. В этом случае, камера на основе принципа светового поля имеет конфигурацию, идентичную конфигурации первого варианта осуществления, и, следовательно, ее описание опускается здесь.

[0058] Фиг. 6 является блок-схемой, иллюстрирующей процессор 6002 изображений облачного сервера для реализации конфигурации обработки изображений согласно этому варианту осуществления.

[0059] Ссылаясь на фиг. 6, облачный сервер включает в себя оперативное запоминающее устройство 6001, такое как DRAM, для сохранения изображения и обрабатываемых данных. Процессор 6002 изображений включает в себя блок 6003 персональной аутентификации для последовательного выполнения персональной аутентификации для лиц в списке лиц посредством использования персональных аутентификационных данных, чтобы аутентифицировать то, является или нет соответствующее лицо лицом человека, идентичного зарегистрированному пользователю, блок 6004 анализа заголовков для анализа заголовка данных светового поля, чтобы считывать список лиц, блок 6005 переформирования данных светового поля для переформирования данных светового поля на фокусном расстоянии лица в списке лиц, которое определяется в качестве человека, идентичного зарегистрированному пользователю, блок 6006 JPEG-кодирования для выполнения JPEG-сжатия для переформированного изображения, и блок 6007 ретуширования изображений для выполнения ретуширования, такого как изменение размера изображения.

[0060] Вышеуказанные операции соответствующих блоков процессора 1007 изображений управляются посредством блока управления облачного сервера (не показан), такого как CPU, выполняющий инструкции, выдаваемые из функционального блока, и запрограммированные управляющие последовательности.

[0061] Во-первых, описывается операция выгрузки данных светового поля из камеры на основе принципа светового поля на облачный сервер. Эта операция выполняется выполнения запрограммированных управляющих последовательностей посредством блока 1008 управления камеры на основе принципа светового поля, и операции соответствующих блоков выполняются в ответ на инструкции, выданные из блока 1008 управления.

[0062] В ответ на управление функциональным блоком 1003 пользователем, блок 1008 управления обозначает и определяет данные светового поля, которые должны быть выгружены, из списка сфотографированных данных светового поля, отображаемого на блоке 1005 отображения. Затем, блок 1008 управления управляет интерфейсом 1004 связи таким образом, чтобы выгружать определенные данные светового поля на облачный сервер. Заголовок, включающий в себя список лиц, который формируется в первом варианте осуществления, добавляется в данные светового поля, которые должны быть выгружены.

[0063] Далее описывается операция отображения изображений, сохраненных на облачном сервере, пользователю, который регистрируется на облачном сервере, в отношении блок-схемы последовательности операций способа по фиг. 7. Эта операция выполняется посредством выполнения запрограммированных управляющих последовательностей блока управления облачного сервера, и операции соответствующих блоков процессора 6002 изображений выполняются в ответ на инструкции, выданные из блока управления сервера.

[0064] На этапе S7001, облачный сервер запрашивает пользователя выгружать персональные аутентификационные данные, когда пользователь регистрируется на облачном сервере, из PC пользователя. В ответ на этот запрос, персональные аутентификационные данные выгружаются из PC пользователя. В этом варианте осуществления, при подтверждении того, что пользователь регистрируется на облачном сервере, облачный сервер формирует страницу для отображения, с использованием миниатюр, изображений на сервере, ассоциированном с пользователем, в формате списка или последовательно. В качестве примера способа выбора изображения, которое должно отображаться пользователю, возможен следующий способ. В частности, изображения, выгруженные ранее из камеры или с носителя записи, принадлежащего пользователю, изображения, выгруженные за предыдущие несколько недель пользователем, который зарегистрирован как друг пользователя, или другие такие изображения выбираются в соответствии с регистрационной информацией.

[0065] На этапе S7002, блок управления облачного сервера определяет то, имеется или нет следующее изображение, которое должно отображаться на странице, которая должна формироваться для пользователя, который регистрируется. Когда имеется такое следующее изображение, последовательность операций переходит к этапу S7003, а в противном случае, последовательность операций переходит к этапу S7008.

[0066] На этапе S7003, блок 6004 анализа заголовков анализирует заголовок данных светового поля, которые должны отображаться, чтобы считывать список лиц. Затем, блок 6003 персональной аутентификации использует персональные аутентификационные данные, чтобы последовательно выполнять персональную аутентификацию для лиц в списке лиц, чтобы аутентифицировать то, является или нет соответствующее лицо лицом человека, идентичного зарегистрированному пользователю, или объектом, ассоциированным с зарегистрированным пользователем.

[0067] На этапе S7004, в соответствии с результатом аутентификации, выполняемой на этапе S7003, в случае если имеется лицо человека, идентичного зарегистрированному пользователю, или объекта, ассоциированного с зарегистрированным пользователем, последовательность операций переходит к этапу S7005, а в противном случае, последовательность операций переходит к этапу S7006. На этапе S7005, блок 6005 переформирования данных светового поля переформирует данные светового поля на фокусном расстоянии лица в списке лиц, которое определяется в качестве лица человека, идентичного зарегистрированному пользователю, или объекта, ассоциированного с зарегистрированным пользователем.

[0068] На этапе S7006, блок 6005 переформирования данных светового поля переформирует данные светового поля на фокусном расстоянии по умолчанию, добавленном в заголовок.

[0069] На этапе S7007, блок 6007 ретуширования изображений изменяет размер переформированного изображения в соответствии со страницей, которая должна формироваться.

[0070] На этапе S7008, блок управления облачного сервера формирует страницу посредством отображения переформированного изображения.

[0071] Далее описывается операция загрузки изображения из облачного сервера в отношении блок-схемы последовательности операций способа по фиг. 8. Эта операция также выполняется посредством выполнения запрограммированных управляющих последовательностей посредством блока управления облачного сервера, и операции соответствующих блоков процессора 6002 изображений выполняются в ответ на инструкции, выданные из блока управления сервера.

[0072] На этапе S8001, блок управления облачного сервера определяет то, выдает или нет пользователь инструкцию для того, чтобы изменять фокусное расстояние. В случае если пользователь выдает инструкцию для того, чтобы изменять фокусное расстояние, последовательность операций переходит к этапу S8002. В противном случае, последовательность операций переходит к этапу S8003.

[0073] На этапе S8002, блок 6005 переформирования данных светового поля переформирует данные светового поля на фокусном расстоянии, обозначенном пользователем. Затем, блок 6007 ретуширования изображений изменяет размер переформированного изображения до размера для отображения, чтобы обновлять страницу.

[0074] На этапе S8003, блок управления облачного сервера определяет то, выдает или нет пользователь инструкцию для того, чтобы загружать изображение. В случае если пользователь выдает инструкцию для того, чтобы загружать изображение, последовательность операций переходит к этапу S8004. В противном случае, операция завершается.

[0075] На этапе S8004, блок 6006 JPEG-кодирования выполняет JPEG-сжатие для изображения, которое должно быть загружено, и блок управления облачного сервера загружает сжатое изображение.

[0076] Как описано выше, согласно этому варианту осуществления, можно загружать изображение, в котором человек, который регистрируется на облачном сервере, находится в фокусе.

[0077] Следует отметить, что, хотя камера на основе принципа светового поля в качестве источника передачи выполняет обнаружение лиц в этом варианте осуществления идентично первому варианту осуществления, облачный сервер, на который выгружено изображение, может выполнять обнаружение лиц.

[0078] Кроме того, разумеется, цель настоящего изобретения может достигаться даже посредством предоставления носителя записи, сохраняющего программный код программного обеспечения, реализующего функцию вышеуказанного варианта осуществления в системе или устройстве, и позволяющего компьютеру (CPU или MPU) системы или устройства считывать программный код, сохраненный в носителе записи, для выполнения.

В этом случае, сам программный код, считываемый из носителя записи, реализует функцию вышеуказанного варианта осуществления, и сам программный код и носитель записи, сохраняющий программный код, составляют настоящее изобретение.

В качестве носителя записи для предоставления программного кода, например, могут использоваться гибкий диск, жесткий диск, оптический диск, магнитооптический диск, CD-ROM, CD-R, магнитная лента, энергонезависимая карта памяти или ROM.

Кроме того, разумеется, посредством выполнения программного кода, считываемого посредством компьютера, может реализовываться функция вышеуказанного варианта осуществления, а также ОС (базовая система или операционная система), работающая на компьютере, выполняет частичную или всю фактическую обработку в соответствии с инструкцией программного кода, за счет чего может реализовываться функция вышеуказанного варианта осуществления посредством этой обработки.

Кроме того, разумеется, после того, как программный код, считываемый с носителя записи, записывается в запоминающем устройстве, предоставленном в функциональной плате расширения, вставленной в компьютер, или в функциональном блоке расширения, соединенном с компьютером, CPU и т.п., предоставленный в функциональной плате расширения или в функциональном блоке расширения, выполняет частичную или всю фактическую обработку в соответствии с инструкцией программного кода, за счет чего может реализовываться функция вышеуказанного варианта осуществления посредством этой обработки.

Как описано выше, хотя настоящее изобретение описано посредством предпочтительных примеров, настоящее изобретение не ограничено вышеприведенными примерами и может различными способами модифицироваться в пределах формулы изобретения.

[0079] Хотя настоящее изобретение описано со ссылкой на примерные варианты осуществления, следует понимать, что изобретение не ограничено раскрытыми примерными вариантами осуществления. Объем прилагаемой формулы изобретения должен соответствовать самой широкой интерпретации, так что он заключает в себе все такие модификации и эквивалентные структуры и функции.

[0080] Эта заявка испрашивает приоритет по патентной заявке Японии номер 2013-003570, поданной 11 января 2013 года, которая настоящим полностью содержится в данном документе по ссылке.

Изобретение относится к устройству обработки изображений для обработки данных светового поля. Техническим результатом является повышение эффективности при передаче данных изображения. Устройство содержит первый блок получения для получения данных светового поля, которые представляют собой трехмерную информацию относительно объектного пространства; блок формирования для формирования первой информации объектов в данных светового поля; блок настроек для настройки фокусной информации для переформирования данных светового поля на основе информации фотографирования данных светового поля и добавления заданной фокусной информации в данные светового поля; второй блок получения для приема информации в отношении объекта, который представляет собой целевое назначение передачи данных светового поля из внешнего устройства; блок обнаружения для обнаружения второй информации объектов, соответствующей объекту из первой информации объектов, добавленной к данным светового поля на основании принятой информации в отношении объекта; и блок управления для обновления фокусной информации, заданной посредством блока настроек, в соответствии с результатом обнаружения. 4 н. и 15 з.п. ф-лы, 8 ил.

1. Устройство обработки изображений, содержащее:

- первый блок получения для получения данных светового поля, которые представляют собой трехмерную информацию относительно объектного пространства;

- блок формирования для формирования первой информации объектов в данных светового поля;

- блок настроек для настройки фокусной информации для переформирования данных светового поля на основе информации фотографирования данных светового поля и добавления заданной фокусной информации в данные светового поля;

- второй блок получения для приема информации в отношении объекта, который представляет собой целевое назначение передачи данных светового поля из внешнего устройства;

- блок обнаружения для обнаружения второй информации объектов, соответствующей объекту из первой информации объектов, добавленной к данным светового поля на основании принятой информации в отношении объекта; и

- блок управления для обновления фокусной информации, заданной посредством блока настроек, в соответствии с результатом обнаружения.

2. Устройство обработки изображений по п. 1, в котором блок управления передает, во внешнее устройство, данные светового поля, полученные после обновления фокусной информации, заданной посредством блока настроек.

3. Устройство обработки изображений по п. 1,

- в котором второй блок получения получает информацию поддержки для различения того, поддерживает ли одно из внешнего устройства, блока связи, который должен использоваться для обмена данными с внешним устройством, и способа связи, который должен использоваться для обмена данными с внешним устройством, данные светового поля, и

- при этом в случае, если на основе информации поддержки определяется то, что одно из внешнего устройства, блока связи, который должен использоваться для обмена данными с внешним устройством, и способа связи, который должен использоваться для обмена данными с внешним устройством, поддерживает данные светового поля, блок управления передает, во внешнее устройство, данные светового поля, полученные после обновления фокусной информации, заданной посредством блока настроек.

4. Устройство обработки изображений по п. 3,

- в котором блок управления содержит блок переформирования для переформирования данных светового поля в соответствии с фокусной информацией, обновленной под управлением блока управления, чтобы формировать переформированное изображение, в случае если на основе информации поддержки, полученной посредством второго блока получения для различения того, поддерживает ли одно из внешнего устройства, блока связи, который должен использоваться для обмена данными с внешним устройством, и способа связи, который должен использоваться для обмена данными с внешним устройством, данные светового поля, определяется то, что одно из внешнего устройства, блока связи, который должен использоваться для обмена данными с внешним устройством, и способа связи, который должен использоваться для обмена данными с внешним устройством, не поддерживает данные светового поля, и

- при этом блок управления передает переформированное изображение, сформированное посредством блока переформирования, во внешнее устройство.

5. Устройство обработки изображений по п. 4, дополнительно содержащее блок кодирования для кодирования изображения, сформированного посредством блока переформирования.

6. Устройство обработки изображений по п. 1, в котором блок управления не обновляет фокусную информацию, заданную посредством блока настроек, в случае если блок обнаружения не обнаруживает вторую информацию объектов, соответствующую объекту из первой информации объектов, добавленной к данным светового поля на основании принятой информации в отношении объекта.

7. Устройство обработки изображений по п. 6, в котором информация поддержки содержит информацию, принимаемую из внешнего устройства.

8. Устройство обработки изображений по п. 6, в котором второй блок получения принимает из информации, заранее сохраненной в запоминающем устройстве, информацию в отношении объекта, который представляет собой целевое назначение передачи данных светового поля из внешнего устройства.

9. Устройство обработки изображений по п. 6, в котором второй блок получения принимает из внешнего устройства информацию в отношении объекта, который представляет собой целевое назначение передачи данных светового поля из внешнего устройства.

10. Способ обработки изображений, содержащий:

- этап получения, на котором получают данные светового поля, которые представляют собой трехмерную информацию относительно объектного пространства;

- этап формирования, на котором формируют первую информацию объектов;

- этап настроек, на котором настраивают фокусную информацию для переформирования данных светового поля на основе информации фотографирования данных светового поля, и добавляют заданную фокусную информацию в данные светового поля;

- второй этап получения, на котором принимают информацию в отношении объекта, который представляет собой целевое назначение передачи данных светового поля из внешнего устройства;

- этап обнаружения, на котором обнаруживают вторую информацию объектов, соответствующую объекту из первой информации объектов, добавленной к данным светового поля на основании принятой информации в отношении объекта; и

- этап управления, на котором обновляют фокусную информацию, заданную на этапе настроек, в соответствии с результатом обнаружения.

11. Устройство захвата изображений, содержащее:

- блок захвата изображений для получения сигнала захвата изображений для получения данных светового поля, которые представляют собой трехмерную информацию относительно объектного пространства;

- устройство обработки изображений по любому из пп. 1-9;

- блок связи для обмена данными с внешним устройством; и

- функциональный блок для ввода инструкции,

- при этом блок связи передает, на основе информации относительно одного из внешнего устройства, выбранного в соответствии с инструкцией, вводимой посредством функционального блока, средства связи, которое должно использоваться для обмена данными с внешним устройством, и способа связи, который должен использоваться для обмена данными с внешним устройством, одно из данных светового поля, полученных посредством устройства обработки изображений, и переформированного изображения, полученного посредством переформирования данных светового поля, во внешнее устройство.

12. Устройство захвата изображений по п. 11, в котором блок управления управляет блоком связи таким образом, чтобы получать информацию относительно внешнего устройства, выбранного в соответствии с инструкцией, вводимой посредством функционального блока, из выбранного внешнего устройства.

13. Устройство захвата изображений по п. 12, в котором блок управления выбирает данные светового поля, полученные посредством первого блока получения, на основе информации относительно внешнего устройства, выбранного в соответствии с инструкцией, вводимой посредством функционального блока.

14. Устройство захвата изображений по п. 11, в котором функциональный блок вводит инструкцию для того, чтобы изменять фокусную информацию, добавленную в данные светового поля, и блок переформирования переформирует данные светового поля на основе фокусной информации, измененной в соответствии с инструкцией.

15. Серверное устройство для обработки изображений, содержащее:

- блок связи для обмена данными с внешним устройством;

- первый блок получения для получения данных светового поля, которые представляют собой трехмерную информацию относительно объектного пространства и первой информации объектов данных сетевого поля, которая указывает объект, включенный в объектное пространство, и фокусное расстояние объекта;

- блок приема для приема информации в отношении объекта, который является целевым назначением передачи из внешнего устройства;

- блок обнаружения для обнаружения, на основе информации, второй информации объектов, соответствующей информации объектов;

- блок переформирования для определения фокусной информации для переформирования данных светового поля в соответствии с результатом обнаружения и переформирования данных светового поля на основе определенной фокусной информации, чтобы формировать переформированное изображение; и

- блок загрузки для загрузки переформированного изображения на внешнее устройство через блок связи в ответ на инструкцию, выданную из внешнего устройства.

16. Серверное устройство по п. 15, в котором внешнее устройство содержит устройство захвата изображений, включающее в себя устройство обработки изображений,

- при этом устройство обработки изображений включает в себя:

- первый блок получения для получения данных светового поля, которые представляют собой трехмерную информацию относительно объектного пространства;

- блок формирования для формирования информации объектов посредством обнаружения объекта, включенного в объектное пространство, с использованием данных светового поля и добавления сформированной информации объектов в данные светового поля;

- блок настроек для настройки фокусного расстояния для переформирования данных светового поля на основе информации фотографирования данных светового поля и добавления заданного фокусного расстояния в данные светового поля;

- второй блок получения для получения информации относительно объекта, соответствующего внешнему устройству, которое представляет собой целевое назначение передачи данных светового поля;

- блок обнаружения для обнаружения объекта, соответствующего внешнему устройству, полученному посредством второго блока получения, из информации объектов, добавленной в данные светового поля; и

- блок управления для обновления фокусного расстояния, заданного посредством блока настроек, в соответствии с результатом обнаружения,

- при этом устройство захвата изображений дополнительно включает в себя:

- блок захвата изображений для получения сигнала захвата изображений для получения данных светового поля, которые представляют собой трехмерную информацию относительно объектного пространства;

- блок связи для обмена данными с внешним устройством; и

- функциональный блок для ввода инструкции,

- при этом блок связи передает, на основе информации относительно одного из внешнего устройства, выбранного в соответствии с инструкцией, вводимой посредством функционального блока, средства связи, которое должно использоваться для обмена данными с внешним устройством, и способа связи, который должен использоваться для обмена данными с внешним устройством, одно из данных светового поля, полученных посредством устройства обработки изображений, и переформированного изображения, полученного посредством переформирования данных светового поля, во внешнее устройство.

17. Серверное устройство по п. 15, в котором первая информация объектов добавляется в данные светового поля, полученные посредством первого блока получения.

18. Серверное устройство по п. 17, дополнительно содержащее:

- блок формирования для формирования первой информации объектов посредством обнаружения объекта, включенного в объектное пространство, с использованием полученных данных светового поля и добавления первой информации объектов в данные светового поля; и

- блок настроек для настройки фокусного расстояния для переформирования данных светового поля на основе информации фотографирования полученных данных светового поля,

- при этом блок обнаружения обнаруживает информацию относительно объекта, соответствующего внешнему устройству, из первой информации объектов, сформированной посредством блока формирования.

19. Серверное устройство по п. 18, в котором блок связи принимает инструкцию для того, чтобы изменять фокусное расстояние, из внешнего устройства, и блок переформирования переформирует полученные данные светового поля, чтобы формировать переформированное изображение на основе фокусного расстояния, измененного в соответствии с принимаемой инструкцией.