АВТОМАТИЗИРОВАННОЕ ОПРЕДЕЛЕНИЕ ПОВЕДЕНИЯ СИСТЕМЫ ИЛИ ОПЫТА ПОЛЬЗОВАТЕЛЯ ПОСРЕДСТВОМ ЗАПИСИ, СОВМЕСТНОГО ИСПОЛЬЗОВАНИЯ И ОБРАБОТКИ ИНФОРМАЦИИ, АССОЦИИРОВАННОЙ С ШИРОКОУГОЛЬНЫМ ИЗОБРАЖЕНИЕМ Российский патент 2019 года по МПК H04N21/235 H04N5/357 

Перекрестная ссылка на родственные заявки

Настоящая заявка испрашивает преимущества на основе предварительной патентной заявки США № 61/970,159, поданной 25 марта 2014 г, под названием "Automated Identification of Panoramic Imagers for Appropriate and Efficient Panoramic Image Distortion Processing System", в настоящий момент ожидающей рассмотрения, все содержание которой включено сюда посредством ссылки.

Уровень техники изобретения

Настоящее изобретение относится к записи, совместному использованию и передаче информации, ассоциированной с формирователем изображения, чтобы определить поведение системы. Оно включает в себя то, как создавать широкоугольное изображение или видео, кодированное информацией посредством формирователей широкоугольного изображения, и как автоматически декодировать и применять информацию и обработку или отображение изображения. Информация, в конечном счете, используется для определения конкретного поведения системы или опыта пользователя, основываясь на параметрах.

Используя изображение или видео, пользователь может записывать, совместно использовать или передавать информацию. В дополнение к самому контенту изображения или видео, существует также большая информация, ассоциированная с контентом. Эта информация находится в форме параметров формирователя изображения, таких как, в частности, параметры широкоугольного устройства, параметры окружающей среды, обработка изображения, параметры улучшения качества или отображения, поведение системы, опыт пользователя или любая другая информация, которая должна записываться, совместно использоваться или передаваться.

Существующим хорошо известным способом передачи некоторых важных параметров от формирователя изображения конечному пользователю является использование метаданных и т. п. Метаданные являются текстовой информацией, обычно записываемой в заголовок цифрового файла изображения. Этот заголовок является частью файла, находящейся до или после фактических данных изображения, конкретно определенных для каждого формата файла. Однако, метаданные подвержены потере информации, когда файл изображения или видео преобразуется в другой формат или когда он передается через различные среды, такие как Интернет. Также невозможно передавать метаданные посредством распечатанного или сканированного изображения. Таким образом, использование метаданных и т. п. не является устойчивым способом передачи информации, ассоциированной с широкоугольными изображениями или видео.

Одним из видов важной информации, ассоциированной с широкоугольным изображением или видео, являются параметры формирователя изображения. Широкоугольные формирователи изображения производят двумерные (2D) изображения реальной среды, повторно отображая объект в изображении, создавая искажение или разрыв в создаваемых изображениях. Независимо от типа используемого широкоугольного формирователя изображения, от объективов до катодиоптрических систем, и, в том числе, формирователи изображения, сшивающие несколько узкоугольных изображений вместе, или формирователи изображения, производящие разделенные расшитые узкоугольные изображения, окончательное широкоугольное изображение будет всегда содержать некоторое искажение или повторное отображение изображения, чтобы представить окружающую среду в двумерной плоскости. Последствие повторного отображения изображения состоит в том, что изображения деформируются таким образом, что прямые линии в зависимости от типа формирователя изображения в среде объекта в широкоугольном изображении кажутся изогнутыми, кусочно линейными или прерывистыми.

Чтобы должным образом отображать часть изображения для пользователя или алгоритма, коррекция искажения обычно делается так, как описано в патенте США № RE44,087 E1 для линейного искажения или в патенте США № 6,844,990 B2 и 6,865,028 B2 для пользовательского симметричного и пользовательского асимметричного искажения, соответственно. Чтобы должным образом устранить искажение, алгоритм должен знать различные параметры формирователя изображения, в том числе, точный профиль искажения, поле зрения, положение оптического центра изображения и пространственную ориентацию широкоугольного формирователя изображения. Однако, на упомянутом выше предшествующем уровне техники алгоритм обработки искажения либо связывается с одиночным широкоугольным формирователем изображения с параметрами, предварительно кодированными внутри, либо требует от конечного пользователя ручного выбора различных параметров. Конечный пользователь часто не обладает точным знанием параметров, делая обработку искажений утомительной и несовершенной, и требуется процесс для передачи заданных параметров.

В случае обработки стереоизображения, использование штрих-кода, добавленного в поле файла изображения, объединяющее два заданных изображения для стереопросмотра, было предложено в патенте США № 8,358,329 B2, чтобы хранить информацию, полученную от формирователя изображения, такую как тип используемого стереоизображения и расстояние между точками зрения обоих изображений. Однако, переданные данные, кодированные в штрих-коде, содержат очень ограниченные параметры только для стереоизображений, которые объединяются на уровне программного обеспечения блоком синтеза изображения.

Идентификация объектива, используя штрих-коды в камерах, использующих аналоговые пленки для захвата изображения вместо цифровых датчиков была также предложена в патенте США № 5,461,440 A и в патенте США № 6,707,998 B2. Однако, статически кодированные данные позволяют только идентификацию объектива и не могут использоваться динамически или передавать изменяющуюся информацию формирователя изображения в зависимости от конкретного применения пользователем. Аналогично, в других системах, которые используют штрих-коды или двоичные коды, данные, кодированные в штрих-кодах или в двоичных кодах, устанавливаются производителем камеры для совершенно конкретной цели. Выход, связываемый с единым использованием, не может изменять выход в зависимости от видов параметров, которые присутствуют в кодированных данных, или в зависимости от конкретных потребностей пользователя. Дополнительно, эти системы являются статическими и не могут использоваться для динамического кодирования или передачи меняющихся параметров формирователя изображения. По всем этим причинам кодированные данные не могут использоваться для определения поведения различных систем или опыта пользователя в зависимости от конкретной информации исходной сцены. Для оптимальной обработки широкоугольных изображений и возможности определения поведения различных систем или опыта пользователя в зависимости от параметров, информация может добавляться в реальном времени на уровне формирователя изображения, чтобы учесть динамически меняющиеся объектив, камеру, устройство или параметры окружающей среды, такие как ориентация, подобласть передаваемого изображения, дату, географическое положение или даже динамическое искажение, как предложено в патенте США № 2012/0314065 A1.

В международной патентной публикации № WO 2007/110697 A3 была предложена система физической маркировки оптической системы или оптического добавления маркера в плоскость изображения, чтобы позволить идентифицировать широкоугольную оптическую систему. Однако, если используется физический маркер на объективе, эта система все равно нуждается в ручном внешнем вводе от пользователя параметров в формирователь изображения, таких как идентификационный номер объектива или ориентация устройства и т. п. Когда оптический маркер используется для появления на плоскости изображения, система статична и является очень ограниченной, так как она не может содержать динамическое кодирование таких параметров широкоугольного формирователя изображения, как ориентация или подобласть передаваемого изображения. Она не может передавать адаптирующуюся информацию формирователя изображения, которая зависит от конкретного приложения пользователя, и, таким образом, не может использоваться для определения различного опыта пользователя или поведения системы. Дополнительно, другой недостаток состоит в том, что объектив должен быть разработан так, чтобы с самого начала содержать такие маркеры, и этот способ не может быть распространен на уже существующие широкоугольные формирователи изображения.

В дополнение к параметрам широкоугольного устройства настоящее изобретение обеспечивает схему записи, совместного использования или передачи всех видов информации об объективе, камере, устройстве или окружающей среде, ассоциированной с изображением или видео. Схема может использоваться в гораздо более широком диапазоне применений. Основное новшество будет состоять в том, чтобы иметь возможность определения различного опыта пользователя или поведения системы автоматически, давая команду, что и как выводить в зависимости от конкретных параметров. Дополнительно, некоторая информация является динамической, такая как ориентация камеры в реальном времени, опыт пользователя в реальном времени, поведение системы в реальном времени и динамическая информация, которая не может быть записана статическим путем согласно вышеупомянутым патентам.

Краткая сущность изобретения

Чтобы преодолеть все упомянутые выше проблемы, варианты осуществления настоящего изобретения предлагают схему записи, совместного использования или передачи любого вида параметра формирователя изображения, ассоциированного с изображением или видео. Эти параметры формирователя изображения содержат все виды информации, ассоциированной с объективом, камерой, устройством в целом или окружающей средой вокруг устройства. В зависимости от конкретной информации совместно используемой сцены, создается определенный опыт пользователя или поведение системы для устройства окончательного отображения или блока алгоритма. Это позволяет устройству конечного пользователя идентифицировать все параметры формирователя изображения или другую используемую информацию и применять правильный тип опыта пользователя или поведения системы, основываясь на принятой информации. Некоторые примеры конкретных опытов пользователя или поведений системы, которые могут быть созданы для конечного пользователя, содержат устранение искажения изображения, предоставление руководящей информации по улучшению качества изображения для дальнейшей обработки. Все они могут осуществляться автоматически без участия конечного пользователя, имеющего лишь некоторое знание параметров формирователя изображения устройства.

Опыт пользователя, созданный системой, влияет на взаимодействие между человеком и системой и определяется параметрами формирователя изображения. Это восприятие и реакции пользователя в результате использования и/или ожидания использования системы. Опыт пользователя включает в себя эмоции, убеждения, предпочтения, восприятие, физические и психологические реакции, поведение и выполнение, которые происходят до, во время и после использования системы. Опыт пользователя является следствием изображения бренда, презентации, функциональности, интерактивного поведения и сопутствующих возможностей интерактивной системы, внутреннего и физического состояния пользователя в результате предшествующего опыта, отношений, навыков и индивидуальности и контекста использования.

Поведение системы является рядом действий или обработки, выполняемым системами самостоятельно (автономно) или в сочетании с их средой, которая включает в себя другие системы, пользователей системы, организмы, искусственные объекты или физическую среду. Оно является реакцией системы на различные стимулы или входные воздействия, внутренние или внешние, сознательные или подсознательные, откровенные или тайные и добровольные или принудительные.

Здесь, широкоугольный формирователь изображения является любым устройством, способным формировать широкоугольное или часть широкоугольного изображения, в том числе, но не ограничиваясь этим, широкоугольные объективы, многолинзовые системы, катадиоптрические системы или широкоугольные изображения, сформированные любым блоком обработки изображения. В некоторых вариантах осуществления формирователь изображения содержит по меньшей мере один модуль камеры, выполненный с возможностью захвата изображения.

Идея совместного использования параметров состоит в добавлении видимого маркера на изображение внутри устройства формирователя изображения, чтобы кодировать различную информацию, ассоциированную со сценой. Поскольку маркер добавляется электронно, он может динамически обновляться и содержит параметры в реальном времени о формирователе изображения, такие как пространственная ориентация, геолокация, дата и время, режим работы датчика, опыт пользователя в реальном времени или поведение системы, решая проблему статичности ранее предложенных маркеров. Дополнительно, точная информация, кодированная внутри маркера, может изменяться в зависимости от того, что требует приложение конечного пользователя, и в зависимости от существующей информации опыт конечного пользователя или поведение системы будут различаться.

Более конкретно, по меньшей мере, в некоторых вариантах осуществления настоящего изобретения, ассоциированные параметры будут полностью кодированы в пределах маркера, расположенного внутри области изображения. Широкоугольные изображения часто имеют области в углах цифрового изображения, не относящиеся к контенту изображения сцены, в которых нет никакой информации о среде. Эти углы в этих изображениях обычно выглядят черными, так как в этих местах свет не попадает на плоскость датчика. В этих случаях, без последствий для контента изображения сцены, можно разместить кодированные маркеры в углах. В других случаях, где контент изображения сцены из среды заполняет все изображение, как в эквипрямоугольном проецируемом широкоугольном изображении, изображение может быть увеличено, чтобы добавить поле, в котором разместится этот кодированный маркер. Размещение маркера с кодированными параметрами внутри изображения, но вне области контента изображения сцены, позволяет устойчивую передачу всего широкоугольного изображения и всей ассоциированной с ним информации без какой-либо потери при обработке файла изображения, его потоковой онлайн-передаче, повторном кодировании, масштабировании или печати/сканировании.

Дополнительно, по меньшей мере, в некоторых вариантах осуществления настоящего изобретения, маркер кодирования, который должен добавляться внутрь широкоугольного изображения широкоугольным формирователем изображения, является известным быстродействующим кодом (QR-код). В других вариантах осуществления маркер кодирования может быть любым другим видом маркера, содержащим кодированную информацию.

По меньшей мере в некоторых вариантах осуществления настоящего изобретения информация, кодированная в маркере, позволяет выполнять оптимальную обработку искажения. Эта информация может включать в себя, в частности, следующие параметры: уникальный идентификационный код формирователя изображения с объективом, полный профиль искажения широкоугольного изображения в табличной или полиномиальной форме, общее поле зрения, площадь проекции среды в изображении, пространственная ориентация и координаты геолокализации широкоугольного формирователя изображения и/или положение в изображении оптического центра. В других вариантах осуществления кодированная в маркере информация может включать в себя, в частности, параметры широкоугольного устройства, параметры среды, параметры обработки изображения, параметры улучшения качества, параметры дисплея, опыт пользователя или параметры поведения системы или любую информация, которая должна быть записана, совместно использована и передана между устройством получения изображения и конечным пользователем.

В некоторых вариантах осуществления настоящего изобретения существует преимущество, когда передается только часть полного широкоугольного изображения, чтобы уменьшить требуемую полосу частот или максимизировать частоту кадров датчика и дисплея. В этом случае, маркер может также содержать координаты подраздела передаваемого полного широкоугольного изображения. Это позволяет алгоритму обработки искажения знать, с какого направления берется передаваемая часть изображения и затем разрешить оптимальную обработку искажения.

Передавая все эти потенциальные параметры формирователя изображения внутри изображения, гарантируется, что устройство конечного пользователя может автоматически корректировать, обрабатывать и улучшать качество изображения без участия конечного пользователя, от которого требуются специальные знаний. Это предпочтительно по сравнению с существующими системами обработки искажения или системами обработки изображения, где все параметры требуют ручного ввода от конечного пользователя, который не имеет требуемой информации. Кроме того, конкретный опыт пользователя или поведение системы по выводу на устройство отображения или на блок алгоритма могут также быть созданы согласно конкретной информации, кодированной в маркере и соответствующей приложению.

В некоторых вариантах осуществления настоящего изобретения, сформированные опыт пользователя или поведение системы содержат только вывод обработанного изображения на устройство отображения конечного пользователя. В некоторых других вариантах осуществления выходной сигнал, сформированный для конечного пользователя, зависит от кодированных параметров и может быть выведен на блок алгоритма или может быть выведен как любая комбинация по меньшей мере одного из следующего: изображение, текстовое значение параметра, индикатор света, тактильная обратная связь или звук и т. п.

В некоторых вариантах осуществления настоящего изобретения существует преимущество использования формирователя изображения с регулируемым полем зрения вместо широкоугольного формирователя изображения. В этом случае, маркер может также содержать конкретные параметры, связанные с этим формирователем изображения, требуемые приложением конечного пользователя, и в зависимости от существующей информации, опыт конечного пользователя или поведение системы будут различаться.

Краткое описание чертежей

Предшествующее описание сущности изобретения, также как последующее подробное описание предпочтительного варианта осуществления изобретения, станут более понятны при их прочтении в сочетании с прилагаемыми чертежами. С целью иллюстрации, в чертежах показан вариант осуществления, предпочтительный в настоящее время. Следует понимать, однако, что изобретение не ограничивается показанными точными структурами и средствами.

На чертежах:

Фиг. 1 - схема системы передачи параметров формирователя изображения через совместно используемую среду для определения опыта пользователя или поведения системы;

Фиг. 2 - схема системы локальной передачи параметров формирователя изображения;

Фиг. 3 - подробная схема создания маркированного изображения в устройстве формирователя изображения;

Фиг. 4 - подробная схема обработки маркированного изображения в блоке обработки изображения;

Фиг. 5A - пример широкоугольного изображения, полученного от паноморфного формирователя изображения, имеющего контент изображения эллиптической сцены, с параметрами формирователя изображения, кодированными внутри изображении;

Фиг. 5B - пример широкоугольного изображения, полученного от формирователя изображения типа "рыбий глаз" с контентом изображения круговой сцены, с параметрами формирователя изображения, кодированными внутри изображения;

Фиг. 5C - пример широкоугольного изображения в эквипрямоугольной проекции с параметрами формирователя изображения, кодированными в поле, добавленном в изображение;

Фиг. 5D - пример широкоугольного изображения в кубической проекции с параметрами формирователя изображения, кодированными внутри изображения;

Фиг. 5E - пример широкоугольного изображения в форме, когда оно еще должно сшиваться с параметрами формирователя изображения, кодированными внутри изображения;

Фиг. 5F - пример подраздела полного широкоугольного изображения с параметрами формирователя изображения, кодированными внутри изображения; и

Фиг. 5G - пример объединения контента от многочисленных видов широкоугольных формирователей изображения в широкоугольное изображение с параметрами формирователя изображения, кодированными внутри изображения.

Подробное описание изобретения

В последующем описании некоторая терминология используется только для удобства, но не для ограничения. Терминология включает в себя перечисленные выше слова, их производные и слова с подобным подразумеваемым смыслом. Дополнительно, слова в единственном числе, как они используются в формуле изобретения и в соответствующих частях описания, означают "по меньшей мере один".

Система определения опыта пользователя или поведения системы может использоваться для совместного использования маркированных изображений среди многочисленных устройств или локально внутри одиночного устройства. Оба случая схематично показаны на фиг. 1 и 2, соответственно.

На фиг. 1 схематично показана система передачи параметров формирователя изображения через совместно используемую носитель, чтобы определить опыт пользователя или поведение системы. Процесс содержит следующие этапы. Устройство 100 захвата устанавливается с широкоугольным формирователем 105 изображения. Устройство 100 захвата является любым устройством, к которому может быть добавлен широкоугольный формирователь изображения, чтобы прибавить признак формирования широкоугольного изображения, содержащий, например, в частности, мобильный телефон, планшет, автомобиль, робот, телевизор, маршрутизатор, блок GPS, Интернет-модуль, камеру домашнего наблюдения, камеру видеонаблюдения, автомобильную камеру, эндоскоп, носимое устройство, часы и т. п. Когда широкоугольный формирователь 105 изображения интегрируется в устройство 100 захвата, это устройство способно захватывать данные широкоугольного изображения 110.

Здесь широкоугольный формирователь 105 изображения является любым устройством, способным захватывать данные изображений или части изображений из широкоугольной среды. Результирующая широкоугольная среда предпочтительно создает широкоугольное поле зрения. Некоторыми примерами широкоугольного формирователя 105 изображения, которые могут использоваться в процессе, но никак не являются ограничением, являются широкоугольные объективы, катадиоптрические формирователи изображения, многочисленные камеры с узким полем зрения, формируемые компьютером широкоугольные изображения и т. п. Некоторые примерные результаты различных широкоугольных формирователей 105 изображения будут объяснены со ссылкой на фиг. 5A-G.

Широкоугольный формирователь 105 изображения, благодаря конструкции и в зависимости от того, как он используется, имеет некоторые внутренние и внешние параметры широкоугольного формирователя изображения. Некоторыми примерами этих параметров являются, в частности, профиль искажения, поле зрения при формировании изображения, некоторые локализованные оптические аберрации или функции рассеяния точки изображения, боковой цвет, 3-хосная ориентация и положение, информация перекрестных ссылок между многочисленными маркированными изображениями, поступающими от одиночного широкоугольного формирователя изображения или от различных формирователей изображения, геолокализация, окружающая освещенность, влажность или температурные условия, модель камеры Байера, отношение сигнал-шум, параметры экспозиции, количество кадров в секунду, параметры цветового пространства, положение внутри изображения центральной оптической оси, ориентация площади проекции изображения для асимметричных широкоугольных изображений, ориентация и координаты одного или множества участков с узким полем зрения полной панорамы, относительная освещенность объектива, уникальный идентификационный код широкоугольного объектива для извлечения его профиля искажения, локализованная относительная освещенность из базы данных (то есть, таблицы, списки, электронные таблицы и т. п., хранящиеся локально или удаленно), и т. п.

В дополнение к параметрам широкоугольного формирователя изображения, существуют другие виды параметров, ассоциированных с изображением, в том числе, но не ограничиваясь этим, идентификация модуля камеры, предпочтительная точка обработанного изображения координат проекции (например, Pan (панорамирование), Tilt (наклон) и Zoom (изменение масштаба)), данные авторского права, обычное обнаружение, слежение и распознавание, обнаружение лица, слежение и распознавание, скорость и ускорение устройства, отклонение от дорожного маршрута, идентификация опасности, трехмерное слежение за положением, трехмерная реконструкция и т. п.

Все эти параметры и любая другая информация, которые могут использоваться для определения конкретного опыта пользователя или поведения системы для конечного пользователя в устройстве отображения или в блоке алгоритма, являются частью параметров формирователя изображения, содержащихся в маркере 130.

Хотя для конечного пользователя или его устройства полное знание параметров формирователя изображения полезно, чтобы формировать наилучший опыт пользователя или поведение системы, большая часть этих данных традиционно теряется между широкоугольным формирователем 105 изображения и конечным пользователем, и эту проблему должны решить варианты осуществления настоящего изобретения.

В способе, который будет дополнительно объяснен со ссылкой на фиг. 3, широкоугольный формирователь 105 изображения выводит маркированное изображение 115, содержащее внутри кадра изображения объединение контента 120 изображения сцены, 110 из захваченного широкоугольного изображения, с маркером 130, в котором кодируются все параметры формирователя изображения, ассоциированные с изображением.

Маркер 130 является любым маркером, целенаправленно добавленным к части изображения, чтобы содержать параметры формирователя изображения и позволить передачу свойств. Некоторыми примерами маркеров являются, в частности, маркеры, считываемые человеком, маркеры, считываемые компьютером, такие как одномерные или двумерные штрих-коды, содержащие быстродействующие коды (QR-коды), водяные знаки и т. п. Маркированные изображения могут содержать одиночные или многочисленные маркеры. В случае многочисленных маркеров все они могут иметь различные дополнительные параметры или, альтернативно, некоторые параметры могут повторяться в многочисленных маркерах для достижения требуемой избыточности.

При совместном использовании между многочисленными устройствами, показанными на фиг. 1, маркированное изображение 115 с выхода широкоугольного формирователя изображения и содержащее контент 120 изображения сцены и маркер 130 затем совместно используются посредством совместно используемого носителя 140 (например, "облако"). Здесь, совместно используемый носитель 140 является концепцией, которая представляет любой вид процесса совместного использования изображения, включающий в себя, но не ограничиваясь этим, передачу цифровых изображений через Интернет, передачу по IP-протоколу TCP, через HDMI, USB, Firewire, память, двунаправленный канал, передачу, использующую физический носитель в виде дискеты, лазерного диска, магнитного диска, карты памяти, USB-привода или передачу изображения посредством физической распечатки изображения и затем сканирования его обратно в цифровой файл, и т. п.

Маркированное изображение 115 может приниматься от совместно используемого носителя 140, любого устройства 170, 175, или 180 отображения или блока 185 алгоритма, содержащего блок 165 обработки изображения. Способом, который будет дополнительно объяснен далее на фиг. 4, блок 165 обработки изображения использует параметры формирователя изображения, кодированные внутри маркера 130, чтобы скорректировать или улучшить изображение 190, отображает информацию, кодированную в маркере 130, объединенном на изображении 190 или отдельно на другом дисплее, создает выходной сигнал звукового или светового индикатора, создает тактильную обратную связь или создает определенный опыт пользователя или поведение системы, кодированные внутри маркера 130 для конечного пользователя.

Обработанное изображение 190 является версией первоначального контента 120 изображения сцены, обработанного блоком 165 обработки изображения, используя параметры формирователя изображения, кодированные внутри маркера 130. В предпочтительном варианте осуществления текущего новшества, обработанное изображение 190 использует информацию об искажении и информацию об ориентации, получаемую от широкоугольного формирователя 105 изображения, чтобы создать оптимально обработанное изображение подучастка полного широкоугольного изображения 120. В других вариантах осуществления осуществляется другая обработка искажения. Обработка искажения является действием коррекции, управления, модификации и/или удаления искажения в цифровом виде из изображения или из участка изображения. При точной ориентации широкоугольного формирователя 105 изображения, известной в реальном времени, блок 105 обработки изображения может, но не ограничивается этим, оптимальным образом обработать искажение в контенте 120 изображения сцены способом, который поддерживает обработанное изображение 190 центрированным в конкретном месте окружающей среды, независимо от перемещений устройства 100 захвата, или определяет соответствующие навигационные справочные данные, позволяя вычисление следующего обработанного изображения в соответствии с командами пользователя. Эти конкретные опыты пользователя или поведения системы возможны, только когда их требуемые параметры формирователя изображения доступны устройству 165 обработки изображения после их декодирования из маркера 130. Это устройство, таким образом, является устройством формирователя изображения, которое определяет, какой конкретный опыт пользователя или поведение системы могут использоваться в устройстве конечного пользователя.

В другом варианте осуществления настоящего изобретения вместо отображения обработанного изображения 190 на устройствах 170, 175 или 180 отображения, обработанное изображение 190 используется внутри дополнительного блока 185 алгоритма, который обрабатывает обработанное изображение, чтобы извлечь необходимую информацию, в том числе, но не ограничиваясь этим, обычное обнаружение, слежение и распознавание, обнаружение лица, отклонение от дорожного маршрута, идентификация опасности, трехмерное слежение за положением и т. п.

На фиг. 2 представлен вариант осуществления системы передачи информации внутри одиночного локального устройства 200. Локальное устройство 200 здесь является любым физическим устройством, содержащим широкоугольный формирователь 220 изображения и блок 250 отображения, чтобы корректировать, улучшать изображение 260 и отображать ассоциированную информацию на изображении 260 или через другую систему вывода устройства, подобную звуковому, световому индикатору или тактильной обратной связи. Изображение может также быть записано и позже устройство может воспроизвести конкретный опыт пользователя или поведение системы. Устройство может быть, но не ограничивается этим, мобильным телефоном, ноутбуком, планшетом, персональным компьютером, сервером, содержащим локального клиента, автомобилем, цифровой фотокамерой для покадровой съемки, видеокамерой, носимым устройством, часами и т. п.

В локальном устройстве 200 процесс передает выходной сигнал от широкоугольного формирователя 220 изображения по системной шине 210. Как и в случае многочисленных устройств, показанном на фиг. 1, выходной сигнал широкоугольного формирователя 220 изображения является широкоугольным изображением 235 и маркером 237, в котором ассоциированную информация кодируется и обменивается с памятью 230 по шине. Блок 240 обработки изображения присутствует на шине 210, чтобы принимать изображения 235 и маркеры 237 из памяти 230 и создавать скорректированное и улучшенное изображение 260, декодировать ассоциированную информацию или воспроизводить опыт пользователя или поведение системы на дисплее 250. Конечное обработанное изображение 260 и ассоциированная информация, опыт пользователя или поведение системы затем посылаются на локальный блок 250 отображения для отображения или на локальный блок 270 алгоритма для использования обработанного изображения.

Автоматический процесс идентификации, показанный на фиг. 1 для многочисленных устройств и на фиг. 2 для одиночного локального устройства, включает в себя формирователь изображения и блок обработки изображения.

На фиг. 3 представлены подробные операции внутри широкоугольного формирователя 105 и 220 изображения, показанного на фиг. 1 и 2, соответственно. Внутри широкоугольного формирователя 300 изображения имеется модуль 310 камеры, который захватывает широкоугольную информацию о среде в файл изображения. Модуль 310 камеры в предпочтительном варианте осуществления является широкоугольным объективом, объединенным с электронным датчиком изображения, таким как CCD или датчик изображения на CMOS. Выходной сигнал этого модуля камеры является контентом 312 изображения сцены, посылаемым на блок 340 кодирования, и параметрами модуля 314 камеры, посылаемыми на блок 330 параметров модуля камеры. В других вариантах осуществления настоящего изобретения модуль камеры может быть любого вида, в том числе, в частности, катадиоптрическим объективом, несколькими узкоугольными модулями камеры, широкоугольным формирователем изображения, формирующим контент изображения сцены из виртуальной среды и т. п.

В некоторых вариантах осуществления настоящего изобретения добавляются дополнительные внешние параметры 320, чтобы позволить любому пользователю, локальному или удаленному, добавить некоторую ассоциированную информацию, опыт пользователя или поведение системы, как упомянуто на фиг. 1, которые должны быть кодированы внутри изображения, в том числе, но не ограничиваясь этим, идентификация модуля камеры, предпочтительная координата точки зрения обработанного изображения (например, панорамирование, наклон и изменение масштаба), путь навигации, данные авторского права, скорость или ускорение устройства, биометрические параметры, такие как биение сердца пользователя, держащего формирователь изображения, интересующая или опасная зона в изображении, состояние других компонент устройства и т. п. Эта внешняя информация передается по линии 324 связи на блок 340 кодирования для включения внутрь маркера 364.

Блок 330 параметров модуля камеры принимает некоторую идентификационную информацию о контенте изображения сцены либо от модуля 310 камеры по дополнительной линии 314 связи 314, либо из внешних параметров 320 по дополнительной линии 322 связи. Идентифицировав модуль 310 камеры, создающий широкоугольное изображение, блок 330 параметров модуля камеры выводит параметры 332 модуля камеры на блок 340 кодирования. Эти параметры модуля камеры включают в себя внутреннюю информацию о формирователе изображения, в том числе, но не ограничиваясь этим, профиль искажения широкоугольного объектива в модуле камеры в табличной или полиномиальной форме, поле зрения изображения, положение центральной оптической оси внутри изображения, ориентация места изображения для асимметричных широкоугольных изображений, ориентация и координаты одного или множества участков полной сцены с узким полем зрения, относительная освещенность объектива, уникальный идентификационный код для широкоугольного объектива, чтобы получить либо его профиль искажения, либо поле зрения, либо локализованная относительная освещенность, получаемые из базы данных (то есть, таблица, список, электронная таблица, и т. п., хранящиеся локально или удаленно) и т. п.

В варианте осуществления настоящего изобретения широкоугольный формирователь 300 изображения также включает в себя дополнительный блок 350 датчиков, который может посылать параметры 352 блока датчика на блок 340 кодирования для включения в кодированный маркер 364. Эти внешние параметры включают в себя, но не ограничиваются этим, пространственную ориентацию широкоугольного формирователя изображения, информацию об окружении, геолокализацию, окружающий свет, и информацию о температуре, давлении и влажности и т. п.

Блок 340 кодирования затем кодирует внутри маркера 364 параметры 332 модуля камеры, дополнительные внешние параметры 324 и дополнительные параметры 352 блока датчиков. Маркер 364 затем объединяется с контентом 312 изображения сцены модуля камеры, чтобы создать окончательный выходной сигнал широкоугольного формирователя 300 изображения, который является маркированным изображением 360, включающим в себя контент 362 изображения сцены и маркер 364.

При предпочтительном варианте осуществления настоящего изобретения контент 312 изображения сцены модуля камеры является изображением от широкоугольного объектива внутри модуля камеры является и идентичным выходному контенту 362 изображения сцены. Этот случай будет позже объяснен со ссылкой на фиг. 5A, 5B, и 5F в случаях, когда делается обрезка изображения на уровне модуля камеры, чтобы повысить частоту кадров камеры.

В другом варианте осуществления настоящего изобретения выходной контент 362 изображения сцены является либо комбинацией контента 312 изображения сцены многочисленных модулей камеры, расположенных непосредственно вместе, как показано на фиг. 5E и 5G, либо является обработанным результатом контента 312 сцены модуля камеры для создания желаемой проекции, как на фиг. 5C, 5D, и 5F, в случаях, когда обрезка изображения делается на уровне блока кодирования, чтобы ограничить ширину полосы.

На фиг. 4 представлены подробные операции внутри блока 165 и 240 обработки изображения на фиг. 1 и 2, соответственно. Внутри блока 400 обработки изображения имеется детектор 420 маркера 420, который принимает по линии 416 связи маркированное изображение 410, содержащее контент 412 изображения сцены и маркер 414. Роль детектора 420 маркера 420 состоит в обнаружении маркера 414 внутри маркированного изображения 410 и извлечении только маркера, чтобы вывести его через линию 422 связи на декодер 430 маркера.

Декодер 430 маркера считывает маркеры, полученные по линии 422 связи и выводит по линии 432 связи все декодированные параметры формирователя изображения, ранее кодированные внутри формирователя 300 широкоугольного изображения, на блок 440 обработки искажения и повышения качества изображения.

Блок 440 обработки искажения и повышения качества изображения использует контент 412 изображения сцены, принятый на этапе 418 из маркированного изображения 410, и ассоциированную информацию 432 для вывода скорректированного, скорректированного изображения 442. Кодированная информация, опыт пользователя или поведение системы также могут отображаться или воспроизводиться на изображениях 442.

В предпочтительном варианте осуществления настоящего изобретения, используя параметры формирователя 432 изображения, блок 440 обработки искажения и повышения качества изображения может в цифровой форме корректировать, управлять, модифицировать и/или удалять искажение из контента изображения сцены или участка контента изображения сцены, чтобы обеспечить обработанное изображение 442 без геометрических искажений, неприятных для наблюдателя.

В других вариантах осуществления настоящего изобретения, используя информацию 432, блок 440 обработки искажения и повышения качества изображения может выполнять и другое улучшение, в том числе, но не ограничиваясь этим, компенсацию затенения объектива, боковую цветную компенсацию, коррекцию цвета, баланс белого, удаление шума, повышение резкости, динамическое расширение, виртуальную экспозицию, пиксельную интерполяцию, пиксельную подвыборку и т. п.

В других вариантах осуществления настоящего изобретения блок 440 обработки искажения и повышения качества изображения может также дополнительно принять внешние входные данные 450 по линии 452 связи. Некоторыми примерами внешнего ввода 450 данных являются, но не ограничиваются этим, выбранные пользователем ориентация и координаты просмотра, навигационный путь в изображении, уровень цифрового увеличения, предпочтительная интересующая точка, параметры повышения качества изображения, яркость изображения, контрастность, насыщенность, цветовая температура и т. п.

Обработанные изображения 442 затем используются либо устройством 460 отображения, либо блоком 470 алгоритма, как объяснялось ранее со ссылкой на фиг. 1 и 2.

Компоненты описанных здесь систем могут быть реализованы в любой комбинации аппаратного и программного обеспечения. Например, каждый компонент может быть реализован как специализированный процессор, контроллер, ASIC и т. п. Альтернативно, компоненты могут быть реализованы как программное обеспечение, встроенное микропрограммное обеспечение и т. п. в едином контроллере или процессоре. Также возможны комбинации.

Семь примеров выходных маркированных изображений, которые могут быть результирующим выходом различных вариантов осуществления широкоугольных формирователей изображения в зависимости от свойств модуля камеры и настроек широкоугольного формирователя изображения, показаны на фиг. 5A-G.

На фиг. 5A показано примерное маркированное изображение 510 в случае, когда модуль камеры внутри широкоугольного формирователя изображения является широкоугольным объективом, создающим асимметричный контент изображения сцены модулем камеры, который точно воспроизводится в контенте 512 изображения сцены. При этом типе модуля камеры внутри формирователя широкоугольного изображения в изображении существуют черные углы 516 и маркеры 514 обычно добавляются туда, чтобы гарантировать, что контент 512 изображения самой сцены не меняется.

На фиг. 5B показано примерное маркированное изображение 520 в случае, когда модуль камеры внутри широкоугольного формирователя изображения является широкоугольным объективом, создающим симметричный контент изображения сцены посредством модуля камеры, который точно воспроизводится в контенте 522 изображения сцены. Для этого типа модуля камеры внутри широкоугольного формирователя изображения в изображении существуют черные углы 526 и маркеры 524 обычно добавляются туда, чтобы гарантировать, что контент 522 изображения самой сцены не изменился.

На фиг. 5C показано примерное маркированное изображение 530, в котором контент 532 изображения сцены отображается посредством известной проекции. В точном случае этого примера показанная проекция является эквипрямоугольной проекцией, но могут использоваться и другие проекции, такие как цилиндрическая, прямолинейная, меркаторская, синусоидальная и т. п. Контент, предоставленный из контента изображения сцены посредством модуля камеры, преобразуется в эту проекцию блоком кодирования. Для этой эквипрямоугольной проекции, показанной на фиг. 5C, контент изображения сцены охватывает все изображение и для введения маркеров 534 должно быть добавлено дополнительное черное поле 536. Чтобы минимизировать дополнительные граничные размеры, маркер в этом случае может быть перерасположен на одной или нескольких пиксельных строках или столбцах.

На фиг. 5D показано примерное маркированное изображение 540, в котором контент 542 изображения сцены отображается посредством известной проекции. В точном случае этого примера показанная проекция является кубической проекцией, но могут использоваться и другие проекции. Контент, предоставленный из контента изображения сцены посредством модуля камеры, преобразуется в эту проекцию блоком кодирования. При этой кубической проекции контент изображения сцены охватывает все целое изображение и, чтобы ввести маркеры 544, должно быть добавлено дополнительное черное поле 546. Чтобы минимизировать размеры дополнительного поля, маркер в этом случае может быть перерасположен на одной или нескольких пиксельных строках или столбцах.

На фиг. 5E показано примерное маркированное изображение 550, причем контент 552 изображения сцены является комбинацией нескольких изображений, полученных для малого угла, которые позже могут сшиваться вместе, чтобы сформировать непрерывное широкоугольное изображение. Контент, предоставляемый из контента изображения сцены, полученного модулем камеры, может быть получен от нескольких модулей камеры или от одного модуля камеры, используя различные ориентации. Способ, которым задается каждое узкоугольное изображение, определяется блоком кодирования и параметры каждого узкоугольного изображения содержатся внутри маркера 554. Маркер 554 добавляется в существующую черную область или в дополнительное поле 556. Чтобы минимизировать дополнительные размеры поля, маркер в этом случае может быть перерасположен на одной или нескольких пиксельных строках или столбцах.

На фиг. 5F показано, примерное маркированное изображение 560, где контент 562 изображения сцены является либо участком полного контента изображения сцены, полученной модулем камеры после обрезания изображения блоком кодирования, либо подучастком полной панорамы после обрезания изображения модулем камеры. В зависимости от используемого подучастка, может существовать или не существовать черное поле 566 и оно может добавляться в случае необходимости, чтобы вводить маркер 564, не изменяя контент изображения сцены. В этом конкретном примере параметры формирователя широкоугольного изображения, кодированные внутри маркера 564, также могут содержать ориентацию, координату и уровень изменения масштаба этой подобласти по сравнению с полным контентом изображения сцены. Чтобы минимизировать дополнительные размеры поля, маркер в этом случае может быть перерасположен на одной или нескольких пиксельных строках или столбцах.

На фиг. 5G показан пример, в котором многочисленные контенты 572 и 578 изображения сцены складываются вместе на одном и том же маркированном изображении 570. Модули камеры, создающие каждый контент изображения сцены, получаемый модулем камеры, могут быть одинаковыми, как в случае двух полусферических контентов изображения сцены, захваченных вместе, чтобы сформировать полную сферу, или различными, как в показанном случае, где два изображения с большими подробностями, полученные от узкоугольной камеры, объединяются в изображение с меньшими подробностями широкоугольной камеры. Черная область 576 для добавления маркера 574 может затем быть выбрана блоком кодирования, создающим комбинацию.

На всех вышеупомянутых чертежах параметры формирователя изображения передаются от формирователя изображения к блоку обработки изображения через маркированное изображение и используются для определения конкретного опыта пользователя или поведения системы для конечного пользователя. Здесь объясняются некоторые примеры конкретного опыта пользователя или поведения системы в зависимости от параметров формирователя изображения. Они являются основным примером для лучшего понимания новшества и никоим образом не должны ограничивать объем и сущность настоящего изобретения.

Первым примером является формирователь изображения, содержащийся в портативном или носимом устройстве, таком как смартфон, планшет, смарт-часы, часть персонального устройства видеозаписи, имеющемся или связанном с пользователем, и т. п. В дополнение к записи видеоизображений сцены вокруг пользователя, формирователь изображения может записывать некоторые биометрические данные пользователя, такие как ритм сердца, темп ходьбы, количество шагов, а также параметры ориентации и геолокализации. Он может также автоматически включать в себя информацию об устройствах, подключенных от других пользователей поблизости или от связанных с ними средств транспортирования, используемых пользователем, таких как интеллектуальные кроссовки, велосипед или автомобиль. Конкретный опыт пользователя в этом случае может позволить конечному пользователю, который считывает маркированные изображения из видео, просматривать записанный контент изображения сцены и перемещаться по нему, используя соответствующую коррекцию искажения изображения, не зная точной модели формирователя изображения, который создал искаженное изображение. Это особенно полезно, когда первоначальный пользователь загрузил видео в Интернет и конечный пользователь не может иметь никакой информации о точной модели используемого формирователя изображения. Дополнительно, ориентация в реальном времени устройства формирователя изображения, кодированная в маркере, может использоваться для стабилизации изображения на дисплее, чтобы остановить проекцию в конкретный интересующий момент, даже если устройство в процессе действия перемещалось. Другим конкретным опытом пользователя в этом примере может быть пользователь устройства для оказания помощи при просмотре действий во время физической тренировки, такой как бег или езда на велосипеде. Конечный пользователь может использовать информацию из маркированного изображения, чтобы сравнить ритм сердца во время выполняемых действий с видеоизображением, показывающим контекст (уклон дороги, тип местности, погодные условия). Пользователь может также использовать параметры геолокализации, чтобы при желании начертить карту его действий с помощью отображения контента изображения сцены. Информация от присоединенного устройства средства транспорта (смарт-кроссовки или велосипед) или от товарищей по команде может использоваться для автоматической регистрации типа физической активности или пометки товарищей по команде, чтобы не требовалось каждый раз вводить их вручную. Другой опыт пользователя может иметь место, когда этот носимый формирователь изображения прикреплен к одежде правоохранительного служащего. После каких-то его действий контент изображения сцены, геолокализация и биометрические данные служащего могут помочь лучше реконструировать критическое событие после того, как это событие произошло.

Вторым примером является формирователь изображения, содержащийся в домашнем формирователе изображения для наблюдения за безопасностью. Это устройство может быть камерой видеонаблюдения, веб-камерой, электронным смарт-устройством и т. п. Это устройство, в дополнение к записи контента изображения сцены, может кодировать внутри маркера некоторые параметры, такие как дата и время, ориентация, интересующая зона, в которой алгоритмическим блоком было автоматически обнаружено движение, состояние дверной блокировки, использующей смарт-систему запирания, или состояние системы сигнализации, имя и местоположение в изображении идентифицированных пользователей, зоны конфиденциальности и т. п. Конкретный опыт пользователя может состоять в разрешении удаленному пользователю смотреть видеофильм о безопасности в реальном времени и иметь возможность перемещаться внутри обработанного изображения с удаленным искажением без необходимости вводить вручную параметры формирователя изображения, такие как профиль искажения объектива или ориентация устройства. Так как перемещение конечного пользователя на интерфейсе пользователя предпочтительно отличается, в зависимости от того, ориентирован ли формирователь изображения на потолке, стене или на земле, эта автоматическая передача параметра ориентации позволяет конечному пользователю иметь оптимальное перемещение без необходимости вводить параметры вручную. Другой опыт пользователя или поведение системы могут быть предназначены для страховой компании, желающей взглянуть на некоторые параметры после кражи, но не имеющей полного доступа к контенту изображения сцены по причинам конфиденциальности. Они могут в этом случае вывести на экран состояние дверной блокировки или системы сигнализации с датой и время, чтобы определить условия во время кражи. Другой тип опыта пользователя или поведения системы, которые могут быть определены параметрами формирователя изображения, может быть зоной конфиденциальности. Весь видеоканал может быть зашифрован и затем только заданное устройство отображения с правильным паролем может отображать видеоканал. На этом устройстве отображения другой пользователь с другим именем пользователя и паролем может просматривать другие зоны контента изображения сцены, с контентом сцены области конфиденциальности, удаляемым только для пользователя без требуемых полномочий.

Третий пример формирователя изображения содержит многочисленные модули камеры, причем каждый модуль имеет свой собственный объектив. Это может быть устройство с двумя широкоугольными объективами с более чем 180-градусным полем зрения, расположенными бок о бок друг с другом, чтобы формировать изображение полной сферической сцену вокруг формирователя изображения, или это может быть формирователь изображения с большим количеством узкоугольных объективов, направленных во все различные направления, охватывающие всю или часть полной сферической сцены вокруг формирователя изображения. В одном случае этого примера формирователь изображения может создавать маркированное изображение, в котором контент изображения сцены от всех модулей камеры был объединен вместе, чтобы сформировать единое изображение с полным сферическим контентом сцены, и маркер может содержать параметры формирователя изображения, связанные с конкретной проекцией, используемой при объединении изображений или любых других параметров формирователя изображения, которые могут использоваться конечным пользователем. В другом случае этого примера выход формирователя изображения может быть многочисленными маркированными изображениями, полученными от многочисленных камер. Маркеры в этом случае могут использоваться для перекрестной ссылки между всеми маркированными изображениями. Временная ссылка может делаться посредством порядкового номера в последовательности изображений или посредством даты и времени. Пространственная ссылка может делаться, определяя положение и ориентацию каждого модуля камеры по отношению к другим модулям камеры или по отношению к фиксированному положению и опорной координате ориентации в формирователе изображения. В этом примере конкретный опыт пользователя может состоять в том, чтобы по желанию конечного пользователя отображать либо исходные изображения, указываемые в интересующей ориентации в сферической сцене, либо альтернативно отображать полную сферическую проекцию сцены, в которой пользователь может свободно перемещаться внутри сцены, используя параметры формирователя изображения из маркированных изображений. Альтернативно, полный сферический контент сцены может использоваться, чтобы отображать стабилизированную проекцию на конкретной интересующей точке, останавливать ориентацию проекции, даже если формирователь изображения перемещался во время захвата, используя параметры ориентации формирователя изображения, кодированные внутри маркеров. В другом опыте пользователя, как полная сферическая сцена, так и узкоугольные изображения могут отображаться одновременно, причем полная сферическая сцена используется для перемещения внутри первоначальных узкоугольных изображений, используя всю информацию перекрестных ссылок, кодированную внутри маркеров. И последним опытом пользователя или поведением системы может быть случай, в котором конечный пользователь принимает только некоторые или все исходные узкоугольные маркированные изображения и хочет объединить их, используя информацию о положении и ориентации, кодированную внутри маркеров.

Последним примером является формирователь изображения, используемый в транспортном средстве, например, для вождения автомобиля по дороге или беспилотного самолета в небе, или используемый в автоматизированной машине. Этот формирователь изображения может быть классическим автомобилем с водителем-человеком, беспилотным самолетом, которым управляет удаленный человек, автомобилем без водителя или самонаводящимся беспилотным самолетом. В последних двух случаях интеллектуальной автономной системы конечным пользователем является блок искусственного интеллекта, компьютер или само устройство. Для этих транспортных средств формирователь изображения может записывать контент изображения сцены в проекции перед автомобилем или беспилотным самолетом, а также множество параметров формирователя изображения. Эти параметры могут включать в себя погодные параметры (наружная температура, ветер, осадки и влажность), дату и время, геолокализацию, высоту, положение на контенте изображения сцены обнаруженных опасностей или обнаруженные дорожные маршруты, параметры скорости и ускорения автомобильного средства, идентификацию водителя и пассажиров, состояние тормозов или стеклоочистителей ветрового стекла, обнаруженные дорожные знаки и т. п. Конкретный опыт пользователя в этом случае может состоять в просмотре записанного контента изображения сцены и других параметров после инцидента, чтобы помочь лучше понять то, что произошло. В этом случае параметры формирователя изображения могут включать в себя профиль искажения формирователя изображения, чтобы позволить оптимальную обработку изображения для удаления искажения. На дисплее затем может быть показан контент изображения сцены, показывающий, что произошло до, во время и после инцидента. Другой опыт пользователя или поведение системы могут состоять в том, чтобы отображать некоторые параметры устройства, не глядя на изображение, такие как дата и время, скорость и ускорение, состояние стеклоочистителей и тормозов или наружная погода. Это может быть полезно для страховой компании, желающей определить точные условия, которые привели к инциденту, когда контент изображения сцены не может быть раскрыт по причинам конфиденциальности. Другой опыт пользователя может состоять в отображении водителю в реальном времени некоторой информации, обнаруженной алгоритмическим блоком. Этой информацией может быть обнаруженное отклонение маршрута от дорожного полотна, дорожные знаки или опасности. В этом случае, вывод информации может быть в форме текстового параметра, символа, звука, светового индикатора, тактильной обратной связи или аварийного сигнала. Конкретным поведением системы в случаях интеллектуальных автономных систем может быть предоставление компьютеру или блоку искусственного интеллекта важных параметры формирователя изображения для самонаведения через посредство маркированных изображений. В этом случае конкретное поведение системы является параметрами, которые блок искусственного интеллекта или компьютерная система способны предоставить для своих подсистем посредством маркеров, и то, как управление может адаптироваться, основываясь на этих параметрах.

Все приведенное выше является чертежами и примерами конкретного опыта пользователя или поведения системы, которые могут быть определены параметрами формирователя изображения, которые кодируются внутри маркированного изображения из формирователя изображения. Во всех этих примерах формирователь изображения может иметь любое поле зрения, от очень узкоугольного до предельно широкоугольного. Эти примеры не предназначены быть исчерпывающим списком или ограничивать объем и сущность настоящего изобретения. Специалисты в данной области техники должны понимать, что в описанных выше вариантах осуществления могут быть сделаны изменения, не отступая от их широкой изобретательской концепции. Поэтому следует понимать, что настоящее изобретение не ограничивается конкретными раскрытыми вариантами осуществления, а предназначено охватывать изменения в пределах сущности и объема настоящего изобретения, как оно определено добавленной формулой изобретения.

Изобретение относится к записи, совместному использованию и передаче информации, ассоциированной с формирователем изображения, чтобы определить поведение системы. Предложены системы, которые обеспечивают автоматическую запись, совместное использование и передачу различных параметров, ассоциированных с изображениями и их формирователем изображения, чтобы определить конкретное поведение системы для устройства отображения. Примерами информации являются параметры формирователя изображения, параметры среды, параметры обработки изображения и улучшения качества, координаты секции контента широкоугольного изображения сцены, параметры отображения, определенный опыт пользователя, определенное поведение системы или любая информация, которая должна быть записана, совместно использована и передана. Во избежание потери информации информация кодируется непосредственно в изображении, используя маркер. Таким образом, информация устойчиво передается от формирователя изображения к блоку отображения. В соответствии с информацией конечное изображение может автоматически корректироваться и улучшаться по качеству перед отображением, различные связанные параметры могут отображаться на конечном изображении или использоваться с другим выходом. Опыт конечного пользователя или поведение системы могут, таким образом, быть определены и воспроизведены. 3 н. и 23 з.п. ф-лы, 11 ил.

1. Система, содержащая:

(a) формирователь изображения, выполненный с возможностью захвата или формирования контента изображения сцены; и

(b) блок кодирования, выполненный с возможностью приема контента изображения сцены из формирователя изображения и объединения контента изображения сцены по меньшей мере с одним маркером, чтобы создать маркированное изображение, по меньшей мере один параметр формирователя изображения, закодированный в маркер, причем по меньшей мере один параметр формирователя изображения включает в себя по меньшей мере одну из информации, ассоциированной с (i) объективом формирователя изображения, (ii) одним или более компонентами формирователя изображения, причем информация, ассоциированная с одним или более компонентами формирователя изображения, обеспечивается по меньшей мере одним внутренним или внешним блоком датчиков, или (iii) средой вокруг формирователя изображения, причем информация, ассоциированная со средой вокруг формирователя изображения, обеспечивается посредством внешнего блока датчиков или обеспечивается в качестве внешней информации посредством пользователя.

2. Система по п. 1, в которой формирователь изображения включает в себя по меньшей мере один модуль камеры, выполненный с возможностью захвата изображения.

3. Система по п. 2, в которой по меньшей мере один параметр формирователя изображения включает в себя по меньшей мере один параметр модуля камеры или внешний параметр, причем система дополнительно содержит блок параметров модуля камеры, который передает по меньшей мере один параметр модуля камеры или внешний параметр блоку кодирования и внешнему блоку, который может предоставлять дополнительный внешний параметр непосредственно блоку кодирования.

4. Система по п. 3, в которой внешний блок содержит блок датчика и внешний параметр является параметром датчика.

5. Система по п. 1, в которой формирователь изображения является широкоугольным формирователем изображения.

6. Система по п. 1, в которой параметрами формирователя изображения являются по меньшей мере ориентация формирователя изображения, положение контента изображения сцены, ориентация и размер, модель формирователя изображения, скорость или ускорение формирователя изображения, точка входа или интересующая зона.

7. Система по п. 1, в которой маркер является одним из кода, считываемого человеком, машиночитаемого кода или водяного знака.

8. Система по п. 7, в которой маркером является код QR.

9. Система по п. 1, в которой по меньшей мере один параметр формирователя изображения используется в обработке искажения захваченного изображения, причем по меньшей мере один параметр формирователя изображения включает в себя по меньшей мере одно из профиля искажения объектива, поля зрения искаженного изображения, положения в искаженном изображении центральной оптической оси, ориентации места изображения, ориентации и координат одного или более узких полей зрения, относительной освещенности объектива, уровня цифрового изменения масштаба, предпочтительного интересующего места или параметров улучшения качества изображения.

10. Система по п. 1, в которой по меньшей мере один параметр формирователя изображения используется в обработке искажения захваченного изображения, причем по меньшей мере один параметр формирователя изображения включает в себя уникальный идентификационный код, связанный с базой данных, содержащей по меньшей мере профиль искажения, или поле зрения, или локализованную относительную освещенность объектива формирователя изображения.

11. Система по п. 1, в которой параметры формирователя изображения включают в себя путь навигации в контенте изображения сцены.

12. Система по п. 1, в которой маркер располагается в углу маркированного изображения или в добавленном поле маркированного изображения.

13. Система по п. 2, в которой модуль камеры включает в себя, по меньшей мере, объектив и датчик изображения, выполненный с возможностью захвата изображения, принятого объективом.

14. Система по п. 2, в которой модуль камеры является цифровым процессором, выполненным с возможностью захвата изображения из виртуальной среды.

15. Система по п. 2, в которой по меньшей мере часть параметров модуля камеры формируется автоматически посредством анализа контента изображения сцены, захваченного модулем камеры.

16. Система по п. 1, в которой маркированное изображение делится на множество частей изображения, причем каждая из множества частей изображения включает в себя соответствующий маркер и причем данные для обработки маркированного изображения включают в себя перекрестную ссылку на множество частей изображения.

17. Система для использования с маркированным изображением, причем маркированное изображение включает в себя контент изображения сцены, захваченный посредством формирователя изображения, и по меньшей мере один маркер, причем упомянутая система содержит:

(a) блок обработки изображения, выполненный с возможностью обработки изображения сцены;

(b) детектор маркера, выполненный с возможностью идентификации и извлечения маркера из маркированного изображения; и

(c) декодер маркера, выполненный с возможностью декодирования маркера для получения и вывода параметров формирователя изображения, которые являются кодированными в маркере, параметров формирователя изображения, включающих в себя, по меньшей мере, данные, используемые блоком обработки изображения для обработки изображения сцены, причем параметры формирователя изображения включают в себя по меньшей мере одну из информации, ассоциированной с (i) объективом формирователя изображения, (ii) одним или более компонентами формирователя изображения, причем информация, ассоциированная с одним или более компонентами формирователя изображения, обеспечивается по меньшей мере одним внутренним или внешним блоком датчиков, или (iii) средой вокруг формирователя изображения, причем информация, ассоциированная со средой вокруг формирователя изображения, обеспечивается посредством внешнего блока датчиков или обеспечивается в качестве внешней информации посредством пользователя.

18. Система по п. 17, в которой блок обработки изображения дополнительно принимает данные от источника, внешнего относительно системы, причем блок обработки изображения выполнен с возможностью дополнительной обработки контента изображения сцены, частично основываясь на внешних данных.

19. Система по п. 17, в которой параметры формирователя изображения включают в себя, по меньшей мере, выбираемые пользователем ориентацию и координаты просмотра, уровень цифрового изменения масштаба, предпочтительную интересующую точку, параметры повышения качества изображения, яркость изображения, контрастность изображения, насыщенность или цветовую температуру.

20. Система по п. 17, в которой маркер является одним из считываемого человеком кода, машиночитаемого кода или водяного знака.

21. Система по п. 20, в которой маркером является код QR.

22. Система по п. 17, в которой по меньшей мере один параметр формирователя изображения используется в обработке искажения захваченного изображения, причем параметры формирователя изображения включают в себя уникальный идентификационный код, связанный с базой данных, содержащей по меньшей мере профиль искажения, поле зрения или локализованную относительную освещенность объектива.

23. Система по п. 17, в которой по меньшей мере один параметр формирователя изображения используется в обработке искажения захваченного изображения, причем параметры формирователя изображения включают в себя по меньшей мере одно из профиля искажения объектива, поля зрения искаженного изображения, положения центральной оптической оси в искаженном изображении, ориентации места изображения, ориентации и координаты одного или более узкоугольных полей зрения, относительной освещенности объектива, уровня цифрового изменения масштаба, предпочтительной интересующей точки или параметров повышения качества изображения.

24. Система по п. 17, в которой блок обработки изображения выполнен с возможностью дополнительно обработки контента изображения сцены, частично основываясь по меньшей мере на одном из компенсации затенения объектива линзы, боковой цветовой компенсации, коррекции цвета, балансе белого, удалении шума, увеличении резкости, динамическом расширении, виртуальной экспозиции, пиксельной интерполяции, пиксельной подвыборке или зоне обрезки пользователем.

25. Система по п. 17, в которой маркер располагается в углу маркированного изображения или обеспечивается в добавленном поле маркированного изображения.

26. Система для использования с маркированным изображением, причем маркированное изображение включает в себя контент изображения сцены, захваченный формирователем изображения, и маркер, и упомянутая система содержит:

(a) блок обработки изображения, выполненный с возможностью обработки маркированного изображения и вывода параметров формирователя изображения или индикаторов, основываясь на параметрах изображения;

(b) детектор маркера, выполненный с возможностью идентификации и извлечения маркера из маркированного изображения; и

(c) декодер маркера, выполненный с возможностью декодирования маркера для получения и вывода параметров формирователя изображения, которые закодированы в маркере, причем параметры формирователя изображения включают в себя, по меньшей мере, данные, используемые блоком обработки изображения для обработки маркированного изображения, причем параметры формирователя изображения включают в себя по меньшей мере одну из информации, ассоциированной с (i) объективом формирователя изображения, (ii) одним или более компонентами формирователя изображения, причем информация, ассоциированная с одним или более компонентами формирователя изображения, обеспечивается по меньшей мере одним внутренним или внешним блоком датчиков, или (iii) средой вокруг формирователя изображения, причем информация, ассоциированная со средой вокруг формирователя изображения, обеспечивается посредством внешнего блока датчиков или обеспечивается в качестве внешней информации посредством пользователя.