ОБРАБОТКА ИЗОБРАЖЕНИЙ Российский патент 2008 года по МПК G06T5/30 G06T17/40 G06K9/36 

Данное изобретение относится к способу обработки изображений и, в частности, к способу, который может быть использован для усиления нашего восприятия трехмерной глубины и формы, изображенных на основе двухмерных изображений, и производных сред виртуальной реальности (ВР) (VR). Изображения, обработанные таким образом, могут иметь улучшенную достоверность, тем самым изобретение позволяет увеличить порог достоверности.

Когда трехмерные сцены изображаются или отображаются с помощью обыкновенных двумерных способов, например печатью на бумаге или тому подобном, или отображением на телевизоре, мониторе компьютера или тому подобном, или проецированием, хотя разум понимает изображения, отображенные в виде до некоторой степени трехмерных по своей природе, существуют случаи, когда восприятие глубины и формы в отображаемом изображении не очень хорошее. Предполагается, что это происходит из-за отсутствия достаточной монокулярной глубины опорной информации в изображении, чтобы позволить разуму полностью интерпретировать отображаемое изображение.

В нижеследующем описании делается разграничение между «картинами» и «изображениями». Последующие описания картин и изображений сделаны профессором Jan Koenderink (ученым по зрительному восприятию), и термины, которые использованы здесь, должны интерпретироваться соответственно.

Картина: «реальное изображение, упорядоченная запись, например в виде видеосигнала, фотографии, активного образца в нервной структуре. Размещение картины является весьма обычным и существует только по отношению к внешнему агенту».

Изображения: «всегда содержат больше, чем картины, поскольку вся структура принимающего (жизненный опыт) суммируется в них».

Изобретение относится по меньшей мере в некоторой степени к обособлению способов, которые преобразуют картины в изображения.

Способ изобретения разработан из теоретической работы, устанавливающей новую форму иллюзорного пространства, которое именуется «пространство изображения» (тем самым отделяет само себя от обыкновенного пространства картины). Пространство изображения подтверждает индивидуальную природу и специализацию периферийного зрения и центрального зрения, а также то, что функция разума «создает» важные грани визуального восприятия, создавая «относительные суждения» между этими двумя. Ключ к новизне этого подхода состоит в осознании того, что эта новая опорная информация считается еще недооцененной монокулярной опорной информацией и композицией монокулярной проекции. Эта монокулярная опорная информация отличает этот способ достижения ясной трехмерной глубины от других способов тем, что полагается на опорную стереоинформацию, получаемую из бинокулярного несоответствия и так далее. Правильным представлением и расположением двух проекций, используемых в монокулярном восприятии мозгом для создания осознанных изображений (проекция, известная как видение), возможно воздействовать на мозг для повторения глубины и формы восприятия, которые могут иначе создаваться лишь путем непосредственного наблюдения за «реальной обстановкой», из которой извлекается изобразительная информация.

«Пространство изображения» может быть достигнуто/вызвано несколькими изобразительными путями:

1. Насыщая обыкновенное пространство картины (перспективное проецирование или запись фотографии/фильма) требуемой опорной информацией.

2. С помощью принципов моделирования нового иллюзорного пространства для создания новых сред виртуальной реальности (ВР) (VR).

Объектом изобретения является обеспечение системы, которая может быть использована вместе с существующими методами, посредством чего изображение может быть создано или изменено для усиления восприятия глубины в исходной картине. В каждом случае пространство изображения зависит от включения раздражителей, от которых мозг способен сделать вывод о дополнительном восприятии глубины и формы, ассоциированных с нашим ощущением визуального восприятия.

Согласно одному объекту изобретения обеспечивается способ обработки изображения, содержащий следующие этапы:

(а) растяжение исходного изображения в направлении по оси Y с коэффициентом, попадающим в интервал 2-10%;

выбор точки фиксации и разупорядочение изображения при центрировании операции разупорядочения вокруг точки фиксации; и

вращение изображения на угол, попадающий в интервал 3-9°;

(b) растяжение копии исходного изображения в направлении по оси Х с коэффициентом, попадающим в интервал 2-10%; и

выбор области изображения вокруг выбранной точки фиксации; и

(c) соединение выбранной области изображения, образованного на этапе (b), с изображением, образованным на этапе (a).

На этапе (a) вращение изображения происходит предпочтительно в направлении по часовой стрелке. Незначительное количество людей может предпочесть, чтобы изображение вращалось в противоположном направлении, и если способ используется для получения изображения, которое рассматривается таким незначительным количеством людей, вращение может быть выполнено в направлении против часовой стрелки.

Этап разупорядочения предпочтительно включает в себя разупорядочение в соответствии с выбранной самоподобной фрактальной картины разупорядочения.

Изображение, сформированное в результате преобразования, изложенного на этапе (a), в дальнейшем будет именоваться как изображение типа 1, а то, что создается при преобразовании, изложенном на этапе (b), будет именоваться как изображение типа 2.

Этот способ может быть, таким образом, использован для:

i) мнимого вида двух базовых проекций, используемых мозгом на нашей монокулярной проекции реального мира, путем преобразования известных картинных сред;

ii) реплицирования типичной композиции/структуры из этих базовых проекций, используемых мозгом для формирования воспринимаемых зрительных изображений.

Ключом для формирования действительной композиции является выбор точки фиксации, установление области фиксации (согласуемой с известными ограничениями центрального зрения) и правильное наложение условий, преобладающих в «величине фиксации», периферическом зрении и вокруг поверхности раздела между изображением типа 1 и изображением типа 2. При наблюдении в реальном масштабе времени точка фиксации должна быть установлена на носителе. Точка фиксации является точкой, вокруг которой должны центрироваться различные методы преобразования. Считается, что эта увеличенная трехмерная глубина и форма опорной информации устанавливаются:

1) мозгом, когда он делает релятивистские суждения между поверхностью раздела между двумя наборами информации вокруг центрального видения;

2) подлинным представлением исполнения специалиста самоподобной разупорядоченной информации в периферическом зрении, обеспечивающим новую форму пространственного размера.

Без центральной точки выравнивания (точки фиксации) из обоих наборов данных было бы невозможно для мозга делать требуемые вычисления. Область фиксации устанавливает область вокруг точки фиксации, непосредственно аналогичной размеру центрального зрения. Как таковая область фиксации устанавливает размер изображения, которое будет подвергнуто конкретным условиям объема фиксации. Объемом фиксации является сферическая область влияния, содержащаяся в области фиксации. Любая форма (объект), поверхность или часть формы, которая проецируется в эту область влияния, проецируется в мозгу согласно качественным и количественным характеристикам описанного выше изображения типа 2.

Из этого следует, что любая другая визуальная ссылка на объекты вне этого объема фиксации, содержащиеся в области фиксации, ссылается согласно описанному выше изображению типа 1.

На области центрального зрения вне объема фиксации ссылаются согласно характеристикам «периферического зрения».

Существует некоторое количество типичных композиций, используемых мозгом, которые используют аспекты и наложения изображений двух типов способом, способным создавать релятивистские суждения, из которых выводится новая опорная информация.

Считается, что изображения, обработанные этим способом, более полно соответствуют нашей проекции монокулярных наблюдений (видимых изображений) в реальном времени, позволяя мозгу правильно интерпретировать более полный диапазон трехмерной информации из двухмерного изображения или установки виртуальной реальности. Будет казаться, что проекция монокулярного зрения составлена от двух наборов данных, которые позволяют мозгу иметь определенные степени свободы при составлении визуального поля. Заметим, что эти потенциальные композиции приспособлены, чтобы удовлетворить конкретной задаче, предпринимаемой зрителем. Например, чтение двумерной литературы требует мало трехмерной информации. Этот порядок информации мог бы даже обеспечивать отвлечение от ближайшей задачи. В этой ситуации используется только один набор данных, уменьшая обрабатываемую визуальную информацию. Композиция специалиста используется, когда требуется подробный пространственный анализ. Если половина центрального зрения подавлена, это позволяет расширять аспекты информации типа 1 в центральное зрение вплоть до точки фиксации. Этот процесс обеспечивает важную функцию мозга, ответственную за создание релятивистских суждений, и, следовательно, расширяет опорную информацию формы, чтобы работать по действительному объекту, удерживаемому в фиксации. Аспекты этой композиции часто обнаруживаются в работе художников, окрашивающих материал натюрморта.

Природа и структура информации, находящейся в периферическом зрении, является все еще в значительной степени неразгаданной по зрительному восприятию. Данное изобретение использует качества самоподобного (фрактального) беспорядка (не пятен), чтобы реплицировать последовательность информации, проецируемой вне центрального зрения (периферического зрения). Это изобретение определяет новый шаг в объяснении периферического зрения независимым трехмерным измерением, центрированным на фиксации, то есть уровень разупорядочения формируется от фиксации в каждом направлении. Следовательно, двухмерные картины преобразуются, для реплицирования этой последовательности информации, путем построения слоев разупорядочения назад, вперед и наружу на вертикальной плоскости от целевой фиксации. Это устанавливает новую форму пространственного измерения в изображении. Представляется, что для неподвижных изображений этот метод усиливает восприятие глубины в изображении. Однако считается, что действительное преимущество лежит в его способности придавать точные изображения воспринятого перемещения в движущихся изображениях. При этом перемещение вокруг целевой фиксации теперь будет ближе к нашему восприятию перемещения, наблюдаемого из «реальных установок». Эта трехмерная информация может быть зафиксирована для использования в процессе преобразования как «карта глубины» с помощью оборудования специалиста, например, используя технологии лазерного формирования или светодиодного высвечивания изображения, объединенные в киносъемочных аппаратах.

Движущиеся изображения также потребуют изменений в целевых точках фиксации, когда изображенное на них действие развивается. Способы для введения изменения в фиксации будут включены в действие, изображенное в перемещающейся среде, для управления зрителем через процедуру перемещения глаз.

Метод обработки может требовать дополнительных шагов точной подстройки вокруг границы между изображениями, сформированными на этапах (a) и (b).

Этап (a) способа обработки может далее включать в себя этапы изменения контраста информации типа 1 коэффициентом, попадающим в интервал 10-40%, и/или уменьшением яркости изображения коэффициентом, попадающим в интервал 2-40%. Если контраст увеличивается этим способом, тогда цветовая насыщенность должна быть предпочтительно понижена до уровня аккомодации (обычно, чтобы согласовать увеличение уровня в контрасте).

Способ, определенный выше, может осуществляться с помощью компьютера на данных изображения, например, от сканера или цифровой камеры или на данных цифровой картины, полученных или созданных из других источников, включая компьютерные программы. Однако будет оценено, что способ может быть выполнен другими путями, а изобретение не ограничивается конкретными размещениями или применениями, описанными здесь.

Изобретение будет далее описано посредством примера со ссылкой на сопроводительные чертежи, на которых:

Фиг.1 является иллюстрацией перед использованием способа обработки изображений;

Фиг.2 и 3 показывают этапы способов обработки изображений;

Фиг.4 и 5 показывают обработанную форму, показанную на Фиг.1;

Фиг.6-10 являются далее видами, показывающими результат обработки;

Фиг.11 является диаграммой, показывающей часть обработки; и

Фиг.12 является диаграммой, показывающей модификацию заявленного способа.

Изобретение будет первоначально описано со ссылкой на Фиг.1. Как может быть ясно видно, Фиг.1 является компьютерно сформированным представлением или представлением виртуальной реальности для вазы 10, конуса 12, сфер 14 и кубов 16. Поскольку каждый из показанных объектов является трехмерным объектом, то иллюстрация использует изометрические проекции, для обеспечения опорной информации глубины для интерпретации мозгом при попытке создать объект, являющийся точным представлением их формы в трехмерном пространстве. Каждый объект изолирован от всех других предметов, и нет никакой центральной перспективной опорной информации, чтобы указать взаимные положения объектов. В результате мозгу трудно интерпретировать изображение, чтобы определить, например, относительные размеры объектов и их положения в трехмерном пространстве. На изображении оба куба нарисованы одного и того же размера и воспринимаются как имеющие один и тот же размер, несмотря на то что один находится дальше, чем другой.

В соответствии с изобретением основное изображение на Фиг.1 обрабатывается для формирования изображения улучшенной формы. Это достигается взятием изображения согласно Фиг.1 и его преобразованием, после чего изображение растягивается в направлении по оси Y (вертикальном) коэффициентом в интервале 2-10%, и предпочтительно около 5%, разупорядочивается и поворачивается по часовой стрелке на угол, в интервале 3-9°, предпочтительно 6° по часовой стрелке. Фиг.2 показывает результат растяжения и поворота изображения, но (для ясности) не воздействия разупорядочивания на изображение. Порядок, в котором следуют эти операции, может изменяться, но если порядок не такой, как описанный, используемые значения/коэффициенты, может быть, следует изменить.

Другая копия изображения растягивается в направлении по оси Х (горизонтальном) коэффициентом в интервале 2-10%. Предпочтительно оно растягивается для обеспечения разницы с изображением на предыдущем преобразовании, составляющем около 5-20%. Выбирается точка фиксации на изображении и выбирается область вокруг точки фиксации, а остальное изображение удаляется. Результат этой операции показан на Фиг.3, где центр вазы выбран как точка фиксации.

Два изображения, полученные этим способом, накладываются друг на друга. Изображения могут быть наложены с помощью нескольких различных способов. Фиг.4 показывает эффект от взятия изображения согласно Фиг.2 и простой замены области вокруг точки фиксации изображением согласно Фиг.3. Фиг.5 показывает результат альтернативного метода наложения, в котором два изображения перекрываются, а части обоих изображений видимы, ваза получает форму соединенной формы. Областью фиксации является ваза; она включает в себя объединенную форму, соединенную от обоих изображений типа 1 и 2 так, что сначала кажется странно выглядящим соединением. Однако когда центр вазы фиксируется, две картинки соединяются мозгом в единый объект восприятия. Этим восприятием является более трехмерная ваза. Эта способность для увеличенного трехмерного восприятия теперь расширяется на все другие объекты в изображении. Например, дальний из двух кубов теперь воспринимается более крупным, чем ближний куб.

На следующих Фиг., 6a, 6b и 6c, показана в схематическом виде бутылка 20, расположенная между шестью вертикально вытянутыми полосками 22. Иллюстрация по Фиг.6a изменяется или обрабатывается в соответствии с вариантом осуществления изобретения для формирования изображения по Фиг.6b. Для ясности операция разупорядочения снова опущена. Когда изображение по Фиг.6b рассматривается путем фиксации на центре бутылки 20, улучшенная степень глубины может быть видна в изображении по сравнению с картиной на Фиг.6a, причем изображение по Фиг.6b содержит больший уровень опорной информации глубины для мозга, чтобы интерпретировать эту иллюстрацию, показанную на Фиг.6a. Фиг.6c является другим изображением, сформированным с помощью описанного здесь процесса, но с использованием отличной, меньшей части первоначальной иллюстрации в качестве области фиксации.

Фиг.7a, 7b и 7c подобны Фиг.6a, 6b и 6c, но показывают бутылку 24, помещенную на стол 26.

Это восприятие трехмерной формы и глубины в некоторых случаях аналогично восприятию, полученному с помощью перспективного пространства. Однако думается, что теперь перспективная опорная информация не является основным способом, которым пространственная глубина получается в центральном зрении или через полный размер поля зрения. Скорее мы видим пространственную глубину и форму с помощью обработки, которая вовлекает в себя нашу визуальную систему, делающую релятивистские суждения между двумя различными массивами данных или типами изображения. Расположение, идентифицированное выше, стимулирует мозг для участия в этом процессе, когда наблюдается двухмерное пространство, обеспечивающем нас опорной информацией, более близкой нашей оценке реальных установленных параметров.

Новое пространство изображения позволяет нам создавать глубину способом, подобным способу, которым оно воспринимается в нашей действительной визуальной оценке нашего окружения. Рассмотрение в новом пространстве изображения будет ближе к фактическому действию наблюдения в режиме реального времени.

Со ссылкой на Фиг.8-10 оригинальная оцифрованная фотография действительной обстановки показана на Фиг.8. Ключом для формирования правильной композиции является выбор точки фиксации и области фиксации и правильное наложение условий, преобладающих в «объеме фиксации» и периферическом зрении. В существующем случае центр бутылки выбран в качестве точки фиксации. Фиг.9 показывает результат выполнения преобразований, описанных выше, за исключением действия разупорядочения для ясности, и простую замену части изображения вокруг точки фиксации на одном изображении уместной частью другого изображения. Элементы в области фиксации, установленной вокруг точки фиксации, представляются как изображение типа 2 с некоторыми ассоциированными качественными и количественными преобразованиями. Вне области фиксации все объекты и поверхности представляются согласно изображению типа 1 с ассоциированными качественными и количественными преобразованиями. Как может быть видно на Фиг.9, граница 18 между двумя изображениями в слитом изображении ясно видна. Фиг.10 показывает результат модифицированного метода наложения, который удаляет или снижает воздействие границы между изображениями, и показывает установление объема фиксации, где все поверхности и объекты, не содержавшие сферического воздействия объема фиксации, также представляются согласно изображению типа 1.

Например, вокруг горлышка бутылки камни стены, хотя и в окружности области фиксации на Фиг.9 являются слишком далекими от бутылки, чтобы быть включенными в объем фиксации, и потому относятся к изображению типа 1.

Например, одна ветвь канделябра пронизывает область фиксации и поэтому называется изображением типа 2, в то время как остальная часть объекта находится вне этой области воздействия и поэтому представлена как изображение типа 1.

При сравнении Фиг.9 и 10 с Фиг.8 очевидно, что в дополнение к преобразованиям, упомянутым выше, изображение, которое растянуто в направлении по оси Y, было изменено путем увеличения уровня контраста и снижения уровня цветовой насыщенности. Также снижена яркость изображения. Контраст увеличен значением, попадающим в интервал 10-40%, предпочтительно около 25%, а яркость понижена коэффициентом, попадающим в интервал 2-40%, предпочтительно около 10%. Снижение цветовой насыщенности необходимо для балансировки эффектов более высокого контраста и является широко пропорциональным.

Думается, что изображения, обработанные с помощью описанных выше способов, имеют улучшенное или увеличенное сходство с изображениями, проецируемыми мозгом. С помощью этой структуры/каркаса в оцифрованной среде будет возможно ввести множество граней различий, о которых известно, что они существуют между периферическим зрением и центральным зрением. Ясное и точное представление воспринимаемых композиций видимого изображения позволяет наблюдателю двухмерного изображения привлекать дополнительные вычисления, ведущие к более жизненному восприятию реальной изображаемой обстановки.

Наблюдатель преобразованного изображения будет должен смотреть на (фиксироваться на) выбранную точку фиксации, чтобы чувствовать/оценивать полное воздействие дополнительной опорной информации.

В описании выше ссылка сделана на этап разупорядочения изображения. Хотя может быть использовано множество способов разупорядочения, предпочтительный метод состоит в увеличении беспорядка изображения с помощью, например, подобного подсолнечнику фрактального узора, показанного на Фиг.11, для изменения количества деталей, видимых в обработанном изображении при увеличении расстояния от точки фиксации. Новый аспект, включенный как часть этого представления, относится к использованию и адаптации этого узора в трехмерном пространственном измерении, независимом от другой трехмерной опорной информации, использованной в информации картины (например, в перспективе).

Фиг.12 является схематическим изображением, показывающим один путь, в котором операция разупорядочения может, предпочтительно, быть выполнена. Изображение на Фиг.12 включает в себя в своей точке фиксации вазу 30. Три плоских вертикальных экрана 32 размещаются в линию перед вазой 30 и с одной ее стороны. Ветвь 34 дерева простирается поперек переднего плана перед всеми другими объектами. В описанных выше размещениях этап разупорядочения проведен так, чтобы ввести только малый уровень разупорядочения в часть изображения, непосредственно окружающую точку фиксации, причем степень разупорядочения увеличивается в соответствии с узором подсолнечника, на Фиг.11, при увеличении расстояния от точки фиксации. В расположении на Фиг.12, хотя принято это общее приближение, операция разупорядочения модифицирована для идентификации границ или краев показанных объектов, и для введения разрыва или скачка в степени разупорядочения на краях или границах. Разрывы в степени разупорядочения вызывают дальнейшую пространственную опорную информацию глубины в изображении для интерпретации мозгом зрителя.

Думается, что изображения, обработанные с помощью описанных выше методов, обеспечивают улучшенное или увеличенное восприятие или проецирование глубины в часть изображения вокруг точки фиксации и через периферийные области. Расширенное восприятие глубины является очевидным и когда зритель рассматривает изображение через оба глаза, и когда изображение рассматривается с помощью только одного глаза. Стереослепые объекты воспринимают дополнительную глубину, которую эти преобразованные изображения содержат. Напротив, организованная глубина стерео, основанная на группах, не может вовлечь стереослепые личности.

Хотя выше описаны способы, которые относятся к обработке картин, в форме ли картин, сформированных компьютером, или фотографий, будет оценено, что это не обязательный случай, и изобретение может быть применено к широкому диапазону технологий и способов отображения, включающих в себя компьютерные или телевизионные дисплеи, проецируемые изображения, дисплеи виртуальной реальности, мультипликации и напечатанные носители. Изобретение может также найти применение, например, в камерах (либо для неподвижных, либо для движущихся изображений), которые разработаны для встраивания дисплея, на котором преобразованное изображение может отображаться в «реальном времени», так что фотограф, режиссер или другой человек, задействованный в получение изображения, мог видеть, как это будет преобразовано до того, как изображение фиксируется, или происходит завершение получения изображения. Для обеспечения этого камера может быть снабжена датчиками, чтобы разрешить измерение глубины объектов в поле зрения в то же самое время, когда изображение фиксируется, причем эти два компонента используются вместе друг с другом и вместе с описанными выше методами при преобразовании изображения. Дополнительно необходимо ввести расположение точки фиксации в области изображения. Она может быть установлена в центре поля зрения или с помощью соответствующего средства ввода может быть выбрана режиссером, фотографом или другим человеком.

Изобретение относится к способу обработки изображений и, в частности, к способу, который может быть использован для усиления восприятия трехмерной глубины и формы, изображенных на основе двумерных изображений, и производных сред виртуальной реальности (ВР). Техническим результатом является собственно создание способа обработки изображений, имеющего улучшенную достоверность. Предложен способ обработки изображения, содержащий этапы: (а) растяжение исходного изображения в направлении по оси Y (вертикальной) на коэффициент в интервале 2-10%; выбор точки фиксации и разупорядочение изображения при центрировании операции разупорядочения вокруг точки фиксации; и вращение изображения на угол в интервале 3-9°, предпочтительно по часовой стрелке; (b) растяжение копии оригинального изображения в направлении по оси Х (горизонтальной) на коэффициент в интервале 2-10%; и выбор области изображения вокруг выбранной точки фиксации; и (с) соединение выбранной области изображения, образованного на этапе (b), с изображением, образованным на этапе (а). 2 н. и 6 з.п. ф-лы, 12 ил.

1. Способ обработки изображения, содержащий этапы:

(a) растяжение исходного изображения в направлении по оси Y (вертикальной) на коэффициент в интервале 2-10%;

выбор точки фиксации и разупорядочение изображения при центрировании этапа разупорядочения вокруг точки фиксации; и

вращение изображения на угол в интервале 3-9°;

(b) растяжение копии исходного изображения в направлении по оси Х (горизонтальной) на коэффициент в интервале 2-10%; и

выбор области изображения вокруг выбранной точки фиксации; и

(c) соединение выбранной области изображения, образованного на этапе (b), с изображением, образованным на этапе (а).