Способ создания изображений Российский патент 2021 года по МПК G06F3/03 G03H1/00 

Изобретение относится к области создания изображений, в том числе голографических, в рекламных целях, в ходе обучения, в качестве временных указателей, источников информации, табло различного назначения, для создания произведений искусства и тому подобное.

Различные этапы создания голографических изображений и необходимые для этого средства широко описаны в технике. Способ создания изображений включает освещение объекта электромагнитным излучением, Запись интерференционной картины опорного и отраженного от объекта лучей на соответствующий носитель и освещение носителя опорным излучением (см., например, патенты JP 2017191256, G03H 1/04; G03H 1/22, 19.20.2017; JP2017147010, G03H 1/265, 24.08.2017; JP 2017168166, G03H 1/265, 21.09.2017; заявка США 2017270961, G03H 1/26, 21.09.2017 или патент Китая CN 101782732, G03G 15/04, 21.07.2010).

Однако все указанные технические решения предполагают наличие отображаемого объекта, не предполагают его создание.

Наиболее близким к предложенному является способ создания изображений по патенту США US 20180018057 (This application claims the benefit under 35 USC 119(e) of U.S. Patent Application компании Apple No. 62/363,172, filed Jul. 15, 2016).

В данном способе создания изображений мгновенное положение бесконтактного стилуса фиксируются сенсорами и передаются на блок обработки, который преобразует данные сенсоров в цифровой формат, поступающий на дисплей, в результате движение стилуса в воздухе или по любой поверхности отображается на дисплее в виде двухмерного. Движению стилуса по поверхности А отображается как движение изображения точки по поверхности В на дисплее. Текущее положение стилуса преобразуется в положение курсора или в текущее положение точки на дисплее, координату пикселя. Предварительно между точками поверхности А и точками поверхности В устанавливается взаимно-однозначное соответствие.

Устройство для осуществления данного способа содержит стилус, а также последовательно соединенные средства фиксации его положения, средства преобразования данных о положении в код, блок обработки и дисплей.

Данное решение позволяет создавать изображения без объекта, простым движением в воздухе, однако его использование ограничено возможностями дисплея, его размерами, плоскостью, самим наличием.

Техническим результатом, ожидаемым от использования изобретения, является возможность последовательного создания трехмерных изображений в пространстве свободными движениями руки или стилуса, любого иного объекта.

Указанный результат достигается тем, что в способе, включающем фиксацию положений рисующего предмета, преобразование положений и отображение соответствующих точек в реальном масштабе времени, положения рисующего предмета фиксируют в пространстве перемещения рисующего предмета, а отображение осуществляют в пространстве отображения.

При этом фиксация положений рисующего предмета и отображение соответствующих точек могут производиться в последовательные интервалы времени, путем отображения элементов изображения.

Кроме того, одновременно с положениями рисующего предмета могут фиксироваться параметры его движения, при этом выбор интервала времени фиксации и отображения и/или яркость точек в пространстве отображения могут выбираться в зависимости от зафиксированных параметров движения.

Кроме того, отображение соответствующих точек или элементов изображения может осуществляться путем генерации изображений.

Целесообразно также преобразование положений производить в цифровом формат, а отображение осуществлять на основании полученных кодов.

При этом генерация кодов отображения может производиться в виде генерации мнимой интерференционной картины опорного и отраженного от объекта, занимающего то же положение, что и рисующий предмет на данном интервале времени, лучей, после чего наносят полученную интерференционную картину на носитель и освещают последний опорным электромагнитным излучением, создавая в пространстве отображения голографическое изображение.

Далее, при повторном прохождении бесконтактного рисующего предмета с неизменными характеристиками какой-либо зоны пространства перемещения, операции создания голографического изображения в пространстве отображения, соответствующего этой зоне, повторяют.

Более того, при изменении цветовых характеристик бесконтактного рисующего предмета используют дополнительный источник опорного излучения с соответствующей цветовой характеристикой.

Кроме того, после генерации кодов отображения, последние могут поступать на оптически прозрачную трехмерную матрицу пикселей, расположенную в пространстве отображения, засвечивание которых осуществляют в соответствии с информацией о положении в коде отображения.

Целесообразно также после генерации кодов отображения подавать последние на оптически прозрачную матрицу подвижных пикселей в пространстве отображения, устанавливая их положение в соответствии с информацией о положении в коде отображения.

И, наконец, яркость пикселей может устанавливаться в соответствии с параметрами движения рисующего предмета в пространстве перемещения.

Поясним основные особенности предложения. Как и в известном способе стилус, указка, кисть или просто палец рисующего перемещаются не по поверхности дисплея, но в отличие от известного способа не по поверхности вообще, а в некоторой области пространства, названной выше пространством перемещения. И воссоздание изображения осуществляется также в некотором объеме - в пространстве отображения. Рисующий водит рукой по воздуху и наблюдает процесс создания изображения не в пространстве перемещения (как это было бы по аналогии с известными решениями), а сразу в пространстве отображения. Это положительно отражается на качестве изображения и производительности способа. Таким образом, пространство перемещения и пространство отображения в общем случае не совпадают, хотя в частном случае они могут пересекаться и даже полностью совпасть. В свою очередь от известных способов создания голографических изображений или печати моделей по чертежам на 3D принтере предложение отличается «пошаговой реализацией», созданием изображения последовательно, что также приводит за счет оценки рисующим промежуточного результата к повышению производительности.

Для реализации способа необходимо отследить и зафиксировать ряд последовательных положений рисующего предмета и, трансформировав, перенеся в пространство воспроизведения, воссоздать в нем изображение, соответствующее (но вовсе не обязательно совпадающее с) тем мнимым объектом, который изобразил в воздухе рисующий. Примеры средств воссоздания, генерации изображения в пространстве отображения будут приведены ниже, однако эти средства и методы не сводятся к нижеперечисленным, распознание отдельных элементов изображения (мнимого изображения, фактически элементов движения, мазков в пространстве перемещения) может осуществлять второй участник создания изображения, искусственный интеллект, второй смартфон и т.п. - средства распознавания образов и создания их изображений широко известны.

Второй особенностью является последовательное отображение «штрихов», «мазков», отрезков, фигур, то есть элементов общей картины, которые в соответствующие интервалы времени наносит рисующий. Эти интервалы могут отмеряться равномерно, но лучше синхронизировать их с характерным движением руки рисующего, например от одного останова до другого. При этом процесс лепки или рисования несколько удаленного изображения такими мазками не имеет аналогов, однако он также позволяет повысить эффективность, качество и производительность при создании изображений. Как отмечено выше, запись параметров движения рисующего предмета позволяет выбрать интервал отображения соответствующего элемента и установить яркость пикселей (точек) «мазка» в зависимости от скорости движения (например, чем ниже скорость, тем выше яркость).

И третьей особенностью является то, что коды или иным образом представленные элементы при отображении в пространстве отображения, то есть в области, где собственно последовательно формируется создаваемое изображение, являются, как правило, не результатом преобразования кодов положения иди соответствующих воображаемых элементов изображения в пространстве перемещения, а результатом процесса генерации, воссоздания «по образу и подобию», так что между кодами положения и отображения строго говоря отсутствует взаимно-однозначное соответствие. Последующие примеры помогут раскрыть перечисленные особенности способа.

На фиг. 1 представлен процесс нанесения отдельных штрихов и его временная диаграмма. Рисующий наносит штрихи 1, 2, 3 последовательно, в течение интервалов времени 4, 5, 6 в пространстве перемещения (условно ограничено пунктиром) непосредственно перед собой рисующим предметом (кистью) 7. Пространство перемещения обозначено позицией 8. Положение кисти 7, а в ряде вариантов и скорость, ускорение фиксируются видеокамерой 9 (в более сложном случае используется система сенсоров, в том числе акселерометр с передатчиком, встроенный в кисть 7), а затем выделяются и преобразуются в цифровой формат в блоке обработки 10. Сенсоры и блок обработки могут быть выполнены в виде смартфона с камерой и соответствующим приложением.

Процесс генерации кодов отображения может быть реализован различным образом, важно лишь, что в этом процессе возникают новые коды положения, не являющиеся однозначным преобразованием первичных, но основанные на них. Поясним сказанное примерами.

Пусть в известном способе стилус движется по чертежной доске и вычерчивает круг радиусом R, тогда отображением этого круга на дисплее также явится круг, но меньшего радиуса r, то есть точке с координатами (0,R) на плоскости А перемещения будет соответствовать точка с координатами (0,r) на плоскости В отображения. Иными словами, описать преобразование кода положения в код отображения в этом случае можно следующим образом:

Kо= Kп*r/R.

В отличие от этого в предложении и имеет место последовательность распознавания образа на интервале и его последующее воссоздание, имитация и описание в цифровом формате, то есть генерация кода или кодов отображения.

Например, вы последовательно наносите штрихи 1-3 и в блоке 10 формируются кодовые последовательности, позволяющие этому блоку распознать относительные размеры, наклон, кривизну и т.п. для каждого из них, а затем извлечь из памяти код отображения для штриха вообще, задать соответствующую масштабу длину, задать кривизну и уже этот код трансформировать в мнимую интерференционную картину (также в цифровом формате) и передать на средства отображения, например лазерный принтер 11, который наносит очередной штрих на носитель 12, освещенный опорным излучением 13, так что в пространстве отображения 14 формируется очередной штрих голографического изображения (при необходимости используют несколько источников излучения и перемещают носитель при записи, но так чтобы сохранить относительное расположение штрихов).

Алгоритмы распознавания образов сегодня широко используются. Поэтому остановимся на возможных схемах построения алгоритмов воссоздания образов. Одну схему мы описали выше: извлечение образа соответствующей фигуры из библиотеки, трансформация до подобия, масштабирование и собственно отображение теми или иными средствами (о них ниже).

В случае отсутствия соответствующего образа в библиотеке или отсутствия библиотеки образов возможно пошаговое приближение к форме штриха, мазка, буквы и т.п. с контролем подобия на каждом шагу и принятием очередного изменения в случае, если степень подобия возросла и наоборот, возвратом на шаг назад, если она уменьшилась.

При создании голографических изображений можно с использованием робота последовательно ставить в соответствие каждому штриху в пространстве перемещения отмасштабированный физический объект в третьей области пространства, аналогичным образом ориентированный, и освещать его опорным излучением, регистрируя уже реальную интерференционную картину.

Из сказанного становится понятным, что каждый штрих, мазок, движение рисующего предмета на интервале времени сначала фиксируется как таковое, преобразуется в цифровой формат, затем полученная последовательность координат в пространстве перемещения распознается в качестве той или иной геометрической фигуры с теми или иными параметрами (длина, кривизна, форма и т.п.) и воспроизводится описанным выше образом. Понятно, что при известности алгоритма прямого преобразования кривой в дискретный набор координат отдельных ее точек, известен и обратный алгоритм распознавания кривой по набору координат.

Например, последовательность 000 100 200…n00 может являться как результатом оцифровки штриха протяженностью «n», берущего начало в начале координат пространства перемещения 8 и направленного по оси «х», так и быть интерпретирована, распознана как образ отрезка и послужить для последующего воспроизведения соответствующего образа в пространстве отображения 14, в котором может быть воссоздано изображение отрезка длиной K*n, направленного под углом 90° к оси «х», то есть с учетом масштаба и поворота фигуры в пространстве отображения 14 воссоздан штрих в пространстве рисования 8 путем генерирования кодовой последовательности 000 010 020…0(K*n)0 и воспроизведения последней в виде голографического изображения, путем засвечивания соответствующих пикселей трехмерной матрицы или иным известным образом.

Для такого простого случая различий между прямым преобразованием кода и генерированием кода после распознания образа нет, однако в случае если рисующий постоянно пользуется одним блоком 10 (скажем, приложением смартфона), способным обучаться (например, занося в библиотеку формы часто повторяющихся образов и исключая редко используемые), происходит «привыкание» средств воспроизведения к рисующему, способствующее существенному сокращению объема вычислений. Кроме того, интервал отображения может выбираться существенно больше интервала одного штриха и обращение к зафиксированным движениям рисующего предмета производиться реже, сглаживания несущественные детали, подчеркивая суть.

Более того, в процессе творческой генерации кодов образов может производиться их трансформация любого типа, в том числе, комплиментарная, например, перевод на другой язык надписей, фильтрация, упрощение, изменение техники рисования, использование 3D эффектов и устранение случайных огрехов. Причем производится это в процессе создания законченного изображения, а не путем его последующей обработки, которая в ряде случаев уже невозможна. И, наконец, данное решение позволяет использовать нетривиальные средства воспроизведения, например, голографические, осуществить которые простым преобразованием кодов, полученных в результате оцифровки линии или картинки невозможно.

На фиг. 2 слева показана надпись 15 в пространстве 8, а справа воспроизведенные надписи 16 и 17, причем видно что отображения 16 и особенно 17 получены не путем преобразования положений рисующего предмета 7, а путем распознавания и воспроизведения образов отдельных букв, а во втором случае и слова целиком.

Еще один пример реализации способа показан на фиг. 3, иллюстрирующей процесс создания уменьшенной копии паровоза. Рисующий в пространстве 8 одним или двумя движениями последовательно «рисует» или обозначает паровозные колеса 18-20, его движения отслеживаются камерой смартфона 21, полученные данные обрабатываются процессором смартфона 21 по алгоритму соответствующего приложения, преобразуются в управляющие коды для 3D принтера 22 в соответствии с его интерфейсом (связь смартфона 21 и принтера 22 не показана) и стократным уменьшением (преобразуются или генерируются вновь зависит от выбранного алгоритма или установленного приложения и поставленной задачи) и готовые колеса 23-25 манипулятор 26 устанавливает на клейкое основание 27.

Остановимся более подробно на возможных примерах реализации оптически прозрачной матрицы пикселей. Возможные варианты выполнения прозрачной матрицы 28 иллюстрируют фиг. 4-6. Матрица 28 может быть выполнена из нескольких смещенных вдоль оси и распушенных на одном конце жгутов прозрачных волноводов 29, в каждый из которых поступает свет от управляемого источника (со стороны не распушенного жгута), как показано на фиг. 4. Выходы 30 волноводов 29 являются пикселями создаваемого изображения. Пиксели 31 могут располагаться равномерно в соответствующих узлах 32 прозрачной матрицы 28 и содержать источник питания и средства связи для управления извне их яркостью и цветом (фиг. 5). В то же время в упомянутых узлах 32 может не находиться постоянно по пикселю, последние могут самостоятельно перемещаться в отдельные точки 32 с помощью встроенных средств перемещения по взаимно перпендикулярным прозрачным нитям 33. Для простоты нити 33 и самодвижущиеся пиксели вынесены из пространства матрицы 28 на фиг. 5. Матрица 28 может быть также выполнена в виде «пачки» оптически прозрачных дисплеев 35 с торцевыми разъемами 36 (фиг. 5).

Выше не раз упоминался алгоритм, положенный в основу способа и примеров его реализации. Следует пояснить, что стандартные отрезки программ, реализующие те или иные операции (сравнения, извлечения из памяти, математической обработки, перебора вариантов, распознавания и т.п. хорошо известны специалистам, в то время как блок-схема алгоритма сводится к вышеописанной последовательности действий. Промер такого алгоритма, точнее его блок-схемы, представлен на фиг. 6.

Таким образом, предлагаемый способ весьма прост в реализации и эффективен, поскольку позволяет с большей производительностью в масштабе реального времени из отдельных элементов создавать изображения, наблюдать процесс и корректировать его по мере возникновения общей картины, без труда изменять и масштабировать изображения, используя при этом простейший набор средств.

Изобретение относится к области создания изображений, в том числе голографических, в рекламных целях, в ходе обучения, в качестве временных указателей, источников информации, табло различного назначения, для создания произведений искусства. Заявленный способ создания изображений включает фиксацию положений рисующего предмета, преобразование положений и отображение соответствующих точек в реальном масштабе времени. При этом одновременно с положениями рисующего предмета фиксируют параметры его движения, положения рисующего предмета и параметры его движения фиксируют в пространстве перемещения рисующего предмета, а отображение осуществляют в пространстве отображения посредством последовательного многократного нанесения элементов изображения на основание или носитель. Причем выбор интервала времени фиксации и отображения и/или яркость точек в пространстве отображения выбираются в зависимости от зафиксированных параметров движения. Технический результат - возможность последовательного создания трехмерных изображений в пространстве свободными движениями руки или стилуса, любого иного объекта. 3 з.п. ф-лы, 6 ил.

1. Способ создания изображений, включающий фиксацию положений рисующего предмета, преобразование положений и отображение соответствующих точек в реальном масштабе времени, отличающийся тем, что одновременно с положениями рисующего предмета фиксируют параметры его движения, положения рисующего предмета и параметры его движения фиксируют в пространстве перемещения рисующего предмета, а отображение осуществляют в пространстве отображения посредством последовательного многократного нанесения элементов изображения на основание или носитель, причем выбор интервала времени фиксации и отображения и/или яркость точек в пространстве отображения выбираются в зависимости от зафиксированных параметров движения.

2. Способ по п. 1, отличающийся тем, что отображение осуществляют путем генерации кодов мнимой интерференционной картины опорного и отраженного от объекта, занимающего то же положение, что и рисующий предмет на данном интервале времени, лучей, после чего наносят полученную интерференционную картину на носитель и освещают последний опорным электромагнитным излучением, создавая в пространстве отображения голографическое изображение.

3. Способ по п. 2, отличающийся тем, что при повторном прохождении бесконтактного рисующего предмета с неизменными характеристиками какой-либо зоны пространства перемещения, операции создания голографического изображения в пространстве отображения, соответствующего этой зоне, повторяют.

4. Способ по п. 2, отличающийся тем, что при изменении цветовых характеристик бесконтактного рисующего предмета используют дополнительный источник опорного излучения с соответствующей цветовой характеристикой.