РЕЛЯЦИОННАЯ ВИЗУАЛИЗАЦИЯ ГОЛОГРАФИЧЕСКИХ ОБЪЕКТОВ Российский патент 2021 года по МПК G03H1/08 G03H1/22 

ПРЕДШЕСТВУЮЩИЙ УРОВЕНЬ ТЕХНИКИ

[0001] Смешанная реальность (ʺMRʺ) включает в себя объединение физических объектов реального мира и виртуальных объектов, чтобы сформировать новые среды и визуализации, где сосуществуют цифровые виртуальные объекты и реальные физические объекты. MR-приложения включают в себя, например, гуманитарные отрасли и индустрию развлечений, образование, производство, проектирование, строительство и архитектуру. Однако преимуществам MR иногда препятствуют ограничения в интерактивной функциональности виртуальных или голографических объектов в MR-среде, особенно в связи с ограниченными интерактивными возможностями между виртуальными объектами и материальными объектами реального мира в MR-среды.

[0002] Заявленное здесь изобретение не ограничивается вариантами осуществления, которые преодолевают какие-либо недостатки или которые работают только в условиях, описанных выше. Скорее, этот предшествующий уровень техники предоставлен только для иллюстрации примерных областей технологии, где некоторые варианты осуществления, описанные здесь, могут быть осуществлены.

КРАТКОЕ ОПИСАНИЕ СУЩНОСТИ ИЗОБРЕТЕНИЯ

[0003] Настоящее раскрытие относится к компьютерным системам, способам и компьютерным носителям данных, сконфигурированным для моделирования или визуализации (рендеринга) иным образом физических взаимодействий между голографическими объектами и физическими объектами в соответствии с соответственными физическими свойствами и отношениями между голографическими объектами и физическими объектами.

[0004] Некоторые варианты осуществления включают в себя идентификацию физического объекта и идентификацию голографического объекта, причем физический объект и голографический объект ассоциированы друг с другом в соответствии с физическим отношением между физическим объектом и голографическим объектом. Например, физическое отношение может быть определено одним или несколькими из относительной близости, относительной ориентации, относительного шаблона движения, быстроты относительного движения, логического контекста, продолжительности относительной близости, ориентации или движения или другого атрибута физического отношения. В некоторых вариантах осуществления, физические атрибуты или свойства физического объекта и назначенные физические свойства/атрибуты голографического объекта также помогают определить физические отношения между голографическим объектом и физическим объектом.

[0005] Некоторые варианты осуществления включают в себя обнаружение изменения в физическом отношении и модифицирование одного или нескольких свойств голографического объекта в соответствии с обнаруженным изменением. Например, в ответ на обнаружение изменения в физическом отношении, голографический объект может быть реконфигурирован с одной или несколькими различными аудиовизуальными характеристиками. Дополнительно или в качестве альтернативы, голографический объект реконфигурируется, чтобы показать модифицированное состояние или настройку, влияющую на взаимодействие пользователя с реконфигурированным голографическим объектом, независимо от того, является ли или нет аудиовизуальная индикация модификации немедленно видимой.

[0006] Некоторые варианты осуществления включают в себя назначение одного или нескольких свойств физическому объекту и/или голографическому объекту. В таких вариантах осуществления, одно или несколько назначенных свойств определяют, по меньшей мере частично, одну или несколько реакций голографического объекта в соответствии с физическим отношением между голографическим объектом и физическим объектом. В некоторых вариантах осуществления, свойства, назначенные физическому объекту, сконфигурированы как виртуальные свойства, которые не соответствуют свойствам реального мира физического объекта.

[0007] Некоторые варианты осуществления включают в себя обнаружение изменения в одном или нескольких аспектах физического отношения между идентифицированным физическим объектом и идентифицированным голографическим объектом и, в ответ, генерирование нового голографического объекта, чтобы моделировать активность (действия) и/или эффекты идентифицированного голографического объекта на физическом объекте. В некоторых вариантах осуществления, идентифицированный голографической объект остается немодифицированным, когда визуализируется новый голографический объект.

[0008] Некоторые варианты осуществления включают в себя модифицирование физического объекта или устройства в ответ на обнаружение изменения в одном или нескольких аспектах физического отношения между физическим объектом или устройством и ассоциированным голографическим объектом.

[0009] Настоящее краткое описание сущности изобретения предоставлено, чтобы ввести подборку концепций в упрощенной форме, которые дополнительно описаны ниже в подробном описании. Это краткое описание сущности изобретения не предназначено для определения ключевых признаков или существенных признаков заявленного изобретения, а также не предназначено для использования в качестве помощи при определении объема заявленного изобретения.

[0010] Дополнительные признаки и преимущества будут изложены в описании, которое следует ниже, и частично будут очевидны из описания или могут быть изучены при практической реализации излагаемых здесь решений. Признаки и преимущества настоящего изобретения могут быть реализованы и получены посредством инструментов и комбинаций, конкретно указанных в прилагаемой формуле изобретения.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0011] Для того чтобы описать способ, которым могут быть получены вышеописанные и другие преимущества и признаки, более конкретное описание изобретения, кратко описанного выше, будет представлено со ссылкой на конкретные варианты осуществления, которые проиллюстрированы на прилагаемых чертежах. Понимая то, что эти чертежи изображают только типичные варианты осуществления и, следовательно, не должны рассматриваться как ограничивающие объем, варианты осуществления будут описаны и объяснены с дополнительной спецификой и детализацией посредством использования прилагаемых чертежей, на которых:

[0012] Фиг. 1 иллюстрирует компьютерную систему, сконфигурированную для визуализации голографического объекта в соответствии с физическим отношением между голографическим объектом и физическим объектом;

[0013] Фиг. 2 иллюстрирует блок-схему последовательности операций примерного способа для модифицирования голографического объекта в соответствии с физическим отношением между голографическим объектом и физическим объектом;

[0014] Фиг. 3 иллюстрирует блок-схему последовательности операций примерного способа для визуализации нового голографического объекта или модифицирования голографического объекта в соответствии с физическим отношением между голографическим объектом и физическим объектом;

[0015] Фиг. 4 иллюстрирует блок-схему последовательности операций примерного способа для модифицирования физического устройства в ответ на моделируемые действия голографического объекта;

[0016] Фиг. 5-8 иллюстрируют примерные варианты осуществления сред смешанной реальности, включающих в себя голографические объекты и физические объекты, показывающие визуализацию голографических объектов в соответствии с физическими отношениями между голографическими объектами и физическими объектами; и

[0017] Фиг. 9 иллюстрирует примерный вариант среды смешанной реальности, в которой голографический объект приводится в действие, чтобы модифицировать физический объект в соответствии с физическим отношением между голографическим объектом и физическим объектом.

ПОДРОБНОЕ ОПИСАНИЕ

[0018] Настоящее изобретение относится к компьютерным системам, способам и компьютерным носителям данных, сконфигурированным для визуализации одного или нескольких голографических объектов в соответствии с определенным отношением между одним или несколькими голографическими объектами и одним или несколькими физическими объектами в среде смешанной реальности. Различные технические эффекты и преимущества могут быть достигнуты за счет реализации аспектов раскрытых вариантов осуществления. Например, по меньшей мере некоторые раскрытые варианты осуществления приводятся в действие, чтобы расширить функциональность голографического объекта путем определения одного или нескольких отношений между голографическим объектом и одним или несколькими физическими объектами в пределах той же самой MR-среды голографического объекта. Это может быть особенно полезным для улучшения пользовательского опыта в процессе взаимодействия с голографическими объектами, для повышения восприятия реальности, изображаемой голографическим объектом, для увеличения объема доступной интерактивной функциональности голографического объекта и, в общем, для улучшения общей функциональности вычислительных систем MR, позволяя им обеспечивать повышенную реальность взаимодействий между голографическими объектами и объектами реального мира.

[0019] Как используется здесь, термины ʺголограммаʺ, ʺобъект голограммыʺ, ʺголографический объектʺ и т.п. относятся к виртуальным, визуализируемым изображениям и/или анимации, которые включают в себя один или несколько трехмерных визуальных сигналов, таких, как сигналы глубины, эффекты параллакса и/или перспективные визуализации, которые реалистично изменяются в зависимости от относительной точки зрения наблюдателя.

[0020] Как используется здесь, термины ʺфизический объектʺ, ʺматериальный объектʺ и т.п. относятся к реальным физическим объектам, которые существуют в реальном мире и которые наблюдаются в среде, в которой один или несколько голографических объектов могут накладываться и/или визуализироваться для формирования MR-среды.

[0021] Как используется здесь, термины ʺсмешанная реальность (MR)ʺ, ʺусиленная (расширенная) реальностьʺ и т.п. относятся к дисплеям, приложениям, сценам и/или средам, сочетающим один или несколько физических объектов с одним или несколькими голографическими объектами. В некоторых вариантах осуществления, один или несколько голографических объектов накладываются и/или визуализируются в пределах физической сцены, так что отображение, как воспринимается пользователем, включает в себя один или несколько голографических объектов в пределах физической сцены.

[0022] Термины ʺотношениеʺ, ʺфизическое отношениеʺ или ʺассоциацияʺ между голографическим объектом и физическим объектом могут быть определены и/или могут относиться, например, к близости от одного объекта относительно другого, ориентации одного объекта относительно другого, шаблону движения одного объекта относительно другого, быстроты движения одного объекта относительно другого, продолжительности одного или нескольких из указанных выше или их комбинации. В некоторых вариантах осуществления, отношение может также быть определено, по меньшей мере частично, в соответствии с контекстом в среде смешанной реальности, совместно используемой голографическим объектом и физическим объектом. Например, в игровом приложении, пара связанных голографических и физических объектов может взаимодействовать по-разному в зависимости от уровня игры, статуса пользователя, настройки сложности, игрового режима и тому подобного. В другом примере, в приложении 3D моделирования/визуализации, пара связанных голографических и физических объектов может взаимодействовать по-разному в зависимости от состояния приложения, такого как режим визуализации по сравнению с режимом редактирования.

[0023] Физическое отношение может также быть определено, по меньшей мере частично, на основе физических свойств объектов, включая фактические или назначенные свойства физического(их) объекта(ов) и голографического(их) объекта(ов). Например, в дополнение к отношению, определяемому физическими местоположениями и ориентациями объектов, физические отношения могут также быть определены или включать в себя химическое отношение, магнитное отношение, отношение температуры, отношение динамического напряжения или сжатия и/или любое другое интерактивное отношение, ассоциированное с интерактивными состояниями, существующими между объектами, на основе назначенных им физическим свойствам (независимо от того, являются ли свойства реальными или только виртуально назначенными).

[0024] Термин ʺфизическое свойствоʺ может относиться к любому физическому атрибуту или свойству, ассоциированному с физическим объектом, включая (но без ограничения) температуру, твердость, форму, состав материала, размер, вес, проводимость, цвет, отражательную способность, прочность, вязкость, объем, прозрачность, пластичность, хрупкость, упругость, давление, электрический заряд, скорость, блеск, силу и так далее. Эти физические свойства могут быть назначены голографическим объектам, а также физическим объектам. Соответственно, физическому объекту может быть назначено фактическое или виртуальное физическое свойство в пределах MR-среды. Эти физические свойства также могут соотноситься/сохраняться и изменяться в MR-среде, как описано здесь, на основе MR-взаимодействий.

[0025] Физические свойства иногда упоминаются здесь как свойства физических объектов или свойства голографических объектов, в зависимости от того, соответствуют ли они физическим объектам или голографическим объектам, соответственно.

[0026] Фиг. 1 иллюстрирует примерную компьютерную систему 100, сконфигурированную для визуализации одного или нескольких голографических объектов в соответствии с одним или несколькими отношениями между одним или несколькими голографическими объектами и одним или несколькими физическими объектами. Для простоты, варианты осуществления, описанные в настоящем документе, как правило, относятся к одному голографическому объекту, имеющему одно отношение с одним физическим объектом, хотя специалисту в данной области техники будет понятно, что объем этих описанных вариантов осуществления также распространяется на визуализацию одного или нескольких голографических объектов в соответствии с одним или несколькими отношениями с одним или несколькими физическими объектами.

[0027] Как показано, проиллюстрированная компьютерная система 100 включает в себя компьютерное устройство 110 с памятью 102 и по меньшей мере одним процессором 104. Альтернативные варианты осуществления могут включать в себя множество процессоров и/или устройств памяти. Память 102 может быть физической системной памятью, которая могут быть энергозависимой, энергонезависимой или некоторой комбинацией обеих. Термин ʺпамятьʺ может быть также использован в настоящем документе, чтобы ссылаться на энергонезависимое массовое хранилище, такое как физические носители хранения данных.

[0028] Компьютерное устройство 110 также включает в себя MR-компоненты 106, сконфигурированные, чтобы обеспечивать возможность генерации и отображения MR-среды, в том числе одни или несколько пользовательских головных наушников (гарнитур), камер, проекторов изображений, и/или других компонентов, которые могут быть использованы в генерации среды смешанной реальности. В некоторых вариантах осуществления, MR-компоненты 106 также включают в себя один или несколько дополнительных компонентов ввода/вывода, позволяющих пользователю взаимодействовать с компьютерным устройством 110, в том числе один или нескольких компонентов тактильной обратной связи (например, носимых компонентов), дисплейные экраны, клавиатуры, управление с помощью мыши, сенсорные экраны, микрофоны, динамики, дисплейные экраны, трекболы, колесики прокрутки, биометрические датчики (например, датчики электроэнцефалографии (EEG), мониторы сердечного ритма, устройства отслеживания глаз или отслеживания движения тела, датчики температуры тела) и тому подобное, чтобы обеспечить возможность получения информации от пользователя и для отображения или передачи иным способом информации пользователю.

[0029] Проиллюстрированное компьютерное устройство 110 включает в себя каналы 108 связи, которые позволяют компьютерному устройству 110 осуществлять связь с одним или несколькими отдельными компьютерными устройствами или системами. Например, компьютерное устройство 110 может быть частью сети 140, которая может быть сконфигурирована, например, как локальная сеть (ʺLANʺ), глобальная сеть (ʺWANʺ) или Интернет. В некоторых вариантах осуществления, компьютерное устройство 110 осуществляет связь с и/или является частью распределенной компьютерной среды 150, как показано посредством множества отдельных компьютерных систем 150а-150n, каждая из которых может содержать один или несколько из раскрытых компонентов, которые показаны в системе 100, полностью или частично, например, один или несколько компонентов памяти, компонентов приложений или любых других компонентов.

[0030] Компьютерное устройство 110 также включает в себя исполняемые модули или исполняемые компоненты 114-122, описанные ниже более подробно. Как использовано в данном описании, термин ʺисполняемый модульʺ или ʺисполняемый компонентʺ может относиться к программным объектам, маршрутизации или способам, которые могут исполняться в вычислительной системе. Различные компоненты, модули, механизмы и сервисы, описанные здесь, могут быть реализованы как объекты или процессы, которые исполняются в вычислительной системе.

[0031] Показанное компьютерное устройство 110 также включает в себя приложение 130, способное работать на компьютерном устройстве 110. Приложение 130 может представлять собой игровое приложение, аудиовизуальное приложение, приложение 3D-моделирования/визуализации, приложение графического проектирования, приложение инженерного моделирования, приложение архитектурного проектирование или любое другое приложение, которое использует MR-дисплей, приводимый в действие, чтобы визуализировать по меньшей мере один голографический объект в пределах или с наложением на сцену физической реальности.

[0032] Как показано, приложение 130 включает в себя один или несколько голографических объектов 132, имеющих одно или несколько назначенных свойств 134 голографического объекта. Например, конкретный голографический объект может иметь одно или несколько свойств, определяющих способ, которым отображается голографический объект (например, аудио и/или визуальные эффекты), способ, которым голографический объект реагирует на пользовательский ввод, и/или способ, которым голографический объект взаимодействует с другими элементами среды смешанной реальности, в которой он визуализируется. Например, голографический объект, сконфигурированный, чтобы визуализироваться как валун, может иметь набор назначенных голографических свойств объекта, включающий в себя ʺтяжелыйʺ, ʺжесткийʺ, ʺплотный и тому подобное, в то время как голографический объект, сконфигурированный, чтобы визуализироваться как стеклянная ваза, может иметь набор назначенных голографических свойств объекта, включающий в себя ʺхрупкийʺ, ʺломкийʺ, ʺнаполняемыйʺ, ʺнегибкийʺ и тому подобное.

[0033] В проиллюстрированном варианте осуществления, приложение 130 также включает в себя набор из одного или нескольких физических свойств 136 объекта, определяющих свойства, которые являются назначаемыми одному или нескольким физическим объектам, обнаруживаемым приложением 130. Например, стена, пол или потолок, обнаруживаемые в пределах MR-сцены, могут иметь набор назначенных свойств объекта, включающих в себя ʺнепроницаемыйʺ, ʺнепроходимыйʺ и тому подобное. В некоторых вариантах осуществления, одно или несколько свойств 136 физического объекта являются виртуальными свойствами, которые не обязательно соответствуют реальным физическим свойствам физического объекта, к которому они назначены. Например, в игровом приложении, игрушечный меч может быть сконфигурирован с набором свойств физического объекта, включающих в себя ʺострыйʺ и ʺжесткийʺ, даже если игрушечный меч на самом деле тупой и относительно гибкий.

[0034] Различные свойства 134 голографического объекта конкретного голографического объекта 132 могут быть статическими или могут быть динамическими и/или модифицируемыми. Например, некоторые свойства 134 голографического объекта или свойства 136 физического объекта могут быть сконфигурированы, чтобы изменяться с течением времени и/или изменяться в соответствии с настройками пользователя, состоянием приложения, уровнем игры и т.д.

[0035] Как показано, приложение 130 также включает в себя набор из одного или нескольких определений 138 отношений, определяющих обнаруживаемые отношения между одним или несколькими обнаруживаемыми физическими объектами и одним или несколькими голографическими объектами 132. Как объяснены более подробно ниже, в некоторых вариантах осуществления, обнаружение конкретного отношения между голографическим объектом и физическим объектом действует, чтобы вызвать одно или более из модификации в голографическом объекте, визуализации одного или нескольких новых голографических объектов или модификации физического объекта.

[0036] Показанное компьютерное устройство 110 также включает в себя механизм 114 распознавания объекта, сконфигурированный для обнаружения и/или идентификации одного или нескольких физических объектов в рамках сцены смешанной реальности. Механизм 114 распознавания объекта может приводиться в действие, чтобы обнаруживать и идентифицировать объекты с использованием обнаружения края, ребра и угла, градиентного сопоставления и других моделей и алгоритмов, известных в данной области техники.

[0037] Показанное компьютерное устройство 110 также включает в себя модуль 116 назначения свойств, сконфигурированный для назначения свойств 136 физического объекта соответствующим физическим объектам при обнаружении физических объектов. Например, в некоторых случаях, приложение 130 включает в себя свойство 136 физического объекта, определяющее окна как ʺбьющиесяʺ и ʺотражающиеʺ (например, независимо от того, является ли они на самом деле физически бьющимися или отражающими). При обнаружении окна в сцене смешанной реальности механизмом 114 распознавания объекта, модуль 116 назначения свойств назначает свойства ʺбьющеесяʺ и ʺотражающееʺ обнаруженному окну.

[0038] В некоторых вариантах осуществления, модуль 116 назначения свойств также сконфигурирован, чтобы назначать свойства 134 голографического объекта соответствующим голографическим объектам 132. В других вариантах осуществления, свойства 134 голографического объекта назначаются голографическим объектам 132 самим приложением 130.

[0039] Показанное компьютерное устройство 110 также включает в себя детектор 118 отношения, сконфигурированный для обнаружения и идентификации отношения между голографическим объектом 132 и обнаруженным физическим объектом. Продолжая рассматривать пример окна, детектор 118 отношения может обнаружить отношение между окном и голографическим бейсбольным мячом, определяемое близостью и траекторией голографического бейсбольного мяча относительно окна, или может обнаружить отношение между окном и голографическим лазерным лучом, определенным ориентацией/целью голографического лазерного луча относительно окна.

[0040] Показанное компьютерное устройство 110 также включает в себя модификатор 120 голограммы, сконфигурированный для управления визуализацией голографического объекта 132 в соответствии с обнаруженным отношением между голографическим объектом 132 и обнаруженным физическим объектом, удовлетворяющим определению 138 предопределенного отношения. Продолжая с примером окна, когда траектория голографического бейсбольного мяча выравнивается с окном, как обнаруживается детектором 118 отношения, в соответствии с определением 138 отношения, определяющим, что окна, имеющие свойства ʺбьющиесяʺ, будут разбиваться при таком отношении, модификатор 120 голограммы приводится в действие, чтобы визуализировать эффект разбивания, как только голографический бейсбольный мяч попадает в окно. Эффект разбивания может включать в себя генерацию, например, голографических осколков, анимированных как падающих из окна, голографических трещин, остающихся в окне, и/или звуковых эффектов разбивания. В другом примере, когда ориентация голографического лазерного луча направляется к окну, как обнаруживается детектором 118 отношения, в соответствии с определением 138 отношения, определяющим, что окна, имеющие свойство ʺотражающиеʺ, будут отражать лазерные лучи, модификатор 120 голограммы приводится в действие, чтобы модифицировать голографический лазерный луч, как отражающийся от окна (например, на основе угла лазерного луча относительно окна).

[0041] Показанное компьютерное устройство 110 также включает в себя контроллер 122 объекта. В некоторых вариантах осуществления, один или несколько модифицируемых физических объектов 160 в сцене смешанной реальности сконфигурированы как приводимые в действие или изменяемые в ответ на конкретные обнаруженные отношения между одним или несколькими модифицируемыми физическими объектами 160 и одним или несколькими голографическими объектами 132. Например, модифицируемым физическим объектом 160 может быть вентилятор, и вентилятор может быть включен и выключен в соответствии с близостью голографического кабеля питания к вентилятору (например, как определяется посредством определения 138 отношения и как обнаруживается посредством детектора 118 отношения).

[0042] Различные компоненты, показанные на фиг. 1, представляют собой лишь несколько примерных реализаций компьютерной системы, сконфигурированной для визуализации голографического объекта в соответствии с обнаруженным отношением между голографическим объектом и физическим объектом. Другие варианты осуществления могут разделять описанные память/хранилища, модули, компоненты и/или функции различным образом между приложением 130 и компьютерным устройством 110 (например, операционной системой компьютерного устройства 110) и/или среди дополнительных компьютерных систем. Например, в некоторых вариантах осуществления, модуль 116 назначения свойств, детектор 118 отношения и/или модификатор 120 голограммы управляются и контролируются приложением 130. В некоторых вариантах осуществления, структуры данных, связанные с голографическими объектами 132, свойствами 134 голографического объекта, свойствами 136 физического объекта и/или определениями 138 отношения, принимаются от одного или нескольких отдельных компьютерных устройств/систем, например, от одного или нескольких компьютерных устройств 150a-n.

[0043] В некоторых вариантах осуществления, компонентов памяти и/или программные модули распределены по множеству составляющих компьютерных систем (например, 150a-п) в распределенной среде. В других вариантах осуществления, компоненты памяти и программные модули включены в единую интегрированную компьютерную систему. Соответственно, системы и способы, описанные здесь, не предназначены для ограничения на основе конкретного местоположения, в котором расположены описанные компоненты и/или в котором выполняются их функции.

[0044] В последующем описании, варианты осуществления описываются со ссылкой на действия, которые выполняются одной или несколькими вычислительными системами. Если такие действия реализованы в программном обеспечении, один или несколько процессоров ассоциированной вычислительной системы, которая выполняет действие, управляет работой вычислительной системы в ответ на выполнение процессором(ами) вычислительной системы исполняемых компьютером инструкций, которые воплощены на одном или нескольких считываемых компьютером носителях (например, аппаратном запоминающем устройстве(ах)). Пример такой операции включает в себя манипулирование данными.

[0045] Исполняемые компьютером инструкции (и манипулируемые данные) могут быть сохранены в памяти 102 компьютерного устройства 110 и/или в одном или нескольких отдельных компонентах компьютерной системы. Исполняемые компьютером инструкции могут быть использованы для реализации и/или использования в качестве примера всей функциональности, раскрытой в данном документе, включая функциональность, которая раскрыта со ссылкой на одну или несколько схем, показанных на фиг. 2-4. Следующее описание реализуемых компьютером способов, показанных на фиг. 2-4, включает в себя примерные приложения и компьютерные системы. Специалисту в данной области техники будет понятно, что конкретные способы не ограничиваются конкретными используемыми примерами. Кроме того, специалисту в данной области техники будет понятно, что конкретный пример приложения или компьютерной системы не должен быть ограничен конкретным вариантом осуществления, в котором он описан, но может быть использован полностью или частично в одном или нескольких из других вариантов осуществления, описанных в данном описании.

[0046] На фиг. 2 представлена блок-схема 200 последовательности действий, ассоциированных с реализуемыми компьютером способами повторного конфигурирования голограммы в соответствии с физическим отношением между голограммой и одним или несколькими физическими объектами. Как показано, компьютерная система идентифицирует физический объект, причем физический объект ассоциирован с одним или несколькими объектами голограммы в соответствии с физическим отношением между физическим объектом и одним или несколькими объектами голограммы (действие 210). Это отношение может быть основано на сохраненных свойствах голографических объектов и свойствах физических объектов, ассоциированных с соответствующими объектами, как описано ранее выше.

[0047] Компьютерная система также идентифицирует объект голограммы, ассоциированный с физическим объектом, объект голограммы сконфигурирован для реагирования на физический объект в соответствии с одним или несколькими аспектами физического отношения между идентифицированным объектом голограммы и физическим объектом (действие 220). В качестве примера, идентифицированный физический объект может быть жезлом, а идентифицированным объектом голограммы может быть игровой персонаж, сконфигурированный для взаимодействия с жезлом в соответствии с близостью к жезлу, ориентацией жезла по отношению к персонажу и/или длительностью близости или ориентации.

[0048] Компьютерная система затем обнаруживает изменение в физическом отношении между физическим объектом и объектом голограммы (действие 230) и модифицирует одно или несколько свойств объекта голограммы в соответствии с обнаруженным изменением физического отношения (действие 240). Например, компьютерная система может обнаружить, что жезл был расположен ближе к персонажу и/или была направлен на персонажа в течение достаточного периода времени. В ответ, компьютерная система может модифицировать атрибут персонажа, например, путем повышения или понижения уровня здоровья, уровня силы или другой атрибут. Затем компьютерная система сохраняет модифицированный объект голограммы (действие 250) и обновленные свойства объекта.

[0049] В некоторых вариантах осуществления, модификация объекта голограммы вызывает изменение аудио или визуального представления объекта голограммы. Например, голографический персонаж может хлопнуть в ладоши или согнуться от боли. Дополнительно или в качестве альтернативы, модификация голографического объекта вызывает изменение настройки или атрибута голографического объекта, которое может не быть немедленно показано визуально или прослушиваемым образом. Например, голографический персонаж может ʺповысить уровеньʺ и получить дополнительную функциональность, или может произойти другое изменение в свойстве голографического объекта, но такая дополнительная функциональность или изменение физического свойства могут не проявляться визуально или проявляются в более позднее время, если или когда предписывается дальнейшим игровым процессом.

[0050] На фиг. 3 показана блок-схема 300 реализуемого компьютером способа для генерации новой голограммы или модификации голограммы в соответствии с физическим отношением между голограммой и одним или несколькими физическими объектами. Компьютерная система идентифицирует объект голограммы (действие 310) и идентифицирует физический объект, причем физический объект ассоциирован с объектом голограммы в соответствии с физическими отношениями между физическим объектом и объектом голограммы (действие 320). Например, идентифицированный объект голограммы может быть голографическим факелом, и идентифицированный физический объект может быть дровами для костра (например, реальными или синтезированными).

[0051] Компьютерная система также обнаруживает изменение одного или нескольких аспектов физического отношения между объектом голограммы и физическим объектом (действие 330) и генерирует новый объект голограммы или модифицирует объект голограммы в ответ на обнаруженное изменение в физическом отношении, причем новый или модифицированный объект голограммы моделирует реакцию между идентифицированным объектом голограммы и идентифицированным физическим объектом (действие 340). Затем компьютерная система сохраняет привязку нового или модифицированного объекта голограммы (действие 350). Например, как только голографический факел приводится в достаточную близость и соответствующую ориентацию к дровам для костра (например, так чтобы горящий конец факела ʺсоприкасалсяʺ с дровами для костра), компьютерная система генерирует новую голограмму, путем визуализации голографического пламени, окружающего дрова для костра. Затем, когда пользователь или другой объект просматривает дрова для костра с помощью визуальной системы MR, он будет просматривать голографическое пламя, окружающее дрова для костра, поскольку голографическое пламя было ассоциировано с и привязано к дровам для костра.

[0052] На фиг. 4 показана блок-схема 400 последовательности операций реализуемого компьютером способа для модифицирования физического устройства в ответ на моделируемые действия или ассоциированное физическое свойство голограммы. Как показано, компьютерная система идентифицирует объект голограммы (действие 410) и идентифицирует физический объект, физический объект, ассоциированный с объектом голограммы в соответствии с физическим отношением между физическим объектом и объектом голограммы (действие 420). Например, идентифицированным объектом голограммы может быть голографическая батарея, и идентифицированным физическим объектом может быть экран дисплея.

[0053] Компьютерная система также обнаруживает изменение одного или нескольких аспектов физического отношения между объектом голограммы и физическим объектом (действие 430) и физического объекта в ответ на обнаруженное изменение в физическом отношении (действие 440). Компьютерная система может затем сохранить состояние физического объекта в соответствии с модификацией (действие 450). Например, компьютерная система может обнаружить, что батарея была расположена рядом с экраном дисплея, и может включить экран дисплея в ответ.

[0054] На фиг. 5-9 проиллюстрирована работа и функциональность различных примерных вариантов осуществления. Объем концепций и признаков, описанных в настоящем документе и перечисленных в формуле изобретения, не ограничивается ни этими конкретными проиллюстрированными примерами, ни упомянутыми типами приложений.

[0055] На фиг. 5 показана MR-среда, включающая в себя голографический блок 502 льда и физический объект в форме фигурки 504. В этом примере фигурке 504 было назначено свойство ʺгорячийʺ, и голографическому блоку 502 льда был назначено свойство ʺплавкийʺ, так что когда фигурка 504 и блок 502 льда расположены в достаточной близости в течение достаточного количества времени, голографический блок льда отображается как голографический плавящийся блок 506 льда.

[0056] В некоторых вариантах осуществления, степень проявляемого эффекта модификации может прогрессировать в соответствии с относительной степенью физического отношения между физическим объектом и голографическим объектом. Например, голографический блок 502 льда может плавиться быстрее, если фигурка 504 располагается ближе к блоку 502 льда. Кроме того, по мере продолжения длительности физического отношения, голографический блок 502 льда может с течением времени становиться еще более расплавленным, пока не станет лужей или даже пока не испарится и полностью исчезнет.

[0057] На фиг. 6 показана среда смешанной реальности, включающая в себя голографический блок 602 льда и физический объект в виде ножа 604 (например, игрушечного ножа). В этом примере, ножу 604 было назначено свойство ʺострыйʺ, и голографическому блоку 602 льда было назначено свойство ʺкрошащийсяʺ, так что когда нож 604 и блок 602 льда приводятся в достаточную близость с соответствующей ориентацией (например, лезвие ножа обращено к блоку 602 льда), голографический блок 602 льда визуализируется как блок 606 льда со сколами. Скалывание может происходить динамически в реальное время, когда нож приводится в контакт (т.е. визуальное пересечение) с блоком 602 льда в MR-среде.

[0058] Примеры, показанные на фиг. 5 и 6, иллюстрируют, что конкретный голографической объект может иметь множество различных свойств и может демонстрировать множество соответствующих эффектов, основанных на различных взаимодействиях с различными физическими объектами. Например, в некоторых вариантах осуществления, блок 502 льда и блок 602 льда могут представлять один и тот же голографический объект, сконфигурированный реагировать по-разному в зависимости от физических отношений с различными физическими объектами (например, фигуркой 504 и ножом 604). Дополнительно или в качестве альтернативы, в некоторых вариантах осуществления, конкретный голографический объект может по-разному реагировать на тот же самый ассоциированный физический объект, в зависимости от конкретных параметров физического отношения между соответствующими объектами (см. фиг. 8).

[0059] Фиг. 7 иллюстрирует среду смешанной реальности, включающую в себя голографическую паяльную лампу 702 и физическую стенку 704. В этом примере, голографической паяльной лампе 702 было назначено свойство ʺобжигаемаяʺ, и стенке 704 было назначено свойство ʺвозгораемаяʺ. Как показано, когда голографическая паяльная лампа 702 изменяет свое положение по отношению к стенке 704, генерируется новая голограмма 706, имитируя обжигающий эффект на стене 704. В этом примере, функциональное отношение существует между голографической паяльной лампой 702 и физической стенкой 704, и результирующий эффект является одной или несколькими новыми голограммами (т.е. новой голограммой 706 обожженной части стенки, которая постоянно сохранена в файлах MR-данных с соответствующим местоположением стенки, а также голограммой дыма (в настоящее время не показан), которая может быть только временной, и т.д.), в то время как исходный голографический объект (то есть, паяльная лампа 702) остается неизменным.

[0060] На фиг. 8 показана среда смешанной реальности, включающая в себя голографическое яйцо 802 и физическую поверхность 804 (например, крышку стола). В этом примере, голографическому яйцу 802 было назначено свойство ʺхрупкоеʺ, а поверхности 804 было назначено свойство ʺжесткоеʺ, так что, если голографическое яйцо 802 приводится в контакт с поверхностью 804 с достаточной силой/быстротой в пределах MR-среды, голографические яйцо 802 разбивается. Например, если голографическое яйцо 802 контактирует с поверхностью 804 с относительно меньшей силой или скоростью, яйцо 802 отображается как треснувшее, но все еще целое голографическое яйцо 806. В противоположность этому, если голографическое яйцо 802 контактирует с поверхностью 804 с относительно большей силой или скоростью, яйцо 802 отображается как полностью разбитое голографическое яйцо 808.

[0061] На фиг. 9 показан вариант осуществления среды смешанной реальности, включающей в себя голографический шар 902 и физическую лампочку 904. В этом примере, свойства лампочки 904 (например, состояния включения и выключения, цвет и т.д.) зависят от физического отношения между голографическим шаром 902 и лампочкой 904. Например, когда голографический шар 902 ʺбросаетсяʺ в лампочку 904, обнаруживается изменение в физической близости между объектами, вызывая зажигание лампочки 904, вызывая то, что переключатель активируется для лампочки 904 через соединенные системы. Подобные варианты осуществления могут включать в себя взаимодействие между голографическим объектом и аудио управлением (например, управление громкостью), управление отображением, управление питанием, механизмы активации и/или другие взаимодействия между управляемым или регулируемым физическими объектами и голографическими объектами.

[0062] Раскрытые варианты осуществления могут содержать или использовать компьютерную систему специального назначения или общего назначения, которая включает в себя компьютерные аппаратные средства, такие как, например, один или несколько процессоров и системную память. Варианты осуществления в пределах объема настоящего изобретения также включают в себя физические и другие машиночитаемые носители для переноса или хранения машиноисполняемых инструкций и/или структур данных. Такие машиночитаемые носители могут быть любыми доступными носителями, к которым можно получить доступ с помощью компьютерной системы общего назначения или специального назначения. Машиночитаемые носители, которые хранят машиноисполняемые инструкции и/или структуры данных, являются компьютерными носителями данных. Машиночитаемые носители, которые переносят машиноисполняемые инструкции и/или структуры данных, являются средами передачи. Таким образом, в качестве примера, а не ограничения, варианты осуществления изобретения могут содержать по меньшей мере два совершенно разных вида считываемых компьютером носителей: компьютерные носители данных и среды передачи.

[0063] Компьютерными носителями данных являются физические носители данных, которые хранят машиноисполняемые инструкции и/или структуры данных. Физические носители данных включают в себя компьютерные аппаратные средства, например, RAM, ROM, EEPROM, твердотельные накопители (ʺSSDʺ), флэш-память, память с изменением фазы (ʺPCMʺ), устройства хранения на оптических дисках, на магнитных дисках или другие магнитные устройства хранения или любое другое аппаратное(ые) устройство(а) хранения, которые могут быть использованы для хранения программного кода в форме исполняемых компьютером инструкций или структур данных, к которым может обращаться компьютерная система и которые могут исполняться компьютерной системой общего назначения или специального назначения для реализации раскрытой функциональности изобретения.

[0064] Среды передачи могут включать в себя сеть и/или соединения данных, которые могут быть использованы для переноса программного кода в форме машиноисполняемых инструкций или структур данных, и к которым может осуществлять доступ компьютерная система общего назначения или специального назначения. ʺСетьʺ определяется как одно или несколько соединений данных, которые позволяют осуществить перенос электронных данных между компьютерными системами и/или модулями и/или другими электронными устройствами. Когда информация переносится или предоставляется по сети или другому соединению связи (проводному, беспроводному или комбинации проводного или беспроводного) к компьютерной системе, компьютерная система может рассматривать соединение в качестве среды передачи. Комбинации вышеупомянутого также должны быть включены в объем считываемых компьютером носителей.

[0065] Кроме того, при достижении различных компонентов компьютерной системы, программный код в форме машиноисполняемых инструкций или структур данных может быть передан автоматически из среды передачи на компьютерные носители данных (или наоборот). Например, машиноисполняемые инструкции или структуры данных, принимаемые по сети или соединениям данных, могут быть буферизованы в RAM в модуле сетевого интерфейса (например, ʺNICʺ) и затем в конечном итоге переданы в RAM компьютерной системы и/или менее энергозависимые компьютерные носители в компьютерной системе. Таким образом, следует понимать, что компьютерные носители хранения могут быть включены в компоненты компьютерной системы, которые также (или даже в первую очередь) используют среды передачи.

[0066] Машиноисполняемые инструкции содержат, например, инструкции и данные, которые при их исполнении на одном или нескольких процессорах побуждают компьютерную систему общего назначения, специализированную компьютерную систему или специализированное устройство обработки выполнять определенную функцию или группу функций. Исполняемыми компьютером инструкциями могут быть, например, двоичные файлы, инструкции промежуточного формата, такие как язык ассемблера, или даже исходный код.

[0067] Специалистам в данной области техники будет понятно, что изобретение может быть практически реализовано в сетевых вычислительных средах со многими типами конфигураций компьютерных систем, включая персональные компьютеры, настольные компьютеры, портативные компьютеры, процессоры сообщений, портативные устройства, многопроцессорные системы, основанная на микропроцессорах или программируемая бытовая электроника, сетевые PC, миникомпьютеры, универсальные компьютеры, мобильные телефоны, PDA, планшеты, пейджеры, маршрутизаторы, коммутаторы, гарнитуры виртуальной или дополненной реальности и тому подобное. Изобретение также может быть практически реализовано в средах распределенных систем, в которых локальные и удаленные компьютерные системы, которые связаны (либо проводными линиями передачи данных, беспроводными линиями передачи данных, либо комбинацией проводных и беспроводных линий передачи данных) через сеть, совместно выполняют задачи. Таким образом, в среде распределенных систем, компьютерная система может включать в себя множество составляющих компьютерных систем. В среде распределенных систем, программные модули могут быть расположены как в локальных, так и в удаленных устройствах памяти.

[0068] Специалистам в данной области техники также будет понятно, что изобретение может быть практически реализовано в облачной вычислительной среде. Облачные вычислительные среды могут быть распределенными, хотя это не является обязательным. В распределенном случае, облачные вычислительные среды могут быть распределены на международном уровне в пределах организации и/или иметь компоненты во владении нескольких организаций. В этом описании и в пунктах формулы изобретения ʺоблачное вычислениеʺ определяется как модель для обеспечения возможности сетевого доступа по требованию к совместно используемому пулу конфигурируемых вычислительных ресурсов (например, сетей, серверов, хранилища, приложений и услуг). Определение ʺоблачные вычисленияʺ не ограничивается каким-либо из различных многочисленных преимуществ, которые можно получить от такой модели при правильном развертывании.

[0069] Модель облачных вычислений может состоять из различных характеристик, таких как самообслуживание ʺпо требованиюʺ, широкий сетевой доступ, пулы ресурсов, быстрая эластичность, измеряемые услуги и так далее. Модель облачных вычислений также может быть в форме различных моделей услуг, таких как, например, Программное обеспечение в качестве Услуги (Software as a Service) (ʺSaaSʺ), Платформа в качестве Услуги (Platform as a Service) (ʺPaaSʺ) и Инфраструктура в качестве Услуги (Infrastructure as a Service) (ʺIaaSʺ). Модель облачных вычислений также может быть развернута с использованием различных моделей развертывания, таких как частное облако, облако сообщества, публичное облако, гибридное облако и так далее.

[0070] Некоторые варианты осуществления, такие как облачная вычислительная среда, могут содержать систему, которая включает в себя один или несколько хостов, где каждый из которых способен запускать одну или несколько виртуальных машины. Во время работы, виртуальные машины эмулируют операционную вычислительную систему, поддерживая операционную систему, а также, возможно, одно или несколько других приложений. В некоторых вариантах осуществления, каждый хост включает в себя гипервизор, который эмулирует виртуальные ресурсы для виртуальных машин с помощью физических ресурсов, которые абстрагированы от представления виртуальных машин. Гипервизор также обеспечивает надлежащую изоляцию между виртуальными машинами. Таким образом, с точки зрения любой виртуальной машины, гипервизор создает иллюзию, что виртуальная машина взаимодействует с физическим ресурсом, даже если виртуальная машина взаимодействует только с появлением (например, виртуальный ресурс) физического ресурса. Примеры физических ресурсов включают в себя мощность обработки, память, дисковое пространство, пропускную способность сети, медиа-накопители и так далее.

[0071] Настоящее изобретение может быть реализовано в других конкретных формах без отхода от его сущности или существенных характеристик. Описанные варианты осуществления следует рассматривать во всех отношениях только как иллюстративные, а не ограничительные. Объем настоящего изобретения, таким образом, определяется прилагаемой формулой изобретения, а не предшествующим описанием. Все изменения, которые находятся в пределах значения и диапазона эквивалентности пунктов формулы изобретения, должны быть включены в их объем.

Изобретение относится к вычислительной технике. Технический результат заключается в обеспечении повышенной реальности взаимодействий между голографическими объектами и объектами реального мира. Предлагается способ генерирования новой голограммы или модифицирования голограммы в соответствии как с физическим отношением, так и длительностью этого физического отношения между голограммой и одним или более физическими объектами, в котором идентифицируют объект голограммы; идентифицируют физический объект, ассоциированный с объектом голограммы в соответствии с заданным химическим или термическим отношением, имеющимся между физическим объектом и объектом голограммы; обнаруживают изменение близости между объектом голограммы и физическим объектом; генерируют новый объект голограммы или модифицированный объект голограммы в ответ на обнаруженное изменение близости между объектом голограммы и физическим объектом и на основе заданного химического или термического отношения, причем новый или модифицированный объект голограммы моделирует химическую или термическую реакцию между объектом голограммы и физическим объектом на основе заданного химического или термического отношения; и сохраняют привязку этого нового или модифицированного объекта голограммы. 3 н. и 14 з.п. ф-лы, 9 ил.

1. Способ, осуществляемый компьютерной системой и предназначенный для генерирования новой голограммы или модифицирования голограммы в соответствии как с физическим отношением, так и длительностью этого физического отношения между голограммой и одним или более физическими объектами, причем способ содержит этапы, на которых:

идентифицируют объект голограммы;

идентифицируют физический объект, причем физический объект ассоциирован с объектом голограммы в соответствии с заданным химическим или термическим отношением, имеющимся между физическим объектом и объектом голограммы на основе одного или более химических или термических свойств, назначенных физическому объекту и объекту голограммы;

обнаруживают изменение близости между объектом голограммы и физическим объектом;

генерируют новый объект голограммы или модифицированный объект голограммы в ответ на обнаруженное изменение близости между объектом голограммы и физическим объектом и на основе упомянутого заданного химического или термического отношения, причем новый или модифицированный объект голограммы моделирует химическую или термическую реакцию между объектом голограммы и физическим объектом на основе упомянутого заданного химического или термического отношения, при этом моделируемая химическая или термическая реакция основывается не только на близости между объектом голограммы и физическим объектом, но также основывается на длительности нахождения объекта голограммы в пределах близкого расстояния к физическому объекту, так что степень завершения или интенсивность моделируемой химической или термической реакции между объектом голограммы и физическим объектом зависит от этой длительности, при этом объект голограммы приспособлен реагировать по-разному в соответствии с физическими отношениями с разными физическими объектами, включая упомянутый физический объект; и

сохраняют привязку этого нового или модифицированного объекта голограммы.

2. Способ по п.1, дополнительно содержащий этап, на котором назначают одно или более виртуальных свойств физическому объекту, причем эти одно или более виртуальных свойств определяют, по меньшей мере частично, одну или более реакций объекта голограммы в соответствии с упомянутым заданным химическим или термическим отношением между физическим объектом и объектом голограммы.

3. Способ по п.2, в котором одно или более из виртуальных свойств не соответствуют фактическим физическим свойствам физического объекта.

4. Способ по п.2, дополнительно содержащий этап, на котором назначают одно или более свойств объекту голограммы, причем эти одно или более свойств определяют, по меньшей мере частично, одну или более реакций объекта голограммы в соответствии с упомянутым заданным химическим или термическим отношением между физическим объектом и объектом голограммы.

5. Способ по п.1, дополнительно содержащий этап, на котором назначают одно или более свойств объекту голограммы, причем эти одно или более свойств определяют, по меньшей мере частично, одну или более реакций объекта голограммы в соответствии с упомянутым заданным химическим или термическим отношением между физическим объектом и объектом голограммы.

6. Способ по п.1, дополнительно содержащий этап, на котором обнаруживают изменение в ориентации физического объекта относительно объекта голограммы.

7. Способ по п.1, дополнительно содержащий этап, на котором модифицируют объект голограммы в ответ на обнаруженное изменение близости, причем данное модифицирование объекта голограммы варьируется в соответствии со степенью обнаруженного изменения близости.

8. Способ по п.1, дополнительно содержащий этап, на котором модифицируют объект голограммы в ответ на обнаруженное изменение близости, причем данное модифицирование объекта голограммы включает в себя модификацию аудиовизуального отображения объекта голограммы.

9. Способ по п.1, дополнительно содержащий этап, на котором модифицируют объект голограммы в ответ на обнаруженное изменение близости, причем данное модифицирование объекта голограммы включает в себя модификацию настройки или состояния объекта голограммы, которая не проявляется прослушиваемым образом или визуально, пока не будут приняты по меньшей мере один или более дополнительных вводов.

10. Компьютерная система, выполненная с возможностью генерирования новой голограммы или модифицирования голограммы в соответствии как с физическим отношением, так и длительностью этого физического отношения между голограммой и одним или более физическими объектами, причем компьютерная система содержит:

один или более процессоров; и

одно или более аппаратных запоминающих устройств, на которых сохранены машиноисполняемые инструкции, которые являются исполняемыми одним или более процессорами, чтобы предписывать компьютерной системе выполнять, по меньшей мере, следующее:

идентифицировать объект голограммы;

идентифицировать физический объект, причем физический объект ассоциирован с объектом голограммы в соответствии с заданным химическим или термическим отношением, имеющимся между физическим объектом и объектом голограммы на основе одного или более химических или термических свойств, назначенных физическому объекту и объекту голограммы;

обнаруживать изменение близости между объектом голограммы и физическим объектом;

генерировать новый объект голограммы или модифицированный объект голограммы в ответ на обнаруженное изменение близости между объектом голограммы и физическим объектом и на основе упомянутого заданного химического или термического отношения, причем новый или модифицированный объект голограммы моделирует химическую или термическую реакцию между объектом голограммы и физическим объектом на основе упомянутого заданного химического или термического отношения, при этом моделируемая химическая или термическая реакция основывается не только на близости между объектом голограммы и физическим объектом, но также основывается на длительности нахождения объекта голограммы в пределах близкого расстояния к физическому объекту, так что степень завершения или интенсивность моделируемой химической или термической реакции между объектом голограммы и физическим объектом зависит от этой длительности, при этом объект голограммы приспособлен реагировать по-разному в соответствии с физическими отношениями с разными физическими объектами, включая упомянутый физический объект; и

сохранять привязку этого нового или модифицированного объекта голограммы.

11. Компьютерная система по п.10, в которой машиноисполняемые инструкции также являются исполняемыми, чтобы предписывать компьютерной системе назначать одно или более виртуальных свойств физическому объекту, причем эти одно или более виртуальных свойств определяют, по меньшей мере частично, одну или более реакций объекта голограммы в соответствии с упомянутым заданным химическим или термическим отношением между физическим объектом и объектом голограммы.

12. Компьютерная система по п.10, в которой машиноисполняемые инструкции также являются исполняемыми, чтобы предписывать компьютерной системе назначать одно или более свойств идентифицированному объекту голограммы, причем эти одно или более свойств определяют, по меньшей мере частично, одну или более реакций объекта голограммы в соответствии с упомянутым заданным химическим или термическим отношением между физическим объектом и объектом голограммы.

13. Компьютерная система по п.10, при этом упомянутый новый объект голограммы генерируется в ответ на обнаруженное изменение близости.

14. Компьютерная система по п.13, при этом объект голограммы остается немодифицированным.

15. Компьютерная система по п.13, в которой исполнение машиноисполняемых инструкций дополнительно предписывает компьютерной системе модифицировать объект голограммы, причем данное модифицирование объекта голограммы варьируется в соответствии со степенью обнаруженного изменения близости между физическим объектом и объектом голограммы.

16. Компьютерная система по п.10, при этом обнаруженное изменение близости между физическим объектом и объектом голограммы также включает в себя обнаружение изменения в ориентации физического объекта относительно объекта голограммы.

17. Аппаратное запоминающее устройство, на котором сохранены машиноисполняемые инструкции, которые являются исполняемыми одним или более процессорами, чтобы предписывать компьютерной системе выполнять, по меньшей мере, следующее:

идентификацию объекта голограммы;

идентификацию физического объекта, причем физический объект ассоциирован с объектом голограммы в соответствии с заданным химическим или термическим отношением, имеющимся между физическим объектом и объектом голограммы на основе одного или более химических или термических свойств, назначенных физическому объекту и объекту голограммы;

обнаружение изменения близости между объектом голограммы и физическим объектом;

генерирование нового объекта голограммы или модифицированного объекта голограммы в ответ на обнаруженное изменение близости между объектом голограммы и физическим объектом и на основе упомянутого заданного химического или термического отношения, причем новый или модифицированный объект голограммы моделирует химическую или термическую реакцию между объектом голограммы и физическим объектом на основе упомянутого заданного химического или термического отношения, при этом моделируемая химическая или термическая реакция основывается не только на близости между объектом голограммы и физическим объектом, но также основывается на длительности нахождения объекта голограммы в пределах близкого расстояния к физическому объекту, так что степень завершения или интенсивность моделируемой химической или термической реакции между объектом голограммы и физическим объектом зависит от этой длительности, при этом объект голограммы приспособлен реагировать по-разному в соответствии с физическими отношениями с разными физическими объектами, включая упомянутый физический объект; и

сохранение привязки этого нового или модифицированного объекта голограммы.