ВИЗУАЛИЗАЦИЯ И ТОЧНОСТЬ ВОСПРОИЗВЕДЕНИЯ НА ОСНОВЕ ВНИМАНИЯ Российский патент 2018 года по МПК G06F3/01 G06F1/32 G09G5/36 

ПРЕДПОСЫЛКИ ИЗОБРЕТЕНИЯ

ОБЛАСТЬ ТЕХНИКИ

Настоящее изобретение относится в общем виде к электронным системам и в частности к системе и способу использования слежения для распознавания реакции на контент.

ПРЕДШЕСТВУЮЩИЙ УРОВЕНЬ ТЕХНИКИ

В электронных системах, особенно в развлекательных и игровых системах, пользователь обычно управляет поведением или действиями по меньшей мере одного персонажа игровой программы. Ракурс пользователя, определяемый углом камеры, меняется в зависимости от множества факторов, включая аппаратные ограничения, такие как вычислительная мощность системы. В играх с двумерной графикой типовые ракурсы пользователя включают в себя вид сверху вниз («вид с вертолета»), где пользователь видит игру от третьего лица, и вид с боковой прокруткой, где пользователь видит персонажей от третьего лица как они движутся через экран слева направо. Эти ракурсы требуют более низких уровней детализации, и таким образом требуют меньшей вычислительной мощности вычислительных элементов системы.

В играх с трехмерной графикой типовые ракурсы пользователя включают фиксированный 3D вид, где объекты на переднем плане обновляются в реальном времени по отношению к статичному заднему плану, и ракурс пользователя остается фиксированным видом от первого лица (т.е. пользователь видит игру с точки зрения игрового персонажа), и видом от третьего лица, где пользователь видит игрового персонажа с расстояния удаления от игрового персонажа, как, например, сверху или сзади персонажа. Виды зависят от сложности системы камер игры. Обычно используют три типа системы камеры: фиксированная система камеры, следящая система камеры, которая следует за игровым персонажем, и интерактивная система камеры, позволяющая пользователю управлять углом камеры.

Хотя трехмерные ракурсы более реалистичны для пользователя, они требуют большей вычислительной мощности, и, таким образом, уровень детализации при визуализации может страдать в результате истощения вычислительной мощности для создания трехмерного вида.

Поэтому существует необходимость в системе и способе для улучшения баланса между обеспечением детализации визуализации и сохранением вычислительной мощности посредством отслеживания того, где пользователь фокусирует свое внимание во время игрового процесса.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Варианты осуществления настоящего изобретения предлагают способы и системы визуализации на основе внимания в развлекательной системе. Устройство слежения захватывает данные слеживания, ассоциированные с пользователем. Данные слежения используются для определения того, что пользователь cреагировал по меньшей мере на одну область, отображаемую на устройстве отображения, соединенном с развлекательной системой. Процессор передает это определение в блок графической обработки и инструктирует его изменить вычислительную мощность, используемую для визуализации графики в данной области устройства отображения. Если пользователь уделяет внимание этой области, вычислительная мощность возрастает, что, в свою очередь, увеличивает детализацию и точность воспроизведения графики и/или увеличивает скорость, с которой обновляются объекты внутри этой области. Если пользователь не уделяет внимания этой области, вычислительная мощность перенаправляется из этой области, приводя к уменьшению детализации и точности воспроизведения графики и/или уменьшению скорости обновления объектов внутри этой области.

Различные варианты осуществления настоящего изобретения включают способы визуализации в развлекательной системе на основе внимания. Такие способы могут включать прием данных слежения по меньшей мере от одного пользователя при помощи устройства слежения, причем данные слежения захватываются в ответ на реакцию пользователя на по меньшей мере одну область, отображаемую на устройстве отображения. Данные слежения отправляются при помощи устройства слежения на процессор. Процессор выполняет хранящиеся в памяти инструкции, причем при выполнении процессором инструкций используются данные слежения для определения того, что пользователь среагировал по меньшей мере на одну область, и взаимодействует с блоком графического процессора для изменения вычислительной мощности, используемой для визуализации графики. Дополнительный вариант осуществления включает в себя этапы получения выбора пользователем, указывающего настройку для включения энергосберегающего режима, сохранения в памяти этого выбора, и включения энергосберегающего режима, когда данные слежения показывают недостаток внимания пользователя к устройству отображения.

Дополнительные варианты осуществления включают в себя системы для визуализации на основе внимания. Такие системы могут включать в себя память и устройство отображения, соединенное с развлекательной системой. Устройство слежения захватывает данные слежения, ассоциированные с пользователем. Процессор выполняет хранящиеся в памяти инструкции, причем при выполнении процессором инструкций используются данные слежения для определения того, что пользователь среагировал по меньшей мере на одну область, отображаемую на устройстве отображения, и взаимодействует с блоком графической обработки для изменения вычислительной мощности, используемой для визуализации графики.

Некоторые варианты осуществления настоящего изобретения дополнительно включают в себя машиночитаемый запоминающий носитель, имеющий встроенные программы, выполняемые процессорами для реализации методов визуализации на основе внимания.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Фиг. 1 является структурной схемой примера электронной развлекательной системы.

Фиг. 2 является блок-схемой алгоритма этапов способа использования слежения для идентификации реакции на контент.

Фиг. 3А является скриншотом примера окружающей обстановки электронной развлекательной системы, отображающим стандартный уровень детализации.

Фиг. 3B является скриншотом примера окружающей обстановки электронной развлекательной системы, отображающим низкий уровень детализации в областях, на которых пользователь не фокусирует внимание.

Фиг. 3С является скриншотом примера окружающей обстановки электронной развлекательной системы, отображающим высокий уровень детализации в областях, на которых пользователь фокусирует внимание.

ПОДРОБНОЕ ОПИСАНИЕ

Фиг. 1 является структурной схемой примера электронной развлекательной системы 100. Развлекательная система 100 включает в себя основную память 102, центральное процессорное устройство (ЦПУ) 104, по меньшей мере один векторный блок 106, блок 108 графической обработки, процессор 110 ввода-вывода (I/O), память 112 процессора ввода-вывода, интерфейс 114 контроллера, карту 116 памяти, интерфейс 118 универсальной последовательной шины (USB), интерфейс 120 IEEE 1394, вспомогательный интерфейс 122 (ВИ) для связи с устройством 124 слежения, хотя могут использоваться другие стандарты шин и интерфейсы. Развлекательная система 100 дополнительно включает в себя постоянное запоминающее устройство 126 операционной системы (ПЗУ ОС), блок 128 звуковой обработки, блок 130 управления оптическим диском и жесткий диск 132, соединенный через шину 134 с процессором 110 ввода-вывода. Развлекательная система 100 дополнительно включает в себя по меньшей мере одно устройство 124 слежения.

Устройством 124 слежения может быть камера, которая имеет возможности слежения за глазом. Эта камера может быть интегрирована или подключена в качестве периферийного устройства к развлекательной системе 100. В типичных устройствах слежения за глазом инфракрасный неколлимированный свет отражается от глаза и воспринимается камерой или оптическим сенсором. Эта информация затем анализируется для выделения поворота глаза на основе изменений отражений. Средство слежения на основе камер фокусируется на одном или обоих глазах и записывает их движение, пока наблюдатель смотрит на некоторый тип стимула. Средства слежения за глазами на основе камер используют центр зрачка и свет для создания отражения от роговицы (ОР). Вектор между центром зрачка и ОР может быть использован для вычисления точки восприятия на поверхности или направления взгляда. Обычно перед использованием средства слежения за глазами требуется простая процедура калибровки наблюдателя.

В качестве альтернативы, более чувствительные средства слежения используют отражения от передней части роговицы и задней поверхности хрусталика глаза в качестве характеристик для отслеживания во времени. Еще более чувствительные средства слежения изображают элементы внутри глаза, включая кровеносные сосуды сетчатки, и следуют за этими элементами по мере поворота глаза.

Большинство устройств слежения за глазом используют частоту дискретизации по меньшей мере 30 Гц, хотя наиболее общепринятой является 50/60 Гц. Некоторые устройства слежения работают до 1250 Гц, что необходимо для захвата деталей при очень быстром движении глаза.

Вместо этого с настоящим изобретением может быть использована камера дальности для захвата жестов, сделанных пользователем и способная распознавать лицо. Камера дальности обычно используется для захвата и интерпретации специфичных жестов, что позволяет без рук управлять развлекательной системой. Эта технология может использовать инфракрасный проектор, камеру, датчик глубины и микрочип для отслеживания движения объектов и людей в трех измерениях. Эта система использует вариант трехмерной реконструкции на основе изображений.

Устройство 124 слежения может включать в себя микрофон, интегрированный в или подключенный как периферийное устройство к развлекательной системе 100, который захватывает голосовые данные. Этот микрофон может выполнять локализацию акустического источника и/или подавление внешнего шума.

В качестве альтернативы, устройство 124 слежения может быть контроллером развлекательной системы. Этот контроллер может использовать комбинацию встроенных акселерометров и инфракрасное детектирование для восприятия его положения в 3D-пространстве, когда указано на светодиоды поблизости с сенсорами, подключенными или интегрированными в консоль развлекательной системы. Эта конструкция позволяет пользователям управлять игрой при помощи физических жестов так же, как и нажатием кнопок. Контроллер подключается к консоли при помощи беспроводной технологии, позволяющей обмениваться данными на коротких расстояниях (например, 30 футов, или около 9 метров). Контроллер может дополнительно содержать функцию «гула» (т.е. тряски контроллера во время некоторых моментов игры) и/или внутренний динамик.

Контроллер дополнительно или альтернативно может быть разработан для захвата биометрических показаний при помощи сенсоров, расположенных в удалении, для записи данных, включающих в себя, например, влажность кожи, ритм сердца, мышечное движение.

Предпочтительно, развлекательная система 100 является электронной игровой консолью. В качестве альтернативы, развлекательная система 100 может быть реализована как компьютер общего назначения, компьютерная приставка или игровое устройство, которое держат в руках. Дополнительно, похожие развлекательные системы могут содержать больше или меньше управляющих компонентов.

ЦПУ 104, векторный блок 106, блок 108 графической обработки и процессор 110 ввода-вывода взаимодействуют через системную шину 136. Дополнительно, ЦПУ 104 взаимодействует с основной памятью 102 через выделенную шину 138, в то время как векторный блок 106 и блок 108 графической обработки могут взаимодействовать через выделенную шину 140. ЦПУ 104 выполняет программы, хранящиеся в ПЗУ 126 ОС и основной памяти 102. Основная память 102 может содержать предварительно сохраненные программы и программы, переданные через процессор 110 ввода-вывода с CD-ROM, DVD-ROM или другого оптического диска (не показан) с использованием блока 132 управления оптическим диском. Процессор 110 ввода-вывода в первую очередь управляет обменом данными между различными устройствами развлекательной системы 100, включая ЦПУ 104, векторный блок 106, блок 108 графической обработки и интерфейс 114 контроллера.

Блок 108 графической обработки выполняет графические инструкции, принятые от ЦПУ 104 и векторного блока 106 для получения изображений для отображения на устройстве отображения (не показано). Например, векторный блок 106 может трансформировать объекты из трехмерных координат в двумерные координаты и посылать двумерные координаты в блок 108 графической обработки. Более того, блок 130 обработки звука выполняет инструкции для получения звуковых сигналов, которые выводятся на аудиоустройство, такое, как громкоговорители (не показано).

Пользователь развлекательной системы 100 предоставляет инструкции на ЦПУ 104 через интерфейс 114 контроллера. Например, пользователь может инструктировать ЦПУ 104 хранить некоторую информацию об игре на карте 116 памяти или инструктировать персонаж игры для выполнения некоторого конкретного действия.

Другие устройства могут быть соединены с развлекательной системой 100 через интерфейс 118 USB, интерфейс 120 IEEE 1394 и вспомогательный интерфейс 122. В частности, устройство 124 слежения, включающее в себя камеру или сенсор, может быть соединено с развлекательной системой 100 через вспомогательный интерфейс 122, в то время как контроллер может быть соединен через интерфейс 118 USB.

Фиг. 2 является примером блок-схемы алгоритма 200 использования слежения для идентификации реакций пользователя на контент. На этапе 202 данные слежения принимаются по меньшей мере от одного пользователя при помощи устройства слежения, которое захватывает их в ответ на реакцию пользователя по меньшей мере на одну область, отображаемую на устройстве отображения. Данные слежения могут быть основаны на любом типе метода слежения, включая в себя, но не ограничиваясь, слежением на основе жестов с использованием сенсора и камеры дальности или контроллера, содержащего акселерометр и инфракрасное детектирование, слежением за глазами с использованием специализированной камеры или оптического сенсора с использованием инфракрасного света, слежением на основе звука с использованием аудиосенсора или микрофона и/или биометрическим слежением с использованием контроллера, содержащего биометрические сенсоры. На этапе 204 данные слежения посылаются устройством слежения на ЦПУ 104 (Фиг. 1).

На этапе 206 ЦПУ 104 выполняет программный модуль, хранящийся в основной памяти 102 (Фиг. 1) с инструкциями по использованию данных слежения для определения реакции пользователя по меньшей мере на одну область, отображаемую на устройстве отображения. Программный модуль может быть выполнен по заказу для разных заголовков программ или он может быть изначально присущим данной игровой платформе. В качестве альтернативы, программный модуль может иметь различные функции слежения для разных типов интерфейсов (например, аудиослежение, видеослежение или отслеживание жестов). Программный модуль может быть также инсталлирован в основную память 102 при помощи устройства хранения цифровых данных (например, оптического диска), вставленного в развлекательную систему 100 с использованием блока 102 управления оптическим диском. Реакция может быть визуальной реакцией, определяемой, например, по движению глаз пользователя по направлению или в сторону от области. Визуальная реакция может быть захвачена при помощи интегрированной или периферийной камеры, соединенной с развлекательной системой 100. В качестве альтернативы, реакцией может быть эмоциональная реакция пользователя. Эмоциональная реакция может включать в себя, в качестве примера, но не ограничиваясь, голосовую реакцию пользователя, захваченную при помощи микрофона, или биометрическую реакцию, захваченную при помощи интерфейса 114 контроллера (Фиг. 1). Эмоциональная реакция может случиться, например, когда пользователь удивлен событием, происшедшим во время игры (например, пользователь кричит или восклицает), или когда пользователь испуган из-за того, что его игровой персонаж в опасности (например, пользователь потеет или его пульс возрастает).

На этапе 208, когда реакция пользователя показывает, что пользователь фокусирует свое внимание на области устройства отображения, ЦПУ 104 взаимодействует с основной памятью 102 (Фиг. 1) и инструктирует блок 108 графической обработки (Фиг. 1) увеличить вычислительную мощность для визуализации большего числа деталей и качества воспроизведения и/или увеличения скорости, с которой обновляются объекты внутри этой области в реальном времени.

В качестве альтернативы, на этапе 210, когда реакция пользователя показывает, что пользователь не фокусирует свое внимание на области на дисплее, ЦПУ 104 взаимодействует с основной памятью 102 (Фиг. 1) и инструктирует блок 108 графической обработки (Фиг. 1) снизить вычислительную мощность для визуализации деталей и качества воспроизведения и/или уменьшить скорость, с которой обновляются объекты внутри этой области в реальном времени.

Таким образом, большая вычислительная мощность перенаправляется на области дисплея устройства отображения, на которые пользователь фокусирует основное внимание. Например, когда на устройстве отображения отображается специальный эффект, пользователь скорее всего сфокусирует свое внимание на области экрана, в которой происходит этот эффект. Между тем для областей дисплея, на которых пользователь не фокусируется (например, когда эти области находятся на периферийном поле зрения пользователя), требуется меньшая детализация и, следовательно, требуется меньшая вычислительная мощность для визуализации графики. Это позволяет развлекательной системе экономить вычислительную мощность в областях, которые не находятся в фокусе внимания пользователя, и улучшить детали графики в областях, на которых пользователь фокусируется в данный момент.

В другом варианте осуществления настоящего изобретения на этапе 212 пользователь может дополнительно выбирать в модуле настроек настройку экономии энергии. ЦПУ 104 (Фиг. 1) выполняет модуль настроек и инструктирует ему принять этот выбор пользователя и сохранить его в основной памяти 102 (Фиг. 1) развлекательной системы 100. Будучи выбранной, настройка экономии энергии запускает на этапе 214 энергосберегающий режим, когда отслеживаемые данные показывают недостаток внимания пользователя к устройству отображения. Энергосберегающий режим может включать в себя, в качестве примера и не путем ограничения, запуск скрин-сейвера на дисплее. В качестве альтернативы, энергосберегающий режим может требовать выключения развлекательной системы 100.

Фиг. 3А-3С иллюстрируют примеры скриншотов окружающей обстановки развлекательной системы с разными уровнями детализации на основе фокуса пользователя.

Обращаясь теперь к Фиг. 3А, показан скриншот примерной окружающей обстановки 300 развлекательной системы, показывающий стандартный уровень детализации, который может встречаться в игре на развлекательной системе, которая не использует устройство слежения. В этой окружающей обстановке никаких дополнительных деталей не добавилось и не убавилось, так как никакая вычислительная мощность не была перенаправлена на некоторую область экрана на основе внимания пользователя.

Фиг. 3В является скриншотом окружающей обстановки 300, показывающим низкий уровень детализации в областях, в которых пользователь не фокусирует внимание. Область 310 фокуса идентифицирована устройством слежения как область, на которой фокусируется пользователь. Область 310 фокуса имеет нормальный уровень детализации, такой, как показано на Фиг. 3А. Оставшаяся часть окружающей обстановки 300 имеет уменьшенную детализацию, поскольку вычислительная мощность была перенаправлена из этих областей, которые предположительно видимы пользователю только периферическим зрением. Поэтому необходим более низкий уровень визуализации.

Фиг. 3С является скриншотом окружающей обстановки 300, показывающим высокий уровень детализации в областях, в которых пользователь фокусирует внимание. Область 310 фокуса имеет более высокий уровень детализации, поскольку вычислительная мощность была перенаправлена из оставшегося экрана, так как устройство слежения распознало, что пользователь фокусирует внимание только на области 310 фокуса. Событие, такое как авария автомобиля, видимая в области 310 фокуса, является одним примером события игровой окружающей обстановки, которое может обратить внимание пользователя на определенную область экрана. Таким образом, более высокий уровень визуализации необходим в области, такой как область 310 фокуса, для совершенствования игрового опыта пользователя.

Настоящее изобретение описано выше применительно к конкретным вариантам осуществления. Однако будет очевидным, что к нему могут быть сделаны различные модификации и изменения без отхода от более широкой сущности и области настоящего изобретения, как указано в формуле изобретения. Вышеизложенное описание и рисунки соответственно должны больше рассматриваться в качестве иллюстрации, чем в смысле ограничения.

Изобретение относится к электронным системам. Технический результат заключается в улучшении баланса между обеспечением детализации визуализации и сохранением вычислительной мощности. Устройство слежения захватывает данные, ассоциированные с пользователем, которые используются для определения того, что пользователь среагировал (например, визуально или эмоционально) на определенную часть экрана. Вычислительная мощность в этой части экрана возрастает, что увеличивает детализацию и качество воспроизведения графики и/или скорость обновления. Вычислительная мощность в областях экрана, на которые пользователь не обращает внимания, уменьшается и перенаправляется из этих областей, приводя к снижению детализации и качества воспроизведения графики и/или скорости обновления. 3 н. и 17 з.п. ф-лы, 5 ил.

1. Способ для визуализации на основе отслеживания реакции пользователя, причем способ содержит этапы, на которых:

принимают данные слежения по меньшей мере от одного пользователя при помощи устройства слежения, причем данные слежения захватываются в ответ на реакцию пользователя по меньшей мере на одну область, отображаемую на единственном дисплее устройства отображения, и причем реакция пользователя ассоциирована с событием, которое было только что отображено по меньшей мере на одной области, отображаемой на упомянутом единственном дисплее устройства отображения;

отправляют данные слежения при помощи устройства слежения на процессор;

выполняют сохраненные в памяти инструкции, причем выполнение инструкций производится процессором, который:

использует данные слежения для определения того, что пользователь среагировал по меньшей мере на одну область единственного дисплея устройства отображения, ассоциированную с событием, которое было только что отображено на единственном дисплее на устройстве отображения; и

взаимодействует с блоком графической обработки для изменения вычислительной мощности, используемой для визуализации графики c учетом только что отображенного события по меньшей мере в одной области единственного дисплея.

2. Способ по п. 1, причем данные слежения включают в себя данные слежения на основе жестов.

3. Способ по п. 1, причем данные слежения включают в себя данные слежения о сетчатке.

4. Способ по п. 1, причем данные слежения включают в себя данные слежения на основе звука.

5. Способ по п. 1, причем реакция включает в себя визуальную реакцию.

6. Способ по п. 5, причем визуальная реакция определяется по движению глаз по направлению к или от данной области.

7. Способ по п. 5, причем визуальная реакция захватывается при помощи камеры, интегрированной в развлекательную систему.

8. Способ по п. 5, причем визуальная реакция захватывается периферийной камерой, соединенной с развлекательной системой.

9. Способ по п. 1, причем реакция включает в себя эмоциональную реакцию.

10. Способ по п. 9, причем эмоциональная реакция включает в себя голосовую реакцию пользователя.

11. Способ по п. 9, причем голосовая реакция захватывается при помощи микрофона.

12. Способ по п. 1, причем реакция включает в себя биометрическую реакцию.

13. Способ по п. 1, причем реакция указывает, что пользователь фокусируется на области.

14. Способ по п. 2, причем вычислительная мощность увеличивается для визуализации большего числа деталей и качества воспроизведения графики в области.

15. Способ по п. 2, причем вычислительная мощность увеличивается для обновления по меньшей мере одного объекта внутри области в реальном времени.

16. Способ по п. 1, причем реакция указывает, что пользователь не фокусируется на области.

17. Способ по п. 16, причем вычислительная мощность, перенаправляемая в область, уменьшается на основе такой реакции, при которой пользователь не фокусируется на области.

18. Способ по п. 1, дополнительно содержащий этапы, на которых:

принимают выбор пользователя, указывающий настройку для запуска режима энергосбережения;

сохраняют этот выбор в памяти; и

запускают режим энергосбережения, когда данные слежения указывают недостаток внимания пользователя к единственному дисплею устройства отображения.

19. Энергонезависимый машиночитаемый запоминающий носитель, имеющий записанную в нем программу, причем программа, выполняемая процессором для осуществления способа визуализации на основе отслеживания реакции пользователя, содержащего:

прием данных слежения по меньшей мере от одного пользователя при помощи устройства слежения, где данные слежения захватываются в ответ на реакцию пользователя по меньшей мере на одну область, отображаемую на единственном дисплее устройства отображения, и причем реакция пользователя ассоциирована с событием, которое было только что отображено по меньшей мере на одной области, отображаемой на единственном дисплее устройства отображения;

отправку данных слежения при помощи устройства слежения на процессор;

использование данных слежения для определения того, что пользователь среагировал по меньшей мере на одну область единственного дисплея на устройстве отображения, ассоциированную с событием, которое было только что отображено на единственном дисплее на устройстве отображения; и

взаимодействие с блоком графической обработки для изменения вычислительной мощности, используемой для визуализации графики с учетом события, которое только что было отображено в по меньшей мере одной области единственного дисплея.

20. Система для визуализации на основе отслеживания реакции пользователя, содержащая:

память;

устройство отображения, имеющее единственный дисплей;

устройство слежения для захвата данных слежения, ассоциированных с пользователем, причем данные слежения захватываются в ответ на реакцию пользователя по меньшей мере на одну область, отображаемую на единственном дисплее устройства отображения, и причем реакция пользователя ассоциирована с событием, которое только что было отображено в по меньшей мере одной области, отображаемой на единственном дисплее устройства отображения;

процессор для выполнения инструкций, хранящихся в памяти, причем выполнение инструкций производится процессором, который:

использует данные слежения для определения того, что пользователь среагировал по меньшей мере на одну область, отображаемую единственным дисплеем на устройстве отображения, ассоциированную с событием, которое только что было отображено на единственном дисплее на устройстве отображения; и

взаимодействует с блоком графической обработки для изменения вычислительной мощности, используемой для визуализации графики c учетом только что отображенного события по меньшей мере в одной области единственного дисплея.