УСТРОЙСТВО ОБРАБОТКИ ИНФОРМАЦИИ, СПОСОБ УПРАВЛЕНИЯ ОТОБРАЖЕНИЕМ И ПРОГРАММА Российский патент 2017 года по МПК G06F3/01 

Область техники, к которой относится изобретение

Настоящее изобретение относится к устройству обработки информации, способу управления отображением и программе, кодированной на энергонезависимом компьютерном носителе записи.

Уровень техники

В последние годы объем информации, предоставляемой пользователям информационными устройствами, становится все более чудовищным в результате развития информационных технологий. Кроме того, пользователи тратят все больше времени при взаимодействии с информацией. Например, в литературе PTL 1 ниже рассмотрена технология, представляющая биологическую информацию пользователя на экране устанавливаемого на голове устройства отображения (HMD) с такой целью, как, например, охрана здоровья. В соответствии с технологией, предлагаемой в литературе PTL 1, сообщения, относящиеся к биологической информации пользователя, можно прокручивать на экране. Сообщения представляют на устройстве отображения даже в то время, когда пользователь выполняет физические упражнения, такие как бег трусцой.

Список литературы

Патентная литература

PTL 1 - JP 2008-99834 А

Раскрытие изобретения

Техническая проблема

Однако в случае предоставления информации через обычное информационное устройство пользователь активизирует экран, когда хочет получить информацию. Напротив, в случае предоставления информации через носимое устройство, такое как устройство отображения HMD, экран работает непрерывно, независимо от того, наблюдает ли пользователь в этот момент активно за экраном. Кроме того, разнообразная информация может быть представлена на устройстве отображения даже тогда, когда пользователь занят каким-либо делом. По этой причине, в случае предоставления информации через носимое устройство имеется большая вероятность, что моменты, когда пользователь захочет получить информацию, не будут синхронизированы с моментами, когда интересующая пользователя информация бывает представлена на устройстве отображения.

Следовательно, желательно разработать механизм, решающий эту проблему асинхронности и позволяющий пользователю эффективно получать информацию.

Решение проблемы

Настоящее изобретение в широком смысле содержит устройство, способ и программу, кодированную на энергонезависимом компьютерном носителе записи. В одном из вариантов устройство содержит схему управления отображением для управления представлением контента на устройстве отображения; и схему ввода пользователем для приема команд от пользователя. Схема управления отображением выполнена с возможностью изменения прокрутки контента, автоматически прокручиваемого в первом направлении, на основе команды от пользователя.

Преимущества изобретения

Согласно технологии, предлагаемой в настоящем изобретении, в случае предоставления информации через носимое устройство становится возможным для пользователя эффективно получать интересующую его информацию в моменты, когда он хочет получить эту информацию.

Краткое описание чертежей

Фиг. 1 представляет пояснительную схему, иллюстрирующую первый пример внешнего вида устройства обработки информации.

Фиг. 2А представляет первую пояснительную схему для объяснения первого примера прокручиваемого объекта.

Фиг. 2В представляет вторую пояснительную схему для объяснения первого примера прокручиваемого объекта.

Фиг. 3 представляет пояснительную схему для объяснения второго примера прокручиваемого объекта.

Фиг. 4 представляет пояснительную схему для объяснения третьего примера прокручиваемого объекта.

Фиг. 5 представляет блок-схему, иллюстрирующую пример конфигурации аппаратуры устройства обработки информации согласно одному из вариантов.

Фиг. 6 представляет блок-схему, иллюстрирующую пример логической функциональной конфигурации аппаратуры устройства обработки информации согласно одному из вариантов.

Фиг. 7 представляет пояснительную схему для объяснения первого способа определения операции пользователя.

Фиг. 8 представляет пояснительную схему для объяснения второго способа определения операции пользователя.

Фиг. 9 представляет пояснительную схему для объяснения примера перемещения позиции прокрутки в обратном направлении в соответствии с операцией пользователя.

Фиг. 10 представляет пояснительную схему для объяснения примера ускоренного перемещения позиции прокрутки в прямом направлении в соответствии с операцией пользователя.

Фиг. 11 представляет пояснительную схему для объяснения другого примера перемещения позиции прокрутки в обратном направлении в соответствии с операцией пользователя.

Фиг. 12 представляет логическую схему, иллюстрирующую первый пример последовательности операций процедуры управления отображением согласно одному из вариантов.

Фиг. 13 представляет логическую схему, иллюстрирующую второй пример последовательности операций процедуры управления отображением согласно одному из вариантов.

Фиг. 14А представляет логическую схему, иллюстрирующую первый пример подробной последовательности операций процедуры выбора цели.

Фиг. 14В представляет логическую схему, иллюстрирующую второй пример подробной последовательности операций процедуры выбора цели.

Фиг. 15 представляет пояснительную схему для объяснения выбора целевого объекта операции на основе определения жеста.

Фиг. 16 представляет первую пояснительную схему для объяснения первого примера дополнительного управления отображением в соответствии с операцией пользователя.

Фиг. 17 представляет первую пояснительную схему для объяснения второго примера дополнительного управления отображением в соответствии с операцией пользователя.

Фиг. 18 представляет пояснительную схему для объяснения примера связи устройства обработки информации и внешнего устройства.

Фиг. 19 представляет пояснительную схему для объяснения третьего способа обнаружения операции пользователя.

Описание вариантов

Специалисты в рассматриваемой области должны понимать, что возможны различные модификации, сочетания и изменения в зависимости от конкретных проектных требований и других факторов до тех пор, пока такие модификации, сочетания и изменения остаются в пределах объема прилагаемой Формулы изобретения или ее эквивалентов.

Далее предпочтительные варианты настоящего изобретения будут рассмотрены подробно и со ссылками на прилагаемые чертежи. Отметим, что в настоящем описании и на чертежах структурным элементам, имеющим по существу одинаковые функции и структуру, присвоены одни и те же цифровые позиционные обозначения, а повторное объяснение таких структурных элементов опущено.

Описание будет дано в следующем порядке.

1. Общий обзор

2. Конфигурация устройства согласно варианту

2-1. Конфигурация аппаратуры

2-2. Функциональная конфигурация

3. Последовательность операций

3-1. Общая последовательность операций

3-2. Процедура выбора цели операции

3-3. Дополнительное управление отображением

4. Связь с внешним устройством

5. Заключение

1. Общий обзор

Технология согласно настоящему изобретению применима к разнообразным формам устройства обработки информации, типовым примером которого является носимое устройство, такое как устанавливаемое на голове устройство отображения (head-mounted display (HMD)).

Фиг. 1 представляет пояснительную схему, иллюстрирующую первый пример внешнего вида устройства обработки информации, к которому может быть применена технология согласно настоящему изобретению. В примере, показанном на фиг. 1, устройство 100 обработки информации представляет собой носимое устройство в виде очков, надеваемое на голову пользователя. Это устройство 100 обработки информации содержит пару экранов SCa и SCb, корпус HS, входной объектив LN считывания изображения и сенсорную поверхность TS. Экраны SCa и SCb представляют собой просвечивающие экраны (сквозь которые можно смотреть) или непросвечивающие экраны (сквозь которые нельзя смотреть), расположенные перед левым глазом и перед правым глазом пользователя, соответственно. Отметим, что вместо экранов SCa и SCb, может быть также применен единственный экран, расположенный перед обоими глазами пользователя. Корпус HS содержит раму, служащую опорой для экранов SCa и SCb, и именуемые дужками очков детали, расположенные по бокам головы пользователя. Внутри этих «дужек» находятся разнообразные модули обработки информации. Входной объектив LN расположен таким образом, что его оптическая ось приблизительно параллельна линии взгляда пользователя, и предназначен для считывания изображений. Сенсорная поверхность TS представляет собой поверхность, воспринимающую прикосновения пользователя, и используется для того, чтобы устройство 100 обработки информации принимало входные операции от пользователя. Вместо сенсорной поверхности TS в корпусе HS могут быть также установлены операционные механизмы, такие как кнопки, переключатель или колесико.

Как показано на фиг. 1, экраны SCa и SCb устройства 100 обработки информации постоянно присутствуют в поле зрения пользователя. Кроме того, разнообразная информация может быть представлена на экранах SCa и SCb независимо от того, чем занят пользователь. Информация, представляемая пользователю, может быть в текстовом формате или в графическом формате. Информация может автоматически прокручиваться на экране, если индивидуальные сегменты (объекты) информации не малы. В настоящем описании информационный объект, автоматически прокручиваемый на экране, называется прокручиваемым объектом.

Фиг. 2А и 2В являются пояснительными схемами для объяснения первого примера прокручиваемого объекта. Как показано на фиг. 2А, прокручиваемый объект SI01, выражающий информацию, принадлежащую к новостной информации, представлен на экране отображения устройства 100 обработки информации. Размер представления прокручиваемого объекта SI01 на устройстве отображения недостаточно велик, чтобы сразу показать полное содержание (контент) новости. По этой причине устройство 100 обработки информации автоматически прокручивает строку, содержащую контент новости, в направлении D01 прокрутки внутри прокручиваемого объекта SI01. Как показано на фиг. 2А, прокручиваемый объект SI01 представляет первую половину содержания новости, тогда как на фиг. 2В, прокручиваемый объект SI01 представляет вторую половину содержания новости.

Фиг. 3 представляет пояснительную схему для объяснения второго примера прокручиваемого объекта. Как показано на фиг. 3, прокручиваемый объект SI02, выражающий содержание изображения, представлен на экране устройства 100 обработки информации. Размер прокручиваемого объекта SI02 на экране отображения недостаточно велик, чтобы представить все изображение сразу. По этой причине устройство 100 обработки информации автоматически прокручивает контент изображения в направлении D02 прокрутки внутри прокручиваемого объекта SI02.

Прокручиваемые объекты, обсуждавшиеся выше, представляют собой информационные объекты, виртуально генерируемые устройством 100 обработки информации. Напротив, технология согласно настоящему изобретению также работает с информацией, представляемой прокручиваемым объектом в реальном пространстве. Фиг. 4 представляет пояснительную схему для объяснения третьего примера прокручиваемого объекта. В примере, показанном на фиг. 4, экран устройства 100 обработки информации обращен в сторону электронного табло в реальном пространстве RS1. Это электронное табло представляет собой устройство отображения, установленное в таком месте, как, например, железнодорожная станция, и автоматически прокручивающее информацию о расписании поездов в направлении D03 прокрутки. Устройство 100 обработки информации работает с информационным объектом, представленным на электронном табло и появляющимся в составе считываемого изображения, как с прокручиваемым объектом SI03. Информационное содержание прокручиваемого объекта SI03 может быть получено через модуль связи устройства 100 обработки информации.

Эти прокручиваемые объекты предоставляют пользователю много информации без каких-либо операций со стороны пользователя. Однако автоматическая прокрутка приводит к тому, что моменты времени, когда пользователь хочет ознакомиться с информацией, оказываются несинхронизированы с моментами, когда на экране отображения представлена информация, интересующая пользователя. Например, когда пользователь смотрит на расписание поездов, есть вероятность, что название линии, где поезд опаздывает, уже ушло в результате прокрутки из поля зрения. Кроме того, даже хотя пользователь может хотеть быстро узнать результат спортивного матча, есть вероятность, что ему придется ждать несколько секунд, пока этот результат не появится на устройстве отображения. Таким образом, в варианте, подробно рассматриваемом в следующем разделе, предложен интерфейс пользователя, позволяющий решить проблему такой асинхронности и дающий возможность пользователю эффективно получать информацию.

2. Конфигурация устройства согласно варианту

2-1. Конфигурация аппаратуры

Фиг. 5 представляет блок-схему, иллюстрирующую пример конфигурации аппаратуры устройства 100 обработки информации согласно одному из вариантов. Как показано на фиг. 5, устройство 100 обработки информации содержит модуль 102 считывания изображения, модуль 104 датчиков, модуль 106 оперирования, запоминающее устройство 108, устройство 110 отображения, модуль связи 112, шину 116 и контроллер 118.

(1) Модуль считывания изображений

Модуль 102 считывания изображений представляет собой модуль видеокамеры считывания изображений. Этот модуль 102 считывания изображений содержит объектив LN, как показано в примере на фиг. 1, формирователь сигналов изображения на основе приборов с зарядовой связью (CCD), КМОП-структур (CMOS) или элементов другого типа и схему обработки изображения. Модуль 102 считывания изображения считывает изображение реального пространства, находящегося в поле зрения пользователя, и генерирует считываемое изображение. Последовательность таких считываемых изображений, генерируемых модулем 102 считывания изображения, может составить видео программу.

(2) Модуль датчиков

Модуль 104 датчиков может иметь датчик местоположения для измерения характеристик (координат) местоположения устройства 100 обработки информации. Датчик местоположения может представлять собой, например, датчик системы глобального местоопределения (Global Positioning System (GPS)), который принимает сигналы GPS и измеряет широту, долготу и высоту устройства. В другом варианте датчик местоположения может представлять собой датчик, определяющий местоположение на основе уровней радиосигналов, принимаемых от точек радиодоступа. Модуль 104 датчиков передает выходные данные о местоположении от указанного датчика местоположения контроллеру 118.

(3) Модуль оперирования

Модуль 106 оперирования представляет собой интерфейс оперирования, используемый, чтобы пользователь мог оперировать с устройством 100 обработки информации или вводить информацию в устройство 100 обработки информации. Этот модуль 106 оперирования может принимать операции пользователя через сенсорную поверхность TS сенсорного датчика, показанного на фиг. 1, например. Вместо (или в дополнение к) сенсорного датчика операционный модуль 106 может также содержать операционные интерфейсы других типов, такие как кнопки, переключатели, клавишная панель или интерфейс голосового ввода. Отметим, что как будет описано позднее, операции пользователя могут быть также обнаружены путем распознавания операционного объекта, появившегося в считываемом изображении, а не через перечисленные операционные интерфейсы.

(4) Запоминающее устройство

Запоминающее устройство 108 реализовано с использованием носителя записи, такого как полупроводниковая память или жесткий диск, и хранит программы и данные, используемые в процессе работы в устройстве 100 обработки информации. Отметим, что некоторые программы и данные, рассматриваемые в настоящем описании, могут быть получены от внешнего источника данных (такого, как сервер данных, сетевое хранилище информации или присоединенное извне запоминающее устройство, например), а не храниться в запоминающем устройстве 108.

(5) Устройство отображения

Устройство 110 отображения представляет собой модуль отображения, содержащий экран, расположенный так, чтобы находиться в поле зрения пользователя, (такой, как пара экранов SCa и SCb, показанных на фиг. 1, например) и схему отображения. Устройство 110 отображения представляет на экране выходные изображения, генерируемые контроллером 150 отображения, который будет рассмотрен позднее.

(6) Модуль связи

Модуль 112 связи представляет собой интерфейс связи, служащий посредником для связи между устройством 100 обработки информации и другим устройством. Модуль 112 связи поддерживает произвольный протокол радиосвязи или протокол проводной связи и устанавливает соединение для связи с другим устройством.

(7) Шина

Шина 116 соединяет модуль 102 считывания изображения, модуль 104 датчиков, операционный модуль 106, запоминающее устройство 108, устройство 110 отображения, модуль 112 связи и контроллер 118 одно с другим.

(8) Контроллер

Контроллер 118 соответствует процессору, такому как центральный процессор (CPU) или цифровой процессор сигнала (DSP). Контроллер осуществляет различные функции устройства 100 обработки информации, которые будут описаны позднее, путем выполнения программы, хранящейся в запоминающем устройстве 108 или на другом носителе записи.

2-2. Функциональная конфигурация

Фиг. 6 представляет блок-схему, иллюстрирующую пример конфигурации логических функций, реализуемых запоминающим устройством 108 и контроллером 118 в устройстве 100 обработки информации, показанном на фиг. 5. Как показано на фиг. 6, устройство 100 обработки информации содержит модуль 120 распознавания изображения, модуль 130 обнаружения, модуль 140 сбора информации, и контроллер 150 отображения.

(1) Модуль распознавания изображения

Модуль 120 распознавания изображения осуществляет распознавание оперирующего объекта, появившегося в считываемом изображении. В качестве оперирующего объекта может быть использован, например, палец пользователя, палочка или какой-либо стержнеподобный объект, который держит пользователь. Способы распознавания такого оперирующего объекта, появившегося в считываемом изображении, описаны, например, в публикации нерассмотренной Заявки на выдачу патента Японии No. 2011-203823 и публикации нерассмотренной Заявки на выдачу патента Японии No. 2011-227649. После распознавания оперирующего объекта, появившегося в считываемом изображении, модуль 120 распознавания изображения передает устройству 130 обнаружения информацию о результатах распознавания, такую как позиция распознанного операционного объекта в изображении (позиция кончика операционного объекта, например) и форма объекта.

Модуль 120 распознавания изображения может также распознать объект или человека, появившегося в считываемом изображении. Например, этот модуль 120 распознавания изображения потенциально может распознать объект, появившийся в считываемом изображении, с использованием общепринятой технологии распознавания объектов, такой как сопоставление с образцом. Кроме того, модуль 120 распознавания изображения потенциально может распознать человека, появившегося в считываемом изображении, с использованием общепринятой технологии распознавания лиц. Результаты такого распознавания изображения, выполненного посредством модуля 120 распознавания изображения, могут быть использованы при выборе информации, какую нужно предоставить пользователю, или для расположения информационных объектов на экране. Модуль 120 распознавания изображения может также не производить распознавания объектов или распознавания людей в случае предоставления информации независимо от считываемого изображения.

(2) Модуль обнаружения

Модуль 130 обнаружения определяет операции пользователя. Например, в качестве первого способа, модуль 130 обнаружения может определить движение оперирующего объекта, распознанного посредством модуля 120 распознавания изображения, в качестве операции пользователя. Если целевым объектом операции является прокручиваемый объект, движение оперирующего объекта в направлении прокрутки для прокручиваемого объекта или в противоположном направлении может быть определено в качестве операции пользователя для перемещения позиции прокрутки прокручиваемого объекта. Указанный целевой объект операции может представлять собой объект, находящийся в позиции, наложенной на оперирующий объект в составе считываемого изображения. Может быть также определен жест, которым пользователь задает целевой объект операции. Например, таким жестом для задания целевого объекта операции может быть форма пальца или движение, выполняемое, чтобы взять объект в руку, или движение пальца с целью нажать на объект. Публикация нерассмотренной Заявки на выдачу патента Японии No. 2011-209965 предлагает способ определения жеста, выполняемого, чтобы нажать на объект, на основе изменения размера пальца на изображении.

Фиг. 7 представляет пояснительную схему для объяснения первого способа определения операции пользователя. На фиг. 7 показано, как происходит распознавание операционного объекта МВ1 в считываемом изображении от момента Т до момента Т+dT. В момент Т оперирующий объект МВ1 направлен в точку (указательную позицию) Р1. После этого оперирующий объект МВ1 перемещается влево и в момент Т+dT этот оперирующий объект МВ1 направлен в точку (указательную позицию) Р2. Если вектор V1 от точки Р1 к точке Р2 ориентирован в направлении прокрутки прокручиваемого объекта, может произойти ускоренная прокрутка этого прокручиваемого объекта на величину, зависящую от размера вектора V1. Если вектор V1 ориентирован в направлении, противоположном направлению прокрутки прокручиваемого объекта, этот прокручиваемый объект может быть прокручен («отмотан» назад) на величину прокрутки, зависящую от размера вектора V1.

Кроме того, в качестве второго способа модуль 130 обнаружения может определить прикосновение пользователя к сенсорной поверхности TS, установленной на корпусе HS, служащем опорой для экрана, как показано на фиг. 1, в качестве операции пользователь посредством модуля 106 оперирования. Двумерная система координат считываемого изображения ассоциирована с двумерной системой координат сенсорной поверхности TS в соответствии с коэффициентом преобразования координат, который может быть настроен заранее. Когда целевым объектом операции является прокручиваемый объект, жест в направлении прокрутки этого прокручиваемого объекта или в направлении, противоположном направлению прокрутки, (такой как перетаскивание или постукивание, например) может быть определен в качестве операции пользователя для перемещения позиции прокрутки прокручиваемого объекта. Целевой объект операции может представлять собой объект, находящийся в позиции, накладывающейся на указательную позицию (позицию в считываемом изображении, соответствующую позиции прикосновения), например. Жест прикосновения, которым пользователь задает целевой объект операции, (такой как легкий удар или двойной удар) также может быть определен.

Фиг. 8 представляет пояснительную схему для объяснения второго способа определения операции пользователя. Фиг. 8 иллюстрирует, как пользователь прикасается к сенсорной поверхности TS своим пальцем. Когда палец перемещается, происходит распознавание вектора V2, выражающего направление движения и величину перемещения. Если ориентация вектора V2 соответствует направлению прокрутки прокручиваемого объекта, этот прокручиваемый объект может быть быстро прокручен вперед, в прямом направлении на величину, зависящую от размера вектора V2. Если ориентация вектора V1 соответствует направлению, противоположному направлению прокрутки прокручиваемого объекта, этот прокручиваемый объект может быть прокручен в обратном направлении (назад) на величину, зависящую от размера вектора V2.

Отметим, что способы определения операций пользователя не ограничиваются рассмотренными здесь примерами. Например, модуль 130 обнаружения может также определить операцию пользователя для перемещения позиции прокрутки прокручиваемого объекта с использованием физического операционного механизма, такого как навигационные клавиши, колесико, наборный диск или переключатель, установленные на корпусе HS. Другие способы определения операций пользователя будут дополнительно рассмотрены позднее.

После определения операции пользователя модуль 130 обнаружения передает информацию о событии операции пользователя модулю 140 сбора информации и контроллеру 150 отображения. Событие операции пользователя может содержать данные, сообщающие подробности операции, такие как указательная позиция, вектор операции (такой как вектор V1 или V2, рассмотренный выше, например) и тип операции (такой как жест, например).

(3) Модуль сбора информации

Модуль 140 сбора информации получает информацию для предоставления ее пользователю. Например, модуль 140 сбора информации обращается к серверу данных через модуль 112 связи и получает информацию от этого сервера данных. В противном случае, модуль 140 сбора информации может также получить информацию, хранящуюся в запоминающем устройстве 108. Этот модуль 140 сбора информации может также получить информацию, уникальную для некоторого места, используя данные, поступающие от модуля 104 датчиков. Модуль 140 сбора информации может также получить дополнительную информацию, ассоциированную с объектом или человеком, появившимся на считываемом изображении, распознаваемом посредством модуля 120 распознавания изображения. Дополнительная информация может содержать такую информацию, как имя и атрибуты, объекта или человека, связанное с ним сообщение или связанную с ним рекламу.

Модуль 140 сбора информации может также периодически получать информацию через фиксированные интервалы. Кроме того, модуль 140 сбора информации может также получать информацию в ответ на запускающее событие, такое как определение некой заданной конкретной операции пользователя или активизация приложения, предоставляющего информацию. Например, в ситуации, показанной на фиг. 4, модуль 120 распознавания изображения осуществляет распознавание электронного табло, появившегося на считываемом изображении. После этого, если обнаружена операция пользователя, указывающая на прокручиваемый объект SI03 распознанного электронного табло, модуль 140 сбора информации дает команду модулю 112 связи принять, от сервера данных, информационный объект, представляемый на дисплее прокручиваемым объектом SI03.

Модуль 140 сбора информации передает информацию, которая может быть получена различными способами, обсуждавшимися выше, контроллеру 150 отображения.

(4) Контроллер отображения

Контроллер 150 инициирует представление на экране устройства 110 отображения разнообразных информационных объектов с целью предоставления пользователю информации, поступающей от модуля 140 сбора информации. Среди информационных объектов, представляемых контроллером 150 отображения, могут быть прокручиваемые объекты и непрокручиваемые объекты. Прокручиваемый объект представляет собой объект, информационное содержание которого автоматически прокручивается в заданном направлении прокрутки. Контроллер 150 отображения управляет представлением на устройстве отображения прокручиваемых объектов и непрокручиваемых объектов в соответствии с операциями пользователя, определяемыми устройством 130 обнаружения.

В ответ на конкретную операцию пользователя контроллер 150 отображения перемещает позицию прокрутки прокручиваемого объекта в направлении прокрутки или в направлении, противоположном направлению прокрутки. Например, в случае обнаружения первой операции пользователя контроллер 150 отображения осуществляет обратную прокрутку (обратную «перемотку») прокручиваемого объекта путем перемещения позиции прокрутки прокручиваемого объекта в направлении, противоположном направлению прокрутки. Таким образом, становится возможным для пользователя еще раз посмотреть информацию, которая уже ушла из поля зрения в результате прокрутки в прямом направлении. Кроме того, в случае определения второй операции пользователя контроллер 150 отображения осуществляет ускоренную прокрутку прокручиваемого объекта в прямом направлении путем перемещения позиции прокрутки прокручиваемого объекта в направлении прокрутки. Таким образом, становится возможным для пользователя быстро просмотреть информацию, которая еще не была представлена прокручиваемым объектом. Более того, в случае, когда на экране представлены несколько информационных объектов, контроллер 150 отображения может также выбрать объект для управления из этих нескольких информационных объектов в соответствии с третьей операцией пользователя. В качестве примера, первая операция пользователя и вторая операция пользователя могут быть перемещениями операционного объекта, как описано с использованием фиг. 7, или жестом прикосновения, как это описано с использованием фиг. 8. Третья операция пользователя может представлять конкретную форму (траекторию) перемещения операционного объекта или конкретный жест прикосновения.

Фиг. 9 представляет пояснительную схему для объяснения примера перемещения позиции прокрутки в обратном направлении в соответствии с операцией пользователя. Как показано в верхней части фиг. 9, на экране отображения устройства 100 обработки информации представлен прокручиваемый объект SI1. Контроллер 150 отображения автоматически прокручивает влево строку, содержащую новостной контент, внутри прокручиваемого объекта SI1. Оперирующий объект МВ1 направлен на прокручиваемый объект SI1. После этого, если пользователь переместил оперирующий объект MB1 в направлении D11, контроллер 150 отображения прокручивает указанный прокручиваемый объект SI1 в обратном направлении, как показано в нижней части фиг. 9. Позиция прокрутки прокручиваемого объекта SI1 перемещается вправо в направлении D11. Например, фиг. 9 показывает, как слово "brink" движется вправо. Теперь пользователь может увидеть первую половину новостного контента, которую он пропустил.

Фиг. 10 представляет пояснительную схему для объяснения примера ускоренного перемещения позиции прокрутки в прямом направлении в соответствии с операцией пользователя. В верхней части фиг. 10 показан прокручиваемый объект SI1, представленный на экране устройства 100 обработки информации. Контроллер 150 отображения автоматически прокручивает влево строку, содержащую новостной контент внутри прокручиваемого объекта SI1. Оперирующий объект МВ1 указывает на прокручиваемый объект SI1. После этого, если пользователь перемещает оперирующий объект МВ1 в направлении D12, контроллер 150 отображения быстро перемещает позицию прокрутки в прокручиваемом объекте SI1 вперед, как показано в нижней части фиг. 10. Позиция прокрутки прокручиваемого объекта SI1 перемещается влево в направлении D12. Например, на фиг. 10 показано, как фраза "grand slam" перемещается влево. Затем пользователь может быстро посмотреть вторую половину новостного контента, с которым он хотел быстро ознакомиться.

Фиг. 11 представляет пояснительную схему для объяснения другого примера перемещения позиции прокрутки в обратном направлении в соответствии с операцией пользователя. В верхней части фиг. 11 прокручиваемый объект SI2, представленный на табло в реальном пространстве, появляется на экране устройства 100 обработки информации. Когда модуль 120 распознавания изображения успешно распознает прокручиваемый объект SI2, контроллер 150 накладывает индекс IT1, сообщающий об успешном распознавании, поверх прокручиваемого объекта SI2 на экране. Оперирующий объект МВ1 указывает на прокручиваемый объект SI2. После этого пользователь перемещает оперирующий объект МВ1 в направлении D13, как показано в нижней части фиг. 11. Когда устройство 130 обнаружения определит такую операцию пользователя, модуль 140 сбора информации получает информационный объект, представленный прокручиваемым объектом SI2, от сервера данных через модуль 112 связи. Затем контроллер 150 отображения генерирует прокручиваемый объект SI3, представляющий полученную информацию, помещает сформированный им прокручиваемый объект SI3 на экран и осуществляет прокрутку этого прокручиваемого объекта SI3 в обратном направлении. Позиция прокрутки указанного прокручиваемого объекта SI3 перемещается вправо в направлении D13. Например, фиг. 11 демонстрирует, как слово "delayed" перемещается вправо. В результате пользователь может посмотреть первую половину информации, прокручиваемой в реальном пространстве (в примере, показанном на фиг. 11, информацию расписания поездов). Таким образом, по команде пользователя осуществляется прокрутка на устройстве отображения первой половины информации в обратном хронологическом порядке.

3. Последовательность операций

3-1. Общая последовательность операций

(1) Первый пример

Фиг. 12 представляет логическую схему, иллюстрирующую первый пример последовательности операций процедуры управления отображением, выполняемой устройством 100 обработки информации. В этом первом примере информацию пользователю предоставляют посредством информационного объекта, виртуально генерируемого контроллером 150 отображения.

Как показано на фиг. 12, сначала контроллер 150 получает считываемое изображение, генерируемое модулем 102 считывания изображений (этап S10). Затем этот контроллер 150 отображения помещает на экране один или более информационных объектов, выражающих информацию, полученную модулем 140 сбора информации (этап S12). В совокупность из этих одного или более информационных объектов, помещаемых на экран в этот момент, могут входить объекты по меньшей мере одного вида - прокручиваемые объекты и/или непрокручиваемые объекты. Контроллер 150 отображения может также располагать информационные объекты в позициях, ассоциированных с объектами или людьми, распознанными посредством модуля 120 распознавания изображения, или помещать информационные объекты в позиции, не зависящие от распознавания изображения.

Устройство 130 обнаружения контролирует результаты распознавания оперирующего объекта, выполненного модулем 120 распознавания изображения, или ввод от модуля 106 оперирования и определяет операцию пользователя (этап S14). Затем, когда устройство 130 обнаружения определит операцию пользователя (этап S16), процедура переходит к этапу S18. В то же время, если операция пользователя не определена, процедура переходит к этапу S50.

Когда устройство 130 обнаружения определяет операцию пользователя, контроллер 150 отображения определяет, продолжается ли эта операция из предыдущего кадра (этап S18). Если операция не продолжается из предыдущего кадра, контроллер 150 отображения выбирает целевой объект операции посредством выполнения процедуры выбора цели операции, рассматриваемой позднее (этап S20). Если операция продолжается, сохраняется целевой объект операции из предыдущего кадра.

Затем контроллер 150 отображения определяет, является ли целевой объект операции прокручиваемым объектом (этап S44). Если целевой объект операции является прокручиваемым объектом, контроллер 150 отображения перемещает позицию прокрутки целевого объекта операции в соответствии с направлением (направления операции) и размером (величина (размах) операции) вектора операции (этап S46). Если целевой объект операции является непрокручиваемым объектом, контроллер 150 отображения управляет этим непрокручиваемым объектом в соответствии с подробностями операции, обозначенными событием операции пользователя (этап S48).

Далее, контроллер 150 отображения определяет конец операции (этап S50). Например, если операция пользователя не была обнаружена на этапе S16, контроллер 150 отображения может определить, что операция, продолжающаяся из предыдущего кадра, завершена. Контроллер отображения может также определить, что продолжавшаяся операция завершена в том случае, когда истек заданный промежуток времени с момента начала этой операции. Кроме того, контроллер 150 отображения может также определить, что продолжавшаяся операция завершена, в случае, когда направление операции резко изменилось (как, например, в случае, когда направление перетаскивания изменяется на угол, превосходящий заданную пороговую величину). Задание таких условий для определения, что операция завершена, позволяет предотвратить ненужную пользователю прокрутку, которая возможна в результате того, что оперирующий объект, появившийся на считываемом изображении, слишком далеко сместился в соответствующем направлении.

Контроллер 150 отображения после определения, что продолжающаяся операция завершена, освобождает целевой объект операции. Если целевой объект операции является прокручиваемым объектом, контроллер 150 отображения может также остановить автоматическую прокрутку целевого объекта операции, когда операция продолжается. После этого процесс возвращается к этапу S10, и описанная выше процедура повторяется для следующего кадра.

(2) Второй пример

Фиг. 13 представляет логическую схему, иллюстрирующую второй пример последовательности операций процедуры управления отображением, выполняемой устройством 100 обработки информации. В этом втором примере устройство 100 обработки информации распознает информационный объект, представляемый каким-либо устройством отображения (например, табло) в реальном пространстве.

Как показано на фиг. 13, сначала контроллер 150 отображения получает считываемое изображение, генерируемое модулем 102 считывания изображений (этап S10).

Устройство 130 обнаружения контролирует результаты распознавания изображения, осуществленного модулем 120 распознавания изображения, либо команду или данные, введенные модулем 106 оперирования, и определяет операцию пользователя (этап S14). Затем, когда устройство обнаружения определит операцию пользователя (этап S16), процедура переходит к этапу S18. В то же время, если операция пользователя не обнаружена, процедура переходит к этапу S50.

Если устройство 130 обнаружения обнаружит операцию пользователя, контроллер 150 отображения определяет, продолжается ли эта операция от предыдущего кадра (этап S18). Если операция пользователя не продолжается из предыдущего кадра, контроллер 150 отображения выбирает целевой объект операции путем выполнения процедуры выбора цели операции, которая будет рассмотрена позднее (этап S20). Целевой объект операции, выбранный в этот момент, представляет собой информационный объект в реальном пространстве, распознанный посредством модуля 120 распознавания изображения. Затем модуль 140 сбора информации принимает информационный объект, выбранный в качестве целевого объекта операции, через модуль 112 связи (этап S40). Далее, контроллер 150 отображения помещает на экран информационный объект, полученный модулем 140 сбора информации (этап S42). Если операция продолжается, сохраняется целевой объект операции из предыдущего кадра.

Далее, контроллер 150 отображения определяет, является ли целевой объект операции прокручиваемым объектом (этап S44). Если целевой объект операции является прокручиваемым объектом, контроллер 150 отображения перемещает позицию прокрутки этого целевого объекта операции в соответствии с направлением операции и величиной операции, указанными событием операции пользователя (этап S46). Если целевой объект операции является непрокручиваемым объектом, контроллер 150 отображения управляет этим непрокручиваемым объектом в соответствии с подробностями операции, указанными событием операции пользователя (этап S48).

Далее контроллер 150 отображения определяет завершение операции в соответствии с условиями, такими как условия, изложенные в связи с фиг. 12 (этап S50). Контроллер 150 отображения, определив, что продолжавшаяся операция завершена, освобождает целевой объект операции. Например, контроллер 150 отображения может убрать с экрана целевой объект операции, который был представлен на экране отображения наложенным на объект из реального пространства. После этого процесс возвращается к этапу S10, и приведенная выше процедура повторяется для следующего кадра.

3-2. Процедура выбора цели операции

(1) Первый пример

Фиг. 14А представляет логическую схему, иллюстрирующую первый пример подробной последовательности операций для процедуры выбора цели операции, иллюстрируемой на фиг. 12 и 13.

Как показано на фиг. 13, сначала контроллер 150 отображения получает указательную позицию, обозначенную событием операции пользователя (этап S22). Далее, контроллер 150 отображения определяет объект, наложенный на полученную указательную позицию (этап S24). Объект, определенный в этот момент, может представлять собой информационный объект, виртуально сформированный и помещенный на экран, или информационный объект, распознанный в считываемом изображении посредством модуля 120 распознавания изображения. Если объекта, наложенного на указательную позицию, не существует, контроллер 150 отображения может определить объект в позиции, ближайшей к указательной позиции. Кроме того, если существуют несколько объектов, наложенных на указательную позицию, любой из этих объектов может быть специфицирован в соответствии с конкретными условиями, такими как установление приоритета объекта, выдвинутого дальше всех вперед.

Далее, контроллер 150 отображения определяет, существует ли определенный объект, на основе указательной позиции (этап S26). Если определенный объект существует, контроллер 150 отображения выбирает этот определенный объект в качестве целевого объекта операции (этап S30). Затем контроллер 150 отображения модифицирует атрибуты отображения для выбранного целевого объекта операции, чтобы позволить пользователю узнать, какой целевой объект операции был выбран (этап S32). Например, могут быть модифицированы такие атрибуты отображения, как размер, цвет, форма, яркость, прозрачность, глубина или ширина контурной линии для целевого объекта операции. Если в качестве целевого объекта операции выбран информационный объект в реальном пространстве, на этот целевой объект операции может быть наложено указание, сообщающее о таком выборе. Если на этапе S24 оказалось, что определенный объект не существует, контроллер 150 отображения определяет, что целевого объекта операции нет (этап S34).

(2) Второй пример

Фиг. 14В представляет логическую схему, иллюстрирующую второй пример подробной последовательности операций для процедуры выбора цели операции, иллюстрируемой на фиг. 12 и 13. Этот второй пример предполагает, что операция пользователя выполняется с использованием операционного объекта, как показано в примере, изображенном на фиг. 7.

Как показано на фиг. 14В, сначала, контроллер 150 отображения получает указательную позицию, обозначенную событием операции пользователя (этап S22). Далее контроллер 150 отображения определяет объект, наложенный на полученную указательную позицию (этап S24).

Далее контроллер 150 отображения определяет, существует ли определенный объект, на основе указательной позиции (этап S26). Если определенный объект существует, контроллер 150 отображения дополнительно определяет, выполнил ли пользователь жест захвата объекта (этап S28). Если жест захвата был выполнен, контроллер 150 отображения выбирает определенный объект в качестве целевого объекта операции (этап S30). Затем контроллер 150 отображения модифицирует атрибуты отображения для выбранного целевого объекта операции, чтобы пользователь мог убедиться, что целевой объект операции был выбран (этап S32). Если на этапе S24 оказалось, что определенный объект не существует, или жест захвата выполнен не был, контроллер 150 отображения определяет, что целевого объекта операции нет (этап S34).

Фиг. 15 представляет пояснительную схему для объяснения выбора целевого объекта операции на основе определения жеста, как указано выше. Как показано в верхней части фиг. 15, на экране устройства 100 обработки информации представлены прокручиваемые объекты SI41, SI42 и SI43. Отметим, что здесь предполагается, что устройство 110 отображения поддерживает трехмерное (3D) представление изображения. Прокручиваемый объект SI41 выдвинут дальше всех вперед и имеет наименьшую глубину, тогда как прокручиваемый объект SI43 отодвинут дальше всех назад и находится на наибольшей глубине, а прокручиваемый объект SI42 расположен между двумя другими объектами. Оперирующий объект МВ2 осуществляет жест (включая форму) захвата объекта, но при этом указательная позиция не накладывается ни на какой объект. В последующем, когда пользователь перемещает оперирующий объект МВ2, указательная позиция этого оперирующего объекта МВ2 накладывается на прокручиваемый объект SI42, как показано в нижней части фиг. 15. В этот момент контроллер 150 отображения выбирает прокручиваемый объект SI42 в качестве целевого объекта операции и модифицирует ширину линии контура этого прокручиваемого объекта SI42, накладывая при этом также указание IT2, сообщающее о выборе, на прокручиваемый объект SI42.

Благодаря введению такого определения жеста, можно предотвратить ошибочную операцию над информационным объектом в результате того, что на считываемом изображении появляется оперирующий объект, такой как пальцы пользователя, даже если пользователь не хотел выполнить операцию. Кроме того, пользователь получает возможность определить целевой объект операции посредством интуитивного жеста, такого как захват объекта.

3-3. Дополнительное управление отображением

Контроллер 150 отображения может не только управлять позицией прокрутки прокручиваемого объекта, но также имеет возможность управлять разнообразными атрибутами отображения для целевого объекта операции в соответствии с операцией пользователя. В этом разделе будут рассмотрены два примера такого управления отображением.

Фиг. 16 представляет пояснительную схему для объяснения дополнительного управления отображением согласно операции пользователя. Эта фиг. 16 иллюстрирует пример состояния экрана устройства 100 обработки информации, спустя короткое время после состояния, показанного в верхней части фиг. 15. После того, как прокручиваемый объект SI42 был выбран посредством оперирующего объекта МВ2, этот прокручиваемый объект SI42 перемещается вперед относительно прокручиваемого объекта SI41 в результате того, что пользователь перемещает оперирующий объект МВ2 по направлению к себе.

Фиг. 17 представляет вторую пояснительную схему для объяснения дополнительного управления отображением согласно операции пользователя. Эта фиг. 17 иллюстрирует другой пример состояния экрана устройства 100 обработки информации, спустя короткое время после состояния, показанного в верхней части фиг. 15. После того, как прокручиваемый объект SI42 выбран посредством оперирующего объекта МВ2, размер представления этого прокручиваемого объекта SI42 увеличивается в результате того, что пользователь перемещает оперирующий объект МВ2 вниз и право вдоль направления D2. Такое изменение размера может быть также осуществлено, когда указательная позиция находится в угловом участке информационного объекта.

С использованием управления глубиной или размером представления объекта на экране отображения пользователь может более четко воспринимать контент нужного ему прокручиваемого объекта. Более того, ряд операций, таких как быстрая прокрутка в прямом направлении прокручиваемого объекта и прокрутка такого объекта в обратном направлении, становятся легче для выполнения.

Отметим, что если экран устройства 110 отображения содержит фильтр, пропускающий наружный свет с переменной прозрачностью, контроллер 150 отображения может позволить пользователю четко воспринять изображение отображаемых объектов путем изменения прозрачности фильтра. Однако если запас энергии в аккумуляторе устройства 100 обработки информации достигнет нуля, прозрачность фильтра может стать неизменяемой. Вследствие этого, контроллер 150 отображения может задать максимальную прозрачность фильтра и поддерживать эту максимальную прозрачность, пока запас энергии в аккумуляторе устройства 100 обработки информации остается ниже заданной пороговой величины. Таким образом, можно преимущественно избегать ситуаций, когда деятельности пользователя препятствует тот факт, что прозрачность фильтра стала неизменяемой, когда экран находится в темном состоянии.

4. Связь с внешним устройством

Функциональные возможности устройства 100 обработки информации, рассмотренные выше, могут быть также реализованы посредством соединения множества устройств. На фиг. 18 показано устройство 100 обработки информации, иллюстрируемое примером, приведенным на фиг. 1, и внешнее устройство ED. Это внешнее устройство ED является мобильным клиентом, таким как смартфон или мобильный персональный компьютер. Устройство 100 обработки информации осуществляет радиосвязь с внешним устройством ED с использованием какого-либо произвольного протокола радиосвязи, такого как протокол локальной сети радиосвязи (LAN), протокола Bluetooth (зарегистрированная торговая марка) или протокола Zigbee. Кроме того, одна или несколько разнообразных логических функций устройства 100 обработки информации, показанного на фиг. 6, могут быть выполнены во внешнем устройстве ED. Например, процедуры распознавания объектов и распознавания людей, требующие сравнительно высокую производительность процессора. Вследствие этого, выполнение таких процессов распознавания изображения во внешнем устройстве ED, делает возможной реализацию устройства 100 обработки информации в виде недорогого, легкого и компактного устройства.

В другом примере внешнее устройство ED также может быть использовано в качестве механизма управления устройством 100 обработки информации. Фиг. 19 представляет пояснительную схему для объяснения третьего способа определения операции пользователя. На фиг. 19 показано, как пользователь прикасается к сенсорной поверхности, установленной во внешнем устройстве ED, своим пальцем. Когда палец движется, происходит распознавание вектора V3, представляющего направление перемещения и величину этого перемещения. Устройство 130 обнаружения определяет такую операцию пользователя, выполняемую на внешнем устройстве ED, через модуль 112 связи. Устройство 130 обнаружения преобразует вектор V3 на сенсорной поверхности внешнего устройства ED в соответствующий вектор на экране устройства 100 обработки информации. Затем, если ориентация преобразованного вектора соответствует направлению прокрутки для прокручиваемого объекта, может происходить быстрая прокрутка этого прокручиваемого объекта вперед (в прямом направлении). Если ориентация преобразованного вектора соответствует направлению, противоположному направлению прокрутки, может происходить прокрутка этого прокручиваемого объекта назад (в обратном направлении). Отметим, что внешнее устройство ED может также не появляться на экране устройства 100 обработки информации. Используя внешнее устройство в качестве оперирующего механизма таким способом, пользователь может оперировать прокручиваемым объектом, не вызывая подозрений у находящихся поблизости людей, даже в ситуациях, когда оперирование устройством, носимым на голове, или подъем оперирующего объекта вперед выглядели бы неестественно.

5. Заключение

Таким образом, выше подробно рассмотрен вариант технологии согласно настоящему изобретению с использованием фиг. 1-19. Согласно описанному выше варианту представления на устройстве отображения прокручиваемого объекта, который автоматически прокручивается на экране, носимом пользователем, управляют в соответствии с операциями пользователя. Вследствие этого можно разрешить проблему отсутствия синхронизации между моментами времени, когда пользователь хочет получить информацию, и моментами, когда интересующую пользователя информацию представляют посредством прокручиваемого объекта. В результате для пользователя появляется возможность эффективно получать информацию, предоставляемую носимым устройством.

Например, согласно рассмотренному выше варианту позицию прокрутки для прокручиваемого объекта перемещают в направлении прокрутки или в противоположном направлении в соответствии с конкретной операцией пользователя. Вследствие этого пользователь может просматривать пропущенную им информацию или еще не показанную на устройстве отображения информацию в нужное этому пользователю время.

Кроме того, согласно рассмотренному варианту перемещение оперирующего объекта, появившегося в составе считываемого изображения, в направлении прокрутки или в противоположном направлении, может быть определено как указанная выше конкретная операция пользователя. В таком случае пользователь может просматривать интересующую его информацию своевременно с применением простого и интуитивного действия, состоящего в перемещении своего собственного пальца пользователя (или какого-либо другого оперирующего объекта) перед его глазами.

Кроме того, согласно рассмотренному выше варианту такая, как отмечено выше, конкретная операция пользователя может быть определена посредством оперирующего модуля, установленного на корпусе, на который опирается экран. В такой ситуации становится возможной надежная и устойчивая работа, на которую не влияет точность распознавания изображения. Более того, поскольку оперирующий модуль интегрирован с носимым устройством, таким как устанавливаемое на голове устройство отображения, управляющий отклик на операции не страдает в результате задержки связи, равно как и не уменьшается степень портативности устройства.

Отметим, что ряд процедур, выполняемых устройством обработки информации, рассмотренным в настоящем описании, может быть реализован посредством программного обеспечения, аппаратуры или посредством какого-либо сочетания программного обеспечения и аппаратуры. Программы, составляющие программное обеспечение, записывают заранее на энергонезависимом носителе, находящемся внутри или вне каждого устройства. Каждую программу затем загружают на время работы в запоминающее устройство с произвольной выборкой (RAM) и выполняют посредством процессора, такого как центральный процессор (CPU), например.

Таким образом, выше подробно рассмотрены предпочтительные варианты настоящего изобретения со ссылками на прилагаемые чертежи. Однако технический объем настоящего изобретения этим не ограничивается. Рядовым специалистам в рассматриваемой области должно быть понятно, что возможны разнообразные модификации и изменения в тех рамках, в каких они остаются в пределах объема технических идей, сформулированных в прилагаемой Формуле изобретения, и также должно быть понятно, что такие модификации и изменения очевидным образом принадлежат к техническому объему настоящего изобретения.

Кроме того, предлагаемая технология может быть конфигурирована, как указано ниже.

(1) Устройство, содержащее:

схему управления отображением для управления представлением контента на экране отображения; и

схему ввода пользователем для приема команд от пользователя, при этом

схема управления отображением выполнена с возможностью модификации прокрутки контента, автоматически прокручиваемого в первом направлении, на основе команды от пользователя.

(2) Устройство по (1), в котором схема управления отображением выполнена с возможностью автоматической прокрутки контента в первом направлении до получения команды от пользователя.

(3) Устройство по (1) или (2), в котором внешнее устройство выполнено с возможностью автоматической прокрутки контента в первом направлении до получения команды от пользователя.

(4) Устройство по любому из (1)-(3), в котором схема управления отображением выполнена с возможностью прокрутки контента в направлении, противоположном первому направлению, или прокрутки с увеличенной скоростью в первом направлении на основе команды от пользователя.

(5) Устройство по любому из (1)-(4), дополнительно содержащее:

оправу очков, на которой установлены схема управления отображением и схема ввода пользователем; и

устройство отображения, установленное на оправе очков и выполненное с возможностью представления изображений, генерируемых схемой управления отображением.

(6) Устройство по (5), дополнительно содержащее:

устройство считывания изображений, установленное на оправе очков и выполненное с возможностью генерирования изображений.

(7) Устройство по (6), в котором схема ввода пользователем содержит схему распознавания жестов, выполненную с возможностью распознавания жеста пользователя на основе изображений, генерируемых устройством считывания изображений, а схема управления отображением выполнена с возможностью модификации прокрутки контента на основе жеста пользователя.

(8) Устройство по (5), дополнительно содержащее:

модуль ввода, установленный на оправе для очков и выполненный с возможностью определения жеста пользователя, при оперировании пользователем модулем ввода.

(9) Устройство по (8), в котором схема ввода пользователем содержит схему распознавания жестов, выполненную с возможностью распознавания жеста пользователя, определенного модулем ввода, а схема управления отображением выполнена с возможностью модификации прокрутки контента на основе жеста пользователя.

(10) Устройство по (6), дополнительно содержащее:

схему распознавания изображения для распознавания прокручиваемых объектов в составе изображений, генерируемых модулем считывания изображений.

(11) Устройство по (10), в котором схема управления отображением выполнена с возможностью прокрутки прокручиваемых объектов, распознанных схемой распознавания изображения, в обратном хронологическом порядке на основе команды пользователя.

(12) Устройство по любому из (1)-(11), в котором схема управления отображением выполнена с возможностью перемещения контента в двух разных направлениях на основе команды от пользователя.

(13) Устройство по любому из (1)-(12), в котором схема управления отображением выполнена с возможностью модификации контура контента при модификации прокрутки указанного контента.

(14) Устройство по любому из (1)-(13), в котором схема управления отображением выполнена с возможностью перемещения контента на экране отображения в направлении уменьшения глубины на основе команды пользователя.

(15) Устройство по (14), в котором схема управления отображением выполнена с возможностью перемещения контента на экране устройства отображения в направлении уменьшения глубины, так что указанный контент накладывается на второй контент на экране отображения.

(16) Устройство по любому из (1)-(15), дополнительно содержащее:

модуль связи, выполненный с возможностью осуществления связи с внешним устройством, при этом

схема ввода пользователем выполнена с возможностью приема команды пользователя от внешнего устройства через модуль связи.

(17) Устройство по (16), в котором схема ввода пользователем содержит схему распознавания жестов, выполненную с возможностью распознавания жеста пользователя, определенного модулем ввода, а схема управления отображением выполнена с возможностью модификации прокрутки контента на основе жеста пользователя.

(18) Устройство по (6), дополнительно содержащее:

модуль выбора контента, выполненный с возможностью выбора прокручиваемого контента на основе жеста пользователя.

(19) Способ, содержащий этапы, на которых:

принимают команды от пользователя; и

изменяют, с использованием процессора, прокрутку контента, автоматически прокручиваемого в первом направлении, на основе команды пользователя.

(20) Энергонезависимый компьютерный носитель записи, хранящий машиночитаемые команды, при выполнении которых процессором, указанный процессор осуществляет способ по (19).

Кроме того, предлагаемая технология может быть конфигурирована, как указано ниже.

(1) Устройство обработки информации, содержащее:

носимое пользователем устройство отображения, содержащее экран, расположенный в поле зрения пользователя;

устройство обнаружения для обнаружения операции пользователя; и

контроллер отображения для управления отображением прокручиваемого объекта, автоматически прокручиваемого на экране в первом направлении, в соответствии с операцией пользователя, обнаруженной устройством обнаружения.

(2) Устройство обработки информации по (1), в котором

контроллер отображения выполнен с возможностью перемещения позиции прокрутки прокручиваемого объекта в первом направлении или в направлении, противоположном первому, в соответствии с конкретной операцией пользователя.

(3) Устройство обработки информации по (2), в котором

контроллер отображения выполнен с возможностью перемещения позиции прокрутки в противоположном направлении в соответствии с первой операцией пользователя.

(4) Устройство обработки информации по (2) или (3), в котором

контроллер отображения выполнен с возможностью ускоренного перемещения позиции прокрутки в первом направлении в соответствии со второй операцией пользователя.

(5) Устройство обработки информации по любому из (2)-(4), дополнительно содержащее:

модуль считывания изображений, выполненный с возможностью считывания изображения реального пространства в поле зрения пользователя и генерирования считываемого изображения, при этом

устройство обнаружения выполнено с возможностью обнаружения движения оперирующего объекта, появившегося в составе считываемого изображения, в первом направлении или в противоположном направлении, в качестве конкретной операции пользователя.

(6) Устройство обработки информации по любому из (2)-(4), в котором

устройство обнаружения выполнено с возможностью обнаружения конкретной операции пользователя посредством модуля оперирования, установленного на корпусе, служащем опорой для экрана.

(7) Устройство обработки информации по любому из (2)-(4), дополнительно содержащее:

модуль связи, выполненный с возможностью осуществления связи с мобильным клиентом, переносимым пользователем, при этом

устройство обнаружения выполнено с возможностью обнаружения конкретной операции пользователя, выполняемой на мобильном клиенте, посредством модуля связи.

(8) Устройство обработки информации по любому из (2)-(7), в котором

контроллер отображения выполнен с возможностью вызова отображения множества информационных объектов, включая прокручиваемый объект, и вызова объекта для управления из совокупности множества информационных объектов согласно третьей операции пользователя.

(9) Устройство обработки информации по любому из (2)-(8), в котором

контроллер отображения выполнен с возможностью изменения глубины расположения прокручиваемого объекта на экране в соответствии с четвертой операцией пользователя.

(10) Устройство обработки информации по любому из (2)-(9), в котором

контроллер отображения выполнен с возможностью изменения размера представления прокручиваемого объекта на экране в соответствии с пятой операцией пользователя.

(11) Устройство обработки информации по любому из (2)-(10), в котором

прокручиваемый объект представляет собой виртуально генерируемый информационный объект.

(12) Устройство обработки информации по любому из (2)-(10), в котором

прокручиваемый объект представляет собой информационный объект, представляемый на устройстве отображения (табло) в реальном пространстве, при этом

устройство обработки информации дополнительно содержит

модуль считывания изображений, выполненный с возможностью считывания изображения реального пространства и генерирования считываемого изображения, и

модуль связи, выполненный с возможностью приема информационного объекта на устройстве отображения, распознанном в составе считываемого изображения, при этом

контроллер отображения выполнен с возможностью инициирования представления информационного объекта, принятого модулем связи, на экране отображения и управления представлением этого информационного объекта на экране отображения в соответствии с операцией пользователя.

(13) Способ управления отображением, осуществляемый контроллером устройства обработки информации, содержащего носимое пользователем устройство отображения, с экраном, расположенным в поле зрения пользователя, при этом способ управления отображением содержит этапы, на которых:

обнаруживают операцию пользователя; и

управляют представлением прокручиваемого объекта на устройстве отображения, автоматически прокручивающем объект в первом направлении, в соответствии с определенной операцией пользователя.

(14) Программа, в соответствии с которой компьютер, управляющий устройством обработки информации, содержащем носимое пользователем устройство отображения, содержащее экран, расположенный в поле зрения пользователя, функционирует в качестве:

устройства обнаружения для обнаружения операции пользователя; и

контроллера отображения для управления отображением прокручиваемого объекта, автоматически прокручивающего объект в первом направлении, в соответствии с операцией пользователя, обнаруженной устройством обнаружения.

Список позиционных обозначений

100 - устройство обработки информации

102 - модуль считывания изображений

106 - модуль оперирования

110 - устройство отображения

112 - модуль связи

120 - модуль распознавания изображения

130 - устройство обнаружения

140 - модуль сбора информации

150 - контроллер отображения

Изобретение относится к устройству обработки информации. Технический результат заключается в расширении арсенала средств. Устройство содержит схему управления отображением для управления устройством отображения для отображения контента и схему ввода пользователем для приема команд от пользователя. Схема управления отображением выполнена с возможностью изменения прокрутки контента, автоматически прокручиваемого в первом направлении, на основе команды от пользователя. 3 н. и 10 з.п. ф-лы, 21 ил.

1. Устройство обработки информации, содержащее:

устройство отображения, носимое пользователем, содержащее экран, расположенный так, что находится в поле зрения пользователя;

устройство обнаружения для обнаружения первой операции пользователя; и

контроллер отображения, для

выбора одного из множества прокручиваемых элементов информации, автоматически прокручиваемых в первом направлении на экране, в соответствии с обнаружением, устройством обнаружения, первой операции пользователя; и

остановки указанного выбранного элемента из прокручиваемых элементов информации.

2. Устройство обработки информации по п. 1, в котором контроллер отображения выполнен с возможностью перемещения положения по меньшей мере одного из множества прокручиваемых элементов информации в первом направлении или во втором направлении, противоположном первому направлению, в соответствии со второй операцией пользователя.

3. Устройство обработки информации по п. 2, дополнительно содержащее:

модуль формирования изображений, выполненный с возможностью захвата реального пространства в поле зрения пользователя и генерирования захваченного изображения, при этом

устройство обнаружения, выполненное с возможностью обнаружения перемещения, объекта оперирования, присутствующего в захваченном изображении, в первом направлении или во втором направлении, в качестве второй операции пользователя.

4. Устройство обработки информации по п. 3, в котором контроллер отображения выполнен с возможностью управления по меньшей мере одним из прокручиваемых элементов информации, перекрываемым объектом оперирования в захваченном изображении.

5. Устройство обработки информации по п. 3, в котором контроллер отображения выполнен с возможностью управления интенсивностью прокрутки по меньшей мере одного из прокручиваемых элементов информации в соответствии с вектором перемещения указанного объекта оперирования вдоль первого или второго направления на захваченном изображении.

6. Устройство обработки информации по п. 2, в котором устройство обнаружения выполнено с возможностью обнаружения указанной второй операции пользователя посредством объекта оперирования, установленного в корпусе, поддерживающем экран.

7. Устройство обработки информации по п. 2, дополнительно содержащее:

модуль связи, выполненный с возможностью связи с мобильным клиентом, носимым пользователем, при этом

устройство обнаружения выполнено с возможностью обнаружения второй операции пользователя, проводимой мобильным клиентом посредством модуля связи.

8. Устройство обработки информации по любому из пп. 1-7, в котором контроллер отображения выполнен с возможностью изменения глубины указанного по меньшей мере одного прокручиваемого элемента информации в соответствии с третьей операцией.

9. Устройство обработки информации по любому из пп. 1-7, в котором контроллер отображения выполнен с возможностью изменения размера отображения указанного по меньшей мере одного прокручиваемого элемента информации в соответствии с четвертой операцией.

10. Устройство обработки информации по любому из пп. 1-7, в котором каждый прокручиваемый элемент информации является виртуально сгенерированным элементом информации.

11. Устройство обработки информации по п. 1 или 2, в котором

каждый прокручиваемый элемент информации является элементом информации, отображаемым устройством отображения в реальном пространстве, а

указанное устройство обработки информации дополнительно содержит

модуль формирования изображения, выполненный с возможностью захвата реального пространства и генерирования захваченного изображения,

модуль связи, выполненный с возможностью приема указанного элемента информации, на устройстве отображения, распознанного в захваченном изображении, а

контроллер отображения выполнен с возможностью вызова отображения экраном элемента информации, принятого модулем связи, и управления отображением указанного элемента информации в соответствии с первой операцией пользователя.

12. Способ управления отображением, выполняемый контроллером устройства обработки информации, оснащенным устройством отображения, носимым пользователем, содержащим экран, расположенный так, что находится в поле зрения пользователя, содержащий этапы, на которых:

обнаруживают операцию пользователя;

выбирают один из множества прокручиваемых элементов информации, автоматически прокручиваемых в первом направлении на экране, в соответствии с обнаруженной первой операцией пользователя; и

останавливают указанный выбранный элемент из прокручиваемых элементов информации.

13. Энергонезависимый компьютерный носитель записи, хранящий машиночитаемые команды, при выполнении которых по меньшей мере одним процессором указанный по меньшей мере один процессор осуществляет способ, содержащий этапы, на которых:

обнаруживают операцию пользователя;

выбирают один из множества прокручиваемых элементов информации, автоматически прокручиваемых в первом направлении на экране, в соответствии с обнаруженной первой операцией пользователя; и

останавливают указанный выбранный элемент из прокручиваемых элементов информации.