Эта заявка испрашивает приоритет китайской заявки на патент № 201910228846.3, поданной в Национальное управление интеллектуальной собственности Китая 25 марта 2019 г. И озаглавленной "Способ обработки изображения и устройство отображения, устанавливаемое на голове", которая полностью включена в настоящий документ посредством ссылки.
Область техники, к которой относится изобретение
Эта заявка относится к области коммуникационных технологий и, в частности, к способу обработки изображения и устройству отображения, устанавливаемому на голову.
Уровень техники
Дополненная реальность (Augmented Reality, AR) – это технология, которая вычисляет местоположение и угол камеры видео в реальном времени и добавляет соответствующее изображение, видео или 3D (трехмерную) модель. Типичное устройство отображения, устанавливаемое на голове, на основе перспективы видео (или называемое дисплеем, устанавливаемым на голову (Head-mounted display, HMD)), может захватывать реальное изображение сцены с помощью камеры, а затем объединять захваченное изображение с виртуальным объектом и отображать составное изображение на экране устанавливаемого на голове устройства отображения.
Когда пользователь носит устанавливаемое на голове устройство отображения, экран устанавливаемого на голове устройства отображения находится близко к человеческим глазам, и когда человеческий глаз чувствует оптимальную четкость, угловое разрешение изображения может достигать 60 PPD (пикселей на градус). Однако ни одно существующее устанавливаемое на голове устройство отображения не может удовлетворить требованиям к разрешению. Если разрешение реального изображения сцены, захваченного камерой, улучшается, то существенно увеличивается объем данных при обработке изображения и сложность обработки изображения, вызывая такие проблемы, как увеличенная задержка отображения и головокружение пользователя.
Сущность изобретения
В настоящей заявке предложен способ обработки изображения и устройство отображения, устанавливаемое на голове, чтобы удовлетворить требования к просмотру изображения пользователем с помощью устройства отображения, устанавливаемого на голове, а также помочь уменьшить объем данных и задержку отображения.
В соответствии с первым аспектом в этой заявке предложен способ обработки изображения, применяемый в устройстве отображения, устанавливаемом на голове. В устройстве отображения, устанавливаемом на голове, расположено два модуля, причем каждый модуль включает в себя модуль камеры, экран дисплея, соответствующий модулю камеры, и модуль обработки, причем модуль камеры включает в себя первую камеру и вторую камеру, при этом поле обзора первой камеры больше, чем поле обзора второй камеры, и каждый модуль выполняет следующий способ: в ответ на обнаруженную операцию запуска первая камера собирает первое изображение первого разрешения, а вторая камера собирает второе изображение второго разрешения, где первое разрешение меньше второго; модуль обработки генерирует четвертое изображение на основе первого изображения и второго изображения, где четвертое изображение является реальным изображением сцены и включает в себя изображение первого разрешения и изображение второго разрешения; модуль обработки генерирует пятое изображение на основе четвертого изображения и третьего изображения, которое включает в себя виртуальный объект, где пятое изображение включает в себя реальное изображение сцены и виртуальный объект; и на экране дисплея модуля отображают пятое изображение.
Понятно, что, поскольку поле обзора первого изображения, полученного первой камерой, велико, то поле обзора фоновой области на пятом изображении велико, так что для пользователя может быть обеспечен более широкий угол обзора, тем самым отвечая требованию сравнительно широкого поля зрения человеческого глаза. Кроме того, поскольку второе разрешение второго изображения, захваченного второй камерой, является высоким, изображение центральной области в пятом изображении имеет высокое разрешение, так что пользователю может быть предоставлено изображение высокой четкости в пределах глубины резкости линии обзора. Понятно, что техническое решение, представленное в этой заявке, помогает улучшить ощущение погружения, ощущение реальности и визуальный опыт пользователя.
Кроме того, поскольку первое разрешение первого изображения, полученного первой камерой, низкое, изображение фоновой области в пятом изображении имеет низкое разрешение, так что может быть уменьшен объем данных во время обработки изображения и сложность вычислений, тем самым помогая уменьшить задержку при отображении.
В возможной реализации расстояние от оптического центра первой камеры одного модуля до оптического центра первой камеры другого модуля составляет от 61 миллиметра до 65 миллиметров.
Понятно, что расстояние между первыми камерами в двух модулях камеры может согласовываться с расстоянием между зрачками двух глаз пользователя, так что можно смоделировать реальную сцену, просматриваемую двумя глазами пользователя.
В возможной реализации расстояние от оптического центра первой камеры до оптического центра второй камеры в каждом модуле составляет менее 20 миллиметров.
Понятно, что вторые камеры в двух модулях камер используют для получения изображений в областях визуальной фокусировки пользователя. Следовательно, в одном и том же модуле камеры вторая камера находится как можно ближе к первой камере.
В возможной реализации каждый модуль также включает в себя окуляр, а экран дисплея расположен между окуляром и модулем камеры.
В возможной реализации оптический центр окуляра, оптический центр экрана дисплея и оптический центр первой камеры в каждом модуле расположены на прямой линии.
В этой заявке камеру с большим полем обзора в левом модуле камеры и камеру с большим полем обзора в правом модуле камеры используют для имитации двух глаз пользователя для фотографирования реальных изображений сцены. Следовательно, оптические центры двух камер соответственно совмещены с центрами левого и правого глаза пользователя. Кроме того, поскольку реальные изображения сцены представляют в итоге с использованием первого экрана дисплея и второго экрана дисплея, чтобы пользователь мог чувствовать себя погруженным и ощущал реальность, оптические центры первого экрана дисплея и второго экрана дисплея также должны быть соответственно выровнены с центрами левого и правого глаза пользователя. Кроме того, пользователь отдельно просматривает изображения на дисплеях, используя первый окуляр и второй окуляр. Следовательно, первый окуляр и второй окуляр также должны быть соответственно выровнены с центрами левого и правого глаза пользователя.
В возможной реализации генерация модулем обработки четвертого изображения на основе первого изображения и второго изображения включает в себя следующее: модуль обработки регулирует угол обзора второго изображения, чтобы он был таким же, как угол обзора первого изображения; и генерирует четвертое изображение на основе скорректированного второго изображения и первого изображения.
Второе изображение и первое изображение имеют один и тот же сфотографированный объект, но существует определенная разница в угле обзора между изображениями одного и того же сфотографированного объекта на двух изображениях из-за разного расположения первой камеры и второй камеры. Следовательно, углы обзора двух изображений необходимо выровнять.
В возможной реализации регулировка модулем обработки угла обзора второго изображения, чтобы он был таким же, как угол обзора первого изображения, включает в себя следующее: модуль обработки выполняет поворот, перемещение и калибровку некопланарных строк на втором изображении, чтобы угол обзора второго изображения был таким же, как угол обзора первого изображения.
В возможной реализации генерация модулем обработки четвертого изображения на основе скорректированного второго изображения и первого изображения включает в себя следующее: модуль обработки определяет в качестве целевых областей область в скорректированном втором изображении и область в первом изображении, которые имеют перекрывающиеся углы обзора; и заменяет изображение целевой области в первом изображении на скорректированное второе изображение.
Изображение целевой области на первом изображении может быть удалено, а затем может быть заполнено изображением целевой области на втором изображении, полученным после совмещения угла обзора. После заполнения, чтобы избежать такой проблемы, как ощущение наложения, вызванное процессом компоновки изображения, положения краев композиции двух изображений (а именно, положения краев целевых областей) смешивают с использованием способа взвешенного смешивания, так что окончательное составное изображение (а именно четвертое изображение) является более естественным и реальным.
Способ компоновки изображения может представлять собой один или несколько из следующих: технология прямого вырезания-вставки (cut-paste), альфа-смешивание (alpha blending), многополосное смешивание (multiband blending) или пуассоновское смешивания (poisson blending). В этой заявке не ограничен конкретный способ компоновки изображения.
В возможной реализации, перед тем, как модуль обработки генерирует пятое изображение на основе четвертого изображения и третьего изображения, которое включает в себя виртуальный объект, способ также включает в себя следующее: на основе информации о положении устанавливаемого на голове устройства отображения и первого изображения модуль обработки генерирует третье изображение, которое включает в себя виртуальный объект.
В возможной реализации создание пятого изображения на основе четвертого изображения и третьего изображения, которое включает в себя виртуальный объект, включает в себя следующее: регулируют разрешение третьего изображения на основе первого разрешения первого изображения и/или регулируют тень виртуального объекта в третьем изображении на основе информации о свете в первом изображении; и генерируют пятое изображение на основе четвертого изображения и скорректированного третьего изображения.
В соответствии со вторым аспектом в этой заявке предложено устройство отображения, устанавливаемое на голове, включающее в себя два модуля и память. Каждый модуль включает в себя модуль камеры, экран дисплея, соответствующий модулю камеры, и модуль обработки, причем модуль камеры включает в себя первую камеру и вторую камеру, при этом поле обзора первой камеры больше, чем поле обзора второй камеры, память выполнена с возможностью хранения компьютерного программного кода, причем компьютерный программный код включает в себя компьютерную инструкцию, и когда модуль обработки считывает компьютерную инструкцию из памяти, каждый модуль в устройстве отображения, устанавливаемом на голове, получает возможность выполнять следующие операции: в ответ на обнаруженную операцию запуска первая камера получает первое изображение первого разрешения, а вторая камера получает второе изображение второго разрешения, где первое разрешение меньше второго разрешения; модуль обработки генерирует четвертое изображение на основе первого изображения и второго изображения, где четвертое изображение является реальным изображением сцены и включает в себя изображение первого разрешения и изображение второго разрешения; модуль обработки генерирует пятое изображение на основе четвертого изображения и третьего изображения, которое включает в себя виртуальный объект, где пятое изображение включает в себя реальное изображение сцены и виртуальный объект; и на экране дисплея модуля отображают пятое изображение.
В возможной реализации расстояние от оптического центра первой камеры одного модуля до оптического центра первой камеры другого модуля составляет от 61 миллиметра до 65 миллиметров.
В возможной реализации расстояние от оптического центра первой камеры до оптического центра второй камеры в каждом модуле составляет менее 20 миллиметров.
В возможной реализации каждый модуль также включает в себя окуляр, а экран дисплея расположен между окуляром и модулем камеры.
В возможной реализации, когда устройство отображения, устанавливаемое на голове, расположено горизонтально, линия соединения между оптическим центром первой камеры и оптическим центром второй камеры в каждом модуле параллельна горизонтальной плоскости.
В возможной реализации оптический центр окуляра, оптический центр экрана дисплея и оптический центр первой камеры в каждом модуле расположены на прямой линии.
В возможной реализации, когда модуль обработки считывает компьютерную инструкцию из памяти, каждый модуль в устройстве отображения, устанавливаемом на голове, также получает возможность выполнять следующие операции: модуль обработки регулирует угол обзора второго изображения, чтобы он был таким же, как угол обзора первого изображения; и генерирует четвертое изображение на основе скорректированного второго изображения и первого изображения.
В возможной реализации, когда модуль обработки считывает компьютерную инструкцию из памяти, каждый модуль в устройстве отображения, устанавливаемом на голове, также получает возможность выполнять следующую операцию: модуль обработки выполняет поворот, перемещение и калибровку некопланарных строк на втором изображении, чтобы угол обзора второго изображения был таким же, как угол обзора первого изображения.
В возможной реализации, когда модуль обработки считывает компьютерную инструкцию из памяти, каждый модуль в устройстве отображения, устанавливаемом на голове, также получает возможность выполнять следующие операции: модуль обработки определяет в качестве целевых областей область в скорректированном втором изображении и область в первом изображении, которые имеют перекрывающиеся углы обзора; и заменяет изображение целевой области в первом изображении на скорректированное второе изображение.
В возможной реализации, когда модуль обработки считывает компьютерную инструкцию из памяти, каждый модуль в устройстве отображения, устанавливаемом на голове, также получает возможность выполнять следующую операцию: на основе информации о положении устанавливаемого на голове устройства отображения и первого изображения модуль обработки генерирует третье изображение, которое включает в себя виртуальный объект.
В возможной реализации, когда модуль обработки считывает компьютерную инструкцию из памяти, каждый модуль в устройстве отображения, устанавливаемом на голове, также получает возможность выполнять следующие операции: модуль обработки регулирует разрешение третьего изображения на основе первого разрешения первого изображения и/или регулирует тень виртуального объекта в третьем изображении на основе информации о свете в первом изображении; и генерирует пятое изображение на основе четвертого изображения и скорректированного третьего изображения.
В соответствии с третьим аспектом предложен компьютерный носитель информации, включающий в себя компьютерные инструкции. Когда компьютерные инструкции выполняют на терминале, терминал может выполнять способ в соответствии с первым аспектом или любой из возможных реализаций первого аспекта.
В соответствии с четвертым аспектом предложен компьютерный программный продукт. Когда компьютерный программный продукт выполняют на компьютере, компьютер может выполнять способ в соответствии с первым аспектом или любой из возможных реализаций первого аспекта.
Краткое описание чертежей
На фиг. 1A приведен схематический вид полей зрения различных областей изображения в соответствии с вариантом осуществления этой заявки;
на фиг. 1B приведен схематический структурный вид устанавливаемого на голове устройства отображения в соответствии с вариантом осуществления этой заявки;
на фиг. 2A приведен схематический структурный вид модулей камеры некоторых устанавливаемых на голове устройств отображения в соответствии с вариантом осуществления этой заявки;
на фиг. 2B приведен схематический структурный вид другого устанавливаемого на голове устройства отображения в соответствии с вариантом осуществления этой заявки;
на фиг. 3 приведен схематический структурный вид другого устанавливаемого на голове устройства отображения в соответствии с вариантом осуществления этой заявки;
на фиг. 4 приведен схематический структурный вид другого устанавливаемого на голове устройства отображения в соответствии с вариантом осуществления этой заявки;
на фиг. 5 приведен схематический структурный вид другого устанавливаемого на голове устройства отображения в соответствии с вариантом осуществления этой заявки;
на фиг. 6 приведена схематическая блок-схема последовательности действий способа обработки изображения в соответствии с вариантом осуществления этой заявки; и
на фиг. 7 приведен схематический вид процесса обработки изображения в соответствии с вариантом осуществления этой заявки.
Описание вариантов осуществления
Ниже в вариантах осуществления настоящей заявки описаны технические решения со ссылкой на сопровождающие чертежи вариантов осуществления настоящей заявки. В описании вариантов осуществления этой заявки "/" означает "или", если не указано иное. Например, A/B может представлять A или B. В этой спецификации "и/или" описывает только отношение ассоциации для описания связанных объектов и представляет, что могут существовать три отношения. Например, A и/или B может представлять следующие три случая: Имеется только A, имеются и A, и B, и имеется только B.
Следующие термины "первый" и "второй" предназначены только для целей описания, и их не следует понимать как указание или значение относительной важности или неявное указание количества указанных технических признаков. Следовательно, признак, ограниченный "первым" или "вторым", может явно или неявно включать в себя один или несколько признаков. В описании вариантов осуществления этой заявки, если не указано иное, "несколько" означает два или более.
В вариантах осуществления этой заявки такое слово, как "пример" или "например", используют для представления примера, иллюстрации или описания. Любой вариант осуществления или конструктивное решение, описанные как "пример" или "например" в вариантах осуществления этой заявки, не следует считать более предпочтительными или имеющими больше преимуществ, чем другой вариант осуществления или конструктивное решение. А именно, использование таких слов, как "пример" или "например", предназначено для представления сравнительной концепции определенным образом.
Разрешение изображения современных устройств отображения, устанавливаемых на голове, как правило, не может удовлетворить требованию пользователя к четкости изображения во время просмотра с близкого расстояния. Кроме того, простое повышение разрешения изображения вызывает такие проблемы, как увеличение объема данных и сложность обработки изображения. Считается, что человеческий глаз обладает такой визуальной особенностью: во время наблюдения область непосредственно перед глазом пользователя обычно является областью визуального фокуса. Эта часть области воспринимается наиболее четко и требует высокого разрешения изображения для устройства отображения, устанавливаемого на голове. Однако другая область, видимая глазом, не воспринимается четко пользователем и требует низкого разрешения изображения для устройства отображения, устанавливаемого на голове. То есть изображение, отображаемое на устанавливаемом на голове устройстве отображения, может быть разделено на центральную область и фоновую область. Как показано на фиг. 1A, изображение, отображаемое на устанавливаемом на голове устройстве отображения, включает в себя на центральную область и фоновую область. Центральная область является областью визуального фокуса пользователя и может обеспечивать изображение с относительно высоким разрешением, чтобы соответствовать требованию четкости для глаза пользователя во время просмотра с близкого расстояния. Фоновая область представляет собой часть, отличную от центральной области изображения, и может предоставлять только изображение со сравнительно низким разрешением, чтобы уменьшить объем данных и сложность обработки изображения, выполняемой устройством отображения, устанавливаемым на голове. Другими словами, разрешение центральной области выше, чем разрешение фоновой области. Следует отметить, что на фиг. 1A для иллюстрации области визуального фокуса (а именно, центральной области) глаза пользователя используют прямоугольник, и его в основном используют для представления приблизительного местоположения центральной области в изображении, отображаемом на устройстве отображения, устанавливаемом на голове. Это не ограничивает форму области визуального фокуса человеческого глаза пользователя.
Кроме того, считают, что поле зрения человеческого глаза сравнительно большое и может достигать 180 градусов, но поле зрения обычного устройства отображения, устанавливаемого на голове, сравнительно мало, и, следовательно, с обеих сторон может появиться сравнительно большое количество слепых областей, когда пользователь использует устройство отображения, устанавливаемое на голове, для наблюдения, вызывая у пользователя недостаточное ощущение погружения. В настоящей заявке предложено использовать камеру с большим полем обзора для захвата изображения со сравнительно большим полем обзора (изображения, которое включает в себя фоновую область), причем изображение с большим полем обзора обычно имеет низкое разрешение; и одновременно использовать камеру с небольшим полем обзора для захвата изображения центральной области высокой четкости. На изображении, показанном на фиг. 1А, поле обзора б, соответствующее фоновой области, больше, чем поле обзора в, соответствующее центральной области.
Следует отметить, что поле обзора используют для обозначения максимального диапазона углов, который может быть сфотографирован камерой во время фотографирования изображения. Если объект, который нужно сфотографировать, попадает в диапазон углов, то объект, который нужно сфотографировать, захватывают камерой, и затем он присутствует на изображении предварительного просмотра. Если подлежащий фотографированию объект выходит за пределы диапазона углов, то сфотографированный объект не захватывают устройством захвата изображения; другими словами, отсутствует на изображении предварительного просмотра. Обычно камера с большим полем обзора соответствует большему диапазону фотографирования и меньшему фокусному расстоянию, а камера с меньшим полем обзора соответствует меньшему диапазону фотографирования и большему фокусному расстоянию.
Обычно поле обзора включает в себя угол в горизонтальном направлении и угол в вертикальном направлении. В этой заявке угол в горизонтальном направлении и угол в вертикальном направлении могут быть представлены отдельно с использованием двух полей обзора, или угол в горизонтальном направлении и угол в вертикальном направлении могут быть представлены с использованием одного поля обзора. Для простоты описания в этой заявке все описания ниже приведены на примере того, что одно поле обзора представляет как угол в горизонтальном направлении, так и угол в вертикальном направлении. Например, как показано на фиг. 1A, поле обзора б представляет собой угол, соответствующий диагональным линиям двух краев изображения (а именно, изображения фоновой области), снятого камерой с большим полем обзора, и может представлять как угол в горизонтальном направлении, так и угол в вертикальном направлении. Поле обзора в представляет собой угол, соответствующий диагональным линиям двух краев изображения (а именно, изображения центральной области), снятого камерой с малым полем обзора, и может представлять как угловую ширину в горизонтальном направлении, так и угловую ширину в вертикальном направлении.
В этой заявке "поле обзора" также может называться таким словом, как "диапазон поля обзора" или "диапазон поля зрения". Название "поля обзора" не ограничено в данном описании при условии, что выражена вышеупомянутая концепция.
Затем изображение с большим полем обзора совмещают с изображением центральной области высокой четкости для получения реального изображения сцены. Затем изображение, которое включает в себя виртуальный объект, генерируют на основе полученной информации о положении устройства отображения, устанавливаемого на голове, и изображения с большим полем обзора. Наконец, изображение, которое включает в себя виртуальный объект, также комбинируют с изображением реальной сцены, полученным после первой композиции, для получения изображения, которое включает в себя реальную сцену и виртуальный объект, и изображение отображают на устройстве отображения, устанавливаемом на голове. В этом случае поле зрения отображаемого изображения является сравнительно большим и может быть близко к полю зрения человеческого глаза, насколько это возможно. Кроме того, разрешение изображения в области визуального фокуса человеческого глаза является сравнительно высоким. Это соответствует требованию пользователя к четкости при просмотре изображений с близкого расстояния, тем самым значительно улучшая ощущение погружения пользователя и улучшая визуальное восприятие.
Технические решения, предложенные в вариантах осуществления этой заявки, могут быть применены к устройству отображения, устанавливаемому на голове, или тому подобному в таком сценарии, как виртуальная реальность (Virtual Reality, VR)/дополненная реальность (Augmented Reality, AR)/смешанная реальность (Mixed Reality, MR). Конкретная форма устройства отображения, устанавливаемого на голове, которая выполняет технические решения, не ограничена в этой заявке.
На фиг. 1B приведен схематический структурный вид устанавливаемого на голове устройства отображения в соответствии с вариантом осуществления этой заявки. Устройство 100 отображения, устанавливаемое на голове, включает в себя корпус 110 шлема и ремень 140. Ремень 140 выполнен с возможностью ношения устанавливаемого на голове устройства 100 отображения на голове пользователя. Корпус 110 шлема имеет переднюю панель 120 и заднюю панель 130 напротив передней панели 120. Передняя панель 120 представляет собой поверхность, удаленную от пользователя, когда пользователь носит устройство 100 отображения, устанавливаемое на голове. Задняя панель 130 представляет собой поверхность, расположенную ближе к пользователю, когда пользователь носит устройство 100 отображения, устанавливаемое на голове.
На передней панели 120 расположено два модуля камеры: модуль 150 левой камеры и модуль 160 правой камеры, чтобы захватывать реальные изображения сцены перед пользователем. Левый модуль 150 камеры расположен перед левым глазом пользователя, а правый модуль 160 камеры расположен перед правым глазом пользователя. Каждый модуль камеры включает в себя по меньшей мере две камеры, и по меньшей мере две камеры включают в себя по меньшей мере одну камеру с большим полем обзора и по меньшей мере одну камеру с малым полем обзора. По меньшей мере одна камера с большим полем обзора (например, имеющая поле зрения от 100 градусов до 200 градусов и разрешение от VGA до 720p) представляет собой, например, камеру 151 и камеру 161. По меньшей мере одна камера с малым полем обзора (например, имеющая поле зрения от 20 градусов до 60 градусов и разрешение от 720p до 2Kp) представляет собой, например, камеру 152 и камеру 162. Изображение, полученное камерой с большим полем обзора, имеет сравнительно большое поле зрения и сравнительно низкое разрешение. Изображение, полученное камерой с малым полем обзора, имеет сравнительно небольшое поле зрения и сравнительно высокое разрешение.
В этой заявке изображение, захваченное камерой с большим полем обзора, имеет сравнительно большое поле зрения, так что для пользователя может быть обеспечен более широкий угол обзора, тем самым отвечая требованию сравнительно широкого поля зрения человеческого глаза. Изображение, захваченное камерой с малым полем обзора, имеет сравнительно высокое разрешение, так что пользователю может быть предоставлено изображение в пределах глубины резкости линии обзора. Понятно, что в этой заявке изображение, захваченное камерой с большим полем обзора, совмещают с изображением, захваченным камерой с малым полем обзора, а затем составное изображение применяют в таком сценарии, как AR/VR/MR, тем самым помогая улучшить ощущение погружения, ощущение реальности и визуальный опыт пользователя. Кроме того, изображение фоновой области имеет низкое разрешение, так что объем данных во время обработки изображения и сложность вычислений может быть дополнительно уменьшены, тем самым помогая уменьшить задержку во время отображения.
В некоторых вариантах осуществления, когда и левый, и правый модули камеры включают в себя по одной камере с большим полем обзора для фотографирования реального изображения сцены, расстояние D1 между оптическими центрами двух камер с большим полем обзора (например, камеры 151 и камеры 161) приблизительно соответствует расстоянию между зрачками двух глаз пользователя. Следовательно, D1 обычно находится в диапазоне от 61 мм до 65 мм и может составлять, например, 63 мм. В одном модуле камеры камера с малым полем обзора расположена рядом с камерой с большим полем обзора. Обычно расстояние D2 между оптическим центром камеры с малым полем обзора и оптическим центром камеры с большим полем обзора составляет менее 20 мм. На фиг. 1B показана центральная ось устройства 100 отображения, устанавливаемого на голове, устройство, устанавливаемое на голове, расположено приблизительно горизонтально вперед. Что касается центральной оси, ниже в качестве примера используют модуль 150 камеры перед левым глазом для описания местоположения камеры 152 с малым полем обзора относительно камеры 151 с большим полем обзора. Например, обращенная к передней панели 120 камера 152 с малым полем обзора может быть расположена с левой стороны от камеры 151 с большим полем обзора (другими словами, камера 152 с малым полем обзора находится ближе к центральной оси, чем камера 151 с большим полем обзора, как показано на фиг. 1B) или с правой стороны от камеры 151 с большим полем обзора (другими словами, камера 152 с малым полем обзора расположена дальше от центральной оси, чем камера 151 с большим полем обзора, как показано на фиг.2A (1)); и оптические центры камеры 151 с большим полем обзора, камеры 152 с малым полем обзора, камеры 161 с большим полем обзора и камеры 162 с малым полем зрения приблизительно расположены на одной горизонтальной плоскости.
В качестве другого примера, когда устройство, устанавливаемое на голове, расположено приблизительно горизонтально вперед, как показано на фиг. 1B, камера 152 с малым полем обзора может быть расположена над камерой 151 с большим полем обзора (другими словами, направление от оптического центра камеры 152 с малым полем зрения к оптическому центру камеры 151 с большим полем обзора совпадает с направлением силы тяжести, как показано на фиг. 2A (2)) или ниже камеры 151 с большим полем обзора (другими словами, направление от оптического центра камера 152 с малым полем обзора до оптического центра камеры 151 с большим полем зрения противоположно направлению силы тяжести). В качестве альтернативы, камера 152 с малым полем обзора может быть расположена в любом месте, например, сверху по диагонали (как показано на фиг. 2A (3)) или снизу по диагонали от камеры 151 с большим полем обзора. То есть относительное местоположение камеры с малым полем обзора и камеры с большим полем обзора в одном модуле камеры не ограничено в этой заявке. Конечно, камера с малым полем обзора может быть закреплена рядом с камерой с большим полем обзора. В качестве альтернативы камера с малым полем обзора может быть расположена во вращающемся или съемном устройстве; другими словами, камеру с малым полем обзора можно перемещать рядом с камерой с большим полем обзора. Вышеприведенные описания камеры 152 с малым полем обзора и камеры 151 с большим полем обзора, соответственно, применимы к камере 162 с малым полем зрения и камере 161 с большим полем обзора. Они не будут повторены в этом варианте осуществления заявки.
В некоторых других вариантах осуществления и правый, и левый модуль камеры включает в себя две или несколько камер с большим полем обзора; другими словами, реальное изображение сцены получают путем наложения или объединения изображений, снятых несколькими камерами. В этом случае обычно одна камера с большим полем обзора может быть расположена в качестве основной камеры в левом и правом модуле камеры. То есть угол обзора изображения, сфотографированного основной камерой, используют в качестве ориентира для составных и объединенных изображений, сфотографированных другими камерами с большим полем обзора, для получения реального изображения сцены. В этом случае расстояние между оптическими центрами двух основных камер равно D1, и оно должно соответствовать расстоянию между зрачками двух глаз пользователя. В одном модуле камеры камера с малым полем обзора расположена рядом с основной камерой из камер с большим полем обзора. Обычно расстояние между оптическим центром камеры с малым полем обзора и оптическим центром основной камеры составляет D2 и меньше 20 мм. Например, как показано на фиг. 2B, левый и правый модули камеры устройства 100 отображения, устанавливаемого на голове, включают в себя две камеры с большим полем обзора. То есть левый модуль 150 камеры включает в себя две камеры с большим полем обзора: камеру 1511 и камеру 1512, и правый модуль 160 камеры включает в себя две камеры с большим полем обзора: камеру 1611 и камеру 1612. Предполагается, что две камеры с большим полем обзора (а именно камера 1511 и камера 1611), находящиеся ближе к центральной оси, выступают в качестве основных камер. В этом случае расстояние между оптическим центром камеры 1511 и оптическим центром камеры 1611 составляет D1. Камера с малым полем обзора расположена рядом с основной камерой из камер с большим полем обзора. То есть расстояние между оптическим центром камеры 152 и оптическим центром камеры 1511 равно D2, а расстояние между оптическим центром камеры 162 и оптическим центром камеры 1611 равно D2.
В еще некоторых других вариантах осуществления на передней панели 120 также может быть установлен датчик, который определяет движение устройства 100 отображения, устанавливаемого на голове, такой как инерциальный измерительный блок (Inertial measurement unit, IMU) 170, выполненный с возможностью измерения информации о положении устройства 100 отображения, устанавливаемого на голове, например, трехкомпонентного угла положения (или угловой скорости) и ускорения устройства 100 отображения, устанавливаемого на голове. Обычно IMU включает в себя три акселерометра и три гироскопа, а акселерометры и гироскопы установлены на взаимно перпендикулярных измерительных осях. IMU с низкой точностью может быть дополнительно скорректирован другим способом. Например, для корректировки долгосрочного дрейфа местоположения используют GPS, для корректировки высоты используют барометр, или для корректировки позы используют магнитометр. В таком сценарии, как VR/AR/MR, информация о положении, которая относится к устройству 100 отображения, устанавливаемому на голове, и которая получена посредством IMU 170, и реальные изображения сцены, полученные модулями камеры, могут быть использованы для определения местоположения и компоновки реальной сцены, в котором расположено устройство 100 отображения, устанавливаемое на голове.
Для более четкого описания компонентов устройства 100 отображения, устанавливаемого на голове, и взаимных положений между компонентами в этом варианте осуществления этой заявки представлен вид сверху носимого пользователем устройства 100 отображения, устанавливаемого на голове, как показано на фиг. 3. На фиг. 3 показан пример, в котором левый и правый модули камеры включают в себя одну камеру с большим полем обзора и одну камеру с малым полем обзора.
Левый окуляр 230 и правый окуляр 240, соответственно, соответствующие левому и правому глазу, расположены на задней панели 130 устройства 100 отображения, устанавливаемого на голове. Устройство 100 отображения, устанавливаемое на голове, включает в себя дисплеи, соответствующие левому и правому окулярам. Понятно, что поле обзора дисплея не меньше, чем поле обзора камеры с большим полем обзора в модуле камеры, так что дисплей может полностью отображать изображение, сфотографированное камерой с большим полем обзора. Левый окуляр 230 соответствует левому дисплею 210, а правый окуляр 240 соответствует правому дисплею 220. Левый и правый окуляры могут помочь человеческому глазу сфокусироваться на левом и правом дисплеях и т.п., чтобы левый глаз пользователя, используя левый окуляр 230, мог видеть изображение, отображаемое на левом дисплее 210, а правый глаз пользователя, используя правый окуляр 230, мог видеть изображение, отображаемое на правом дисплее 220. Следует отметить, что левый дисплей 210 и правый дисплей 220 могут представлять собой два независимых дисплея или могут представлять собой разные области отображения на одном дисплее. Это не ограничено данным вариантом выполнения данной заявки.
Из фиг. 3 также видно, что левый модуль 150 камеры, соответствующий левому глазу пользователя, расположен на передней панели 120 устройства 100 отображения, устанавливаемого на голове, включающей в себя камеру 151 с большим полем обзора и камеру с малым полем обзора. 152, и правый модуль камеры, соответствующий правому глазу пользователя, расположен на передней панели 120 устройства 100 отображения, устанавливаемого на голове, включающей в себя камеру 161 с большим полем обзора и камеру 162 с малым полем обзора. IMU 170 также может быть расположен на передней панели 120.
Таким образом, после обработки двух изображений, снятых двумя камерами в левом модуле 150 камеры, с использованием способа, предложенного в этой заявке, обработанное изображение отображают на левом дисплее 210 перед левым глазом для просмотра левым глазом. После обработки двух изображений, снятых двумя камерами в правом модуле 160 камеры, с использованием способа, предложенного в этой заявке, обработанное изображение отображают на правом дисплее 220 перед правым глазом для просмотра правым глазом. Обычно камеры в левом модуле 150 камеры и в правом модуле 160 камеры захватывают изображения одновременно. Кроме того, из-за разницы в расположении между левым модулем 150 камеры и правым модулем 160 камеры также имеется разница в углах обзора между изображениями, одновременно снятыми двумя модулями, и разница в углах обзора такая же, как визуальная разница для лица. Следовательно, получают эффект трехмерного угла обзора, когда два глаза пользователя одновременно просматривают два изображения с левого дисплея 210 и правого дисплея 220.
Понятно, что в этой заявке камеру с большим полем обзора в левом модуле камеры и камеру с большим полем обзора в правом модуле камеры используют для имитации двух глаз пользователя для фотографирования реальных изображений сцены. Следовательно, оптические центры двух камер соответственно совмещены с центрами левого и правого глаза пользователя. Кроме того, поскольку реальные изображения сцены представляют в итоге с использованием левого экрана 210 дисплея и правого экрана 220 дисплея, чтобы пользователь мог чувствовать себя погруженным и ощущал реальность, оптические центры левого экрана 210 дисплея и правого экрана 220 дисплея также должны быть соответственно выровнены с центрами левого и правого глаза пользователя. Кроме того, в устройстве 100 отображения, устанавливаемом на голове, пользователь отдельно просматривает изображения на дисплеях, используя левый окуляр 230 и правый окуляр 240. Следовательно, оптические центры левого окуляра 230 и правого окуляра 240 также должны быть соответственно выровнены с центрами левого и правого глаза пользователя. На фиг. 4 показан схематический вид, на котором пользователь использует для просмотра устройство отображения, устанавливаемое на голове. В качестве примера используют правый глаз. Центр правого глаза пользователя, оптический центр A правого окуляра 240, оптический центр B правого дисплея 220 и оптический центр C большого поля 161 обзора в правом модуле камеры расположены на прямой или приблизительно расположены на прямой.
На фиг. 5 приведен схематический структурный вид другого устанавливаемого на голове устройства 100 отображения в соответствии с вариантом осуществления этой заявки. В дополнение к компонентам, показанным на фиг. 1B-3 (например, модуль 150 левой камеры, модуль 160 правой камеры, левый дисплей 210, правый дисплей 220 и IMU 170), устройство 100 отображения, устанавливаемое на голове, также может включать в себя процессор 501, интерфейс 502 внешней памяти, внутреннюю память 503, интерфейс 504 универсальной последовательной шины (universal serial bus, USB), модуль 505 управления зарядкой, модуль 506 управления питанием, аккумулятор 507, модуль 508 беспроводной связи, аудиомодуль 509, динамик 510 , телефонный приемник 511, микрофон 512, разъем 513 для гарнитуры, кнопку 514, мотор 515 и индикатор 516.
Понятно, что схематическая структура в этом варианте осуществления настоящего изобретения не представляет собой конкретных ограничений для устройства 100 отображения, устанавливаемого на голове. В некоторых других вариантах осуществления этой заявки устройство 100 отображения, устанавливаемое на голове, может включать в себя больше или меньше компонентов, чем показано на чертеже, или объединять некоторые компоненты, или разделять некоторые компоненты, или иметь другое расположение компонентов. Компоненты, показанные на чертеже, могут быть реализованы с использованием аппаратного обеспечения, программного обеспечения или комбинации программного и аппаратного обеспечения.
Процессор 501 включает в себя один или несколько блоков обработки. Например, процессор 501 может включать в себя прикладной процессор (application processor, AP), процессор модема, графический процессор (graphics processing unit, GPU), процессор сигналов изображения (image signal processor, ISP), контроллер, видеокодер/декодер, процессор цифровой обработки сигналов (digital signal processor, DSP), процессор основной полосы частот и/или нейросетевой процессор (neural-network processing unit, NPU). Различные блоки обработки могут быть независимыми компонентами или могут быть интегрированы в один или несколько процессоров.
Контроллер может генерировать сигнал управления работой на основе кода операции команды и сигнала временной последовательности для управления чтением команд и выполнением команд.
В процессоре 501 также может быть размещена память для хранения инструкций и данных. В некоторых вариантах осуществления память в процессоре 501 представляет собой кэш. В памяти может храниться инструкция или данные, которые в данный момент или циклически использует процессор 501. Если процессору 501 необходимо снова использовать команду или данные, процессор 501 может напрямую вызвать команду или данные из памяти. Это позволяет избежать повторного доступа и сокращает время ожидания процессора 501, тем самым повышая эффективность системы.
В некоторых вариантах осуществления процессор 501 может включать в себя один или несколько интерфейсов. Интерфейс может включать в себя интерфейс для связи между интегральными схемами (inter-integrated circuit, I2C), интерфейс для соединения цифровых аудиоустройств (inter-integrated circuit sound, I2S), интерфейс с импульсной кодовой модуляцией (pulse code modulation, PCM), интерфейс универсального асинхронного приемопередатчика (universal asynchronous receiver/transmitter, UART), интерфейс процессора мобильной индустрии (mobile industry processor interface, MIPI), интерфейс ввода/вывода общего назначения (general-purpose input/output, GPIO), a интерфейс модуля идентификации абонента (subscriber identity module, SIM), интерфейс универсальной последовательной шины (universal serial bus, USB) и/или тому подобное.
Понятно, что схематические взаимосвязи интерфейсных соединений между модулями в этом варианте осуществления данной заявки являются просто иллюстративными описаниями и не представляют собой ограничения на конструкцию устройства 100 отображения, устанавливаемого на голове. В некоторых других вариантах осуществления этой заявки устройство 100 отображения, устанавливаемое на голове, может использовать способы подключения интерфейса, отличные от тех, что применяют в вышеупомянутом варианте осуществления, или может использовать комбинацию нескольких способов подключения интерфейса.
Модуль 505 управления зарядкой выполнен с возможностью получения входных данных о зарядке от зарядного устройства. Зарядное устройство может быть беспроводным или проводным. В некоторых вариантах осуществления проводной зарядки модуль 505 управления зарядкой может принимать входные данные о зарядке от проводного зарядного устройства с использованием интерфейса 504 USB. В некоторых вариантах осуществления беспроводной зарядки модуль 505 управления зарядкой может принимать входные данные от беспроводной зарядки с использованием катушки беспроводной зарядки устройства 100 отображения, устанавливаемого на голове. При зарядке аккумулятора модуль 505 управления зарядкой также может подавать питание на устройство отображения, устанавливаемое на голове, используя модуль управления питанием.
Модуль 506 управления питанием выполнен с возможностью подключения к аккумулятору 507, модулю 505 управления зарядкой и процессору 501. Модуль 506 управления питанием принимает входные данные от аккумулятора 507 и/или модуля 505 управления зарядкой для подачи питания на процессор 501, внутреннюю память, левый дисплей 210, правый дисплей 220, модуль 150 камеры, модуль 160 камеры, модуль беспроводной связи и т.п. Модуль 506 управления питанием также может быть выполнен с возможностью отслеживания таких параметров, как емкость аккумулятора 507, количество циклов аккумулятора 507 и состояние работоспособности (утечка электричества и сопротивление) аккумулятора 507. В некоторых других вариантах осуществления модуль 506 управления питанием может быть расположен в процессоре 501. В некоторых других вариантах осуществления модуль 506 управления питанием и модуль 505 управления зарядкой могут быть расположены в одном компоненте.
Модуль 508 беспроводной связи может обеспечивать решение беспроводной связи, применяемое к устанавливаемому на голове устройству 100 отображения, включая беспроводную локальную сеть (wireless local area networks, WLAN) (например, сеть беспроводной связи (wireless fidelity, Wi-Fi)), Bluetooth (bluetooth, BT), глобальную навигационную спутниковую систему (global navigation satellite system, GNSS), частотную модуляцию (frequency modulation, FM), технологию беспроводной связи ближнего радиуса действия (Near Field Communication, NFC), инфракрасный порт (infrared, IR) или тому подобное. Модуль 508 беспроводной связи представлять собой один или несколько компонентов, в которые интегрирован по меньшей мере один модуль управления передачей данных. Модуль 508 беспроводной связи принимает электромагнитную волну с помощью антенны, выполняет частотную модуляцию и фильтрацию сигнала электромагнитной волны и отправляет обработанный сигнал на процессор 501. Модуль 508 беспроводной связи также может принимать сигнал, который должен быть отправлен от процессора 501, выполнять частотную модуляцию и усиление сигнала и преобразовывать сигнал, полученный после частотной модуляции и усиления, в электромагнитную волну, используя антенну для излучения.
Устанавливаемое на голове устройство 100 отображения реализует функцию отображения с использованием графического процессора (GPU), левого дисплея 210, правого дисплея 220, прикладного процессора и т.п. Графический процессор представляет собой микропроцессор для обработки изображений, и он подключен к левому дисплею 210, правому дисплею 220 и прикладному процессору. Графический процессор выполнен с возможностью выполнения математических и геометрических вычислений, а также с возможностью выполнения графического рендеринга. Процессор 501 может включать в себя один или несколько графических процессоров, и один или несколько графических процессоров выполняют программную инструкцию для генерации или изменения отображаемой информации.
В некоторых вариантах осуществления этой заявки устройство 100 отображения, устанавливаемое на голове, может представлять собой интегрированный HMD. Таким образом, устройство 100 отображения, устанавливаемое на голове, может выполнять обработку полученного изображения и информации о положении устройства 100 отображения, устанавливаемого на голове, используя, например, CPU, GPU, NPU, прикладной процессор и т.п., предварительную обработку и объединение изображения низкой четкости, захваченного камерой с большим полем обзора, и изображения высокой четкости, захваченного камерой с малым полем обзора, для получения реального изображения сцены; генерировать изображение, которое включает в себя виртуальный объект; и составлять изображение, которое включает в себя виртуальный объект, с реальным изображением сцены.
Изображение низкого разрешения, захваченное камерой с большим полем обзора, описывается относительно изображения, захваченного камерой с малым полем обзора, а разрешение изображения, захваченного камерой с большим полем обзора, ниже, чем разрешение изображения, полученного камерой с малым полем обзора. Изображение низкой четкости, захваченное камерой с большим полем обзора, удовлетворяет требованиям пользователя к разрешению изображения фоновой области во время просмотра изображения с помощью HDM. Аналогично, изображение высокого разрешения, захваченное камерой с малым полем обзора, описывается относительно изображения, захваченного камерой с большим полем обзора, а разрешение изображения, захваченного камерой с малым полем обзора, выше, чем разрешение изображения, полученного камерой с большим полем обзора. Изображение высокой четкости, захваченное камерой с малым полем обзора, удовлетворяет требованиям пользователя к разрешению изображения центральной области во время просмотра изображения с помощью HDM.
В некоторых других вариантах осуществления этой заявки устройство 100 отображения, устанавливаемое на голове, может представлять собой раздельный HMD. То есть, устройство 100 отображения, устанавливаемое на голове, может полностью или частично передавать обработку данных, выполняемую над полученным изображением и информацией о положении устройства 100 отображения, устанавливаемого на голове, другому электронному устройству или прибору. Например, устройство 100 отображения, устанавливаемое на голове, может отправлять, используя, например, интерфейс 504 USB, полученное изображение высокой четкости и изображение низкой четкости, а также полученное положение устройства 100 отображения, устанавливаемого на голове, на другое электронное устройство (например, мобильный телефон, персональный компьютер или планшетный компьютер), подключенный к устройству 100 отображения, устанавливаемому на голове. Электронное устройство выполняет обработку данных, а затем возвращает результат обработки на устройство 100 отображения, устанавливаемое на голове, для отображения на устройстве 100 отображения, устанавливаемом на голове. В этом примере устройство 100 отображения, устанавливаемое на голове, может не включать в себя какое-либо одно или несколько из следующих аппаратных устройств: GPU, NPU, прикладной процессор и т.п.
Левый дисплей 210 выполнен с возможностью отображения изображения, видео или тому подобного, соответствующего левому глазу, а правый дисплей 220 выполнен с возможностью отображения изображения, видео или тому подобного, соответствующего правому глазу. Левый дисплей 210 и правый дисплей 220 могут включать в себя панель отображения. Панель отображения может представлять собой жидкокристаллический дисплей (liquid crystal display, LCD), органический светодиод (organic light-emitting diode, OLED), активную матрицу на органических светодиодах (active-matrix organic light emitting diode, AMOLED), гибкий светодиод (flex light-emitting diode, FLED), MiniLED, MicroLED, Micro-OLED, светоизлучающий диод с квантовыми точками (quantum dot light emitting diode, QLED) или тому подобное.
Устройство 100 отображения, устанавливаемое на голове, может реализовывать функцию фотографирования с помощью ISP, модуля 150 камеры, модуля 160 камеры, видеокодера/декодера, GPU, левого дисплея 210, правого дисплея 220, прикладного процессора и т.п.
ISP выполнен с возможностью обработки данных, возвращаемых модулем 150 камеры и модулем 160 камеры. Например, когда модуль камеры захватывает изображение, свет передают на светочувствительный элемент камеры через линзу, так что оптический сигнал преобразуют в электрический сигнал; и светочувствительный элемент камеры передает электрический сигнал на ISP для обработки, так что электрический сигнал преобразуют в видимое изображение. ISP может дополнительно выполнить алгоритмическую оптимизацию шума, яркости и общего вида изображения. ISP также может оптимизировать такие параметры, как экспозиция и цветовая температура сфотографированной сцены. В некоторых вариантах осуществления ISP может быть расположен в модуле 150 камеры и модуле 160 камеры.
Модуль 150 камеры и модуль 160 камеры могут быть выполнены с возможностью захвата неподвижного изображения или видео. Оптическое изображение объекта создают с помощью линзы и проецируют на светочувствительный элемент. Светочувствительный элемент может представлять собой устройство с зарядовой связью (charge coupled device, CCD) или комплементарный металлооксидный полупроводник (complementary metal-oxide-semiconductor, CMOS). Светочувствительный элемент преобразует оптический сигнал в электрический сигнал, а затем передает электрический сигнал на ISP, так что электрический сигнал преобразуют в сигнал цифрового изображения. ISP выводит цифровой сигнал изображения на DSP для обработки. DSP преобразует сигнал цифрового изображения в сигнал изображения в стандартном формате, таком как RGB или YUV. В некоторых вариантах осуществления устройство 100 отображения, устанавливаемое на голове, может включать в себя один или N модулей 150 камеры и один или M модулей 160 камеры. N и M являются положительными целыми числами больше 1.
Процессор цифровых сигналов выполнен с возможностью обработки цифрового сигнала и может также обрабатывать другой цифровой сигнал в дополнение к сигналу цифрового изображения. Например, когда устройство 100 отображения, устанавливаемое на голове, выполняет выбор частоты, процессор цифровых сигналов выполняет преобразование Фурье и т.п. на частотной энергии.
Видеокодер/декодер выполнен с возможностью сжатия или распаковки цифрового видео. Устройство 100 отображения, устанавливаемое на голове, может поддерживать один или несколько типов видеокодеров/декодеров. Таким образом, устройство 100 отображения, устанавливаемое на голове, может воспроизводить или записывать видео в нескольких форматах кодирования, таких как формат экспертной группы MPEG (moving picture experts group, MPEG) 1, MPEG 2, MPEG 3 и MPEG 4.
NPU – это нейросетевой процессор (neural-network, NN); и он быстро обрабатывает входную информацию с помощью биологической нейросетевой структуры, такой как способ передачи между нервными клетками человеческого мозга, и может дополнительно постоянно выполнять самообучение. NPU может быть использован для реализации такого приложения, как интеллектуальное распознавание в устройстве 100 отображения, устанавливаемом на голове, например, распознавание изображений, распознавание лиц, распознавание речи или понимание текста.
Интерфейс 502 внешней памяти может быть выполнен с возможностью подключения к внешней карте памяти, такой как карта MicroSD, для расширения возможностей хранения устройства 100 отображения, устанавливаемого на голове. Внешняя карта памяти обменивается данными с процессором 501 с помощью интерфейса 502 внешней памяти, чтобы реализовать функцию хранения данных, например, сохранение файла, такого как музыка или видео, на внешней карте памяти.
Внутренняя память 503 может быть выполнена с возможностью хранения компьютерного исполняемого программного кода, а исполняемый программный код включает в себя инструкцию. Внутренняя память 503 может включать в себя область хранения программ и область хранения данных. Область хранения программ может хранить операционную систему, прикладную программу, требуемую по меньшей мере одной функцией (например, функцией воспроизведения голоса или функцией воспроизведения изображения) и т.п. В области хранения данных могут храниться данные (например, аудиоданные и адресная книга) и т.п., созданные во время использования устройства 100 отображения, устанавливаемого на голове. Кроме того, внутренняя память 503 может включать в себя высокоскоростную память с произвольным доступом или может включать в себя энергонезависимую память, такую как по меньшей мере одна память на магнитных дисках, флэш-память или универсальный флэш-накопитель (universal flash storage, UFS). Процессор 501 выполняет инструкцию, хранящуюся во внутренней памяти 503, и/или инструкцию, хранящуюся в памяти, расположенной в процессоре 501, для выполнения различных функциональных приложений и обработки данных устройства 100 отображения, устанавливаемого на голове.
Устройство 100 отображения, устанавливаемое на голове, может реализовывать звуковую функцию, например, воспроизводить или записывать музыку, используя аудиомодуль 509, динамик 510, телефонный приемник 511, микрофон 512, разъем 513 для гарнитуры, прикладной процессор и тому подобное.
Аудиомодуль 509 выполнен с возможностью преобразования цифровой аудиоинформации в выходной аналоговый аудиосигнал, а также преобразования аналогового аудиовхода в цифровой аудиосигнал. Аудиомодуль 509 также может быть выполнен с возможностью кодирования и декодирования аудиосигнала. В некоторых вариантах осуществления аудиомодуль 509 может быть расположен в процессоре 501, или некоторые функциональные модули аудиомодуля 509 могут быть расположены в процессоре 501.
Динамик 510 также называют "громкоговорителем", и он выполнен с возможностью преобразования звукового электрического сигнала в звуковой сигнал. Устройство 100 отображения, устанавливаемое на голове, может прослушивать музыку или звонки в режиме громкой связи с помощью динамика 510.
Телефонный приемник 511 также называют "наушником", и он выполнен с возможностью преобразования звукового электрического сигнала в звуковой сигнал Если устройство 100 отображения, устанавливаемое на голове, отвечает на вызов или принимает голосовое сообщение, телефонный приемник 511 можно разместить рядом с человеческим ухом для приема голоса.
Микрофон 512 также называют "микрофоном" или "микрофоном", и он выполнен с возможностью преобразования звукового сигнала в электрический сигнал. При получении голосового сообщения пользователь может говорить, приближая рот к микрофону 512, чтобы ввести звуковой сигнал в микрофон 512. По меньшей мере один микрофон 512 может быть расположен в устройстве 100 отображения, устанавливаемом на голове. В некоторых других вариантах осуществления в устройстве 100 отображения, устанавливаемом на голове, может быть расположено два микрофона 512, чтобы реализовывать функцию шумоподавления в дополнение к получению звукового сигнала. В некоторых других вариантах осуществления в устройстве 100 отображения, устанавливаемом на голове, может быть расположено три, четыре или более микрофонов 512, чтобы собирать звуковой сигнал и реализовывать шумоподавление, а также дополнительно распознавать источник звука для реализации функции направленной записи и т.п.
Гнездо 513 для гарнитуры выполнено с возможностью подключения проводной гарнитуры. Гнездо 513 для гарнитуры может представлять собой интерфейс USB или стандартный 3,5 мм интерфейс открытой платформы мобильных терминалов (open mobile terminal platform, OMTP) или стандартный интерфейс ассоциации телекоммуникационной отрасли США (cellular telecommunications industry association of the USA, CTIA).
Кнопка 514 включает в себя кнопку включения, кнопку громкости и т.п. Кнопка 514 может быть механической кнопкой 514 или сенсорной кнопкой 514. Устройство 100 отображения, устанавливаемое на голове, может принимать ввод от кнопки 514 и формировать входной сигнал кнопки, относящийся к пользовательским настройкам и управлению функциями устройства 100 отображения, устанавливаемого на голове.
Мотор 515 может генерировать вибрацию. Мотор 515 может быть выполнен с возможностью обеспечения вибрации для входящего вызова или может быть выполнен с возможностью обеспечения вибрационной обратной связи на касания. Например, сенсорные операции, выполняемые в разных приложениях (например, фотосъемка и воспроизведение звука), могут соответствовать различным эффектам вибрационной обратной связи. Для операций касания, выполняемых в разных областях левого дисплея 210 и правого дисплея 220, мотор 515 также может соответствовать различным эффектам вибрационной обратной связи. Различные сценарии приложений (например, напоминание о времени, получение информации, будильник и игра) также могут соответствовать различным эффектам вибрационной обратной связи. В качестве альтернативы можно настроить вибрационный эффект обратной связи при касании.
Индикатор 516 может представлять собой световой индикатор и может быть выполнен с возможностью индикации состояния зарядки и замены батареи, или может быть выполнен с возможностью индикации сообщения, пропущенного вызова, уведомления и т.п.
Все технические решения в следующих вариантах осуществления могут быть реализованы в устройстве 100 отображения, устанавливаемом на голове, показанном на фиг. 1B-5.
На фиг. 6 приведена блок-схема последовательности действий способа обработки изображения в соответствии с вариантом осуществления этой заявки. Способ, в частности, включает в себя следующие этапы.
S101. В ответ на обнаруженную пользовательскую операцию запуска получают первое изображение первого разрешения с помощью первой камеры и одновременно получают второе изображение второго разрешения с помощью второй камеры.
В этом варианте осуществления этой заявки две первые камеры могут быть использованы для имитации двух глаз пользователя (первая камера с левой стороны соответствует левому глазу, а первая камера с правой стороны соответствует правому глазу). Для получения изображения или видео в максимальном диапазоне, видимом двумя глазами пользователя, оптические центры двух первых камер соответственно выровнены с центрами двух глаз пользователя, а поле обзора каждой первой камеры должно быть близко к полю зрения человеческого глаза. Таким образом, два первых изображения, полученные одновременно двумя первыми камерами, можно рассматривать как два изображения в пределах максимального диапазона, видимого двумя глазами пользователя, и их можно использовать в качестве изображения фоновых областей в реальных сценах, видимых пользователем. Когда две первые камеры получают первые изображения, две вторые камеры используют для получения изображений областей визуальной фокусировки пользователя (вторая камера с левой стороны соответствует левому глазу, а вторая камера с правой стороны соответствует правому глазу), а именно изображения центральных областей. Как упомянуто выше, диапазон области визуальной фокусировки пользователя меньше максимального диапазона, видимого двумя глазами пользователя, и для области визуальной фокусировки требуется сравнительно высокая четкость. Следовательно, поле зрения второй камеры меньше поля зрения первой камеры, а разрешение (а именно второе разрешение) второй камеры выше, чем разрешение (а именно, первое разрешение) первой камеры.
Поля обзора фоновой области и центральной области, а также требования к четкости для пользователя во время просмотра с близкого расстояния определяют на основе визуальной особенности человеческого глаза. Например, поле зрения первой камеры может находиться в диапазоне от 100 градусов до 200 градусов, а разрешение (а именно, первое разрешение) первой камеры может варьироваться от VGA до 720p. Поле зрения второй камеры может находиться в диапазоне от 20 градусов до 60 градусов, а разрешение (а именно, второе разрешение) второй камеры может варьироваться от 720p до 2Kp.
Например, пользовательская операция запуска может представлять собой операцию запуска пользователем приложения AR, пользовательской операцией, которая запускает службу, или операцией, посредством которой пользователь включает камеру. Например, пользователь может коснуться элемента управления, нажать физическую кнопку или ввести определенную голосовую команду или заранее заданный жест. Это не ограничено данным вариантом выполнения данной заявки.
После обнаружения пользовательской операции запуска устройство отображения, устанавливаемое на голове, управляет двумя первыми камерами и двумя вторыми камерами для одновременного получения изображений для получения двух первых изображений большого поля обзора. Из-за особой разницы в местоположении между двумя первыми камерами только в горизонтальном направлении имеется сравнительно небольшая разница в углах обзора между двумя полученными первыми изображениями только в горизонтальном направлении. Например, как показано на фиг. 7, сфотографированные объекты на первом изображении включают в себя дерево, собаку и мяч, а первое изображение является изображением первого разрешения.
Поскольку поле зрения второй камеры меньше, чем поле зрения первой камеры, второе изображение, полученное второй камерой, является частью содержимого первого изображения и является содержимым центральной области первого изображения, но разрешение второго изображения выше, чем у первого изображения. Например, как показано на фиг. 7 сфотографированный объект на втором изображении представляет собой дерево, а второе изображение является изображением второго разрешения. Можно отметить, что на фиг. 7, для обозначения изображения второго разрешения используют затенение, чтобы отличить его от изображения первого разрешения. Ниже это повторно не описано.
Следует отметить, что в этом варианте осуществления этой заявки устройство отображения, устанавливаемое на голове, имеет два модуля камеры (каждый из которых включает в себя первую камеру и вторую камеру), соответственно, соответствующих двум глазам пользователя, и два дисплея. То есть первая камера и вторая камера с левой стороны получают изображения, и после обработки изображений обработанное изображение отображают на дисплее с левой стороны для просмотра левым глазом пользователя. Первая камера и вторая камера с правой стороны получают изображения, и после обработки изображений обработанное изображение отображают на дисплее с правой стороны для просмотра правым глазом пользователя. Поскольку для левой и правой сторон выполняют одинаковую обработку изображений, ниже в качестве примера для описания используют процесс обработки изображения на одной из сторон. Ниже это повторно не описано.
Кроме того, поскольку видео, сфотографированное камерой, также включает в себя множество последовательных кадров изображений, обработку видео также можно понимать как обработку множества кадров изображений. Поэтому в этой заявке не описан способ обработки видео.
S102. Отдельно осуществляют предварительную обработку первого изображения и второго изображения.
Предварительная обработка включает в себя такую обработку, как устранение искажений и баланс белого. Камера состоит из группы линз, а характерная особенность линз вызывает искажение сфотографированного изображения. Следовательно, обработку снимаемого изображения необходимо выполнять на основе физических характеристик каждой камеры. Кроме того, из-за воздействия таких факторов, как окружающий свет, исходное изображение, снятое камерой, искажается. Следовательно, необходимо выполнить дополнительную обработку, например баланс белого, на сфотографированном изображении. То есть предварительную обработку первого изображения выполняют на основе физических характеристик первой камеры, а предварительную обработку второго изображения выполняют на основе физических характеристик второй камеры. Следует отметить, что предварительная обработка не изменяет поля зрения, разрешение, сфотографированные объекты и т.п. на первом и втором изображении.
Как исправление искажений изображения, так и баланс белого могут быть выполнены с использованием соответствующих технологий в данной области техники. Подробности здесь не описаны.
S103. Выравнивают угол обзора предварительно обработанного второго изображения с углом обзора обработанного первого изображения на основе местоположения второй камеры относительно первой камеры.
Предварительно обработанное второе изображение и предварительно обработанное первое изображение имеют один и тот же сфотографированный объект, но существует определенная разница в угле обзора между изображениями одного и того же сфотографированного объекта на двух изображениях из-за разного расположения первой камеры и второй камеры. Следовательно, углы обзора двух изображений необходимо выровнять. Выше подробно описано взаимное местоположение первой камеры и второй камеры в одном модуле камеры. Следовательно, разница углов обзора между двумя изображениями может быть определена на основе взаимного местоположения, а затем угол обзора предварительно обработанного второго изображения может быть отрегулирован на основе разницы углов обзора для согласования с углом обзора предварительно обработанного первого изображения. Из области компьютерной графики понятно, что процесс регулировки угла обзора включает в себя такие процессы, как вращение, перемещение и калибровка некопланарных строк на предварительно обработанном втором изображении. Для соответствующего способа регулировки угла обзора следует обратиться к предшествующему уровню техники. Подробности здесь не описаны.
Следует отметить, что в качестве альтернативы угол обзора второго изображения может быть сначала выровнен с углом обзора первого изображения на одной и той же стороне, а затем осуществляют предварительную обработку второго изображения, полученного после выравнивания угла обзора. Последовательность этапа выравнивания угла обзора и этапа предварительной обработки не ограничена в этом варианте осуществления данной заявки.
S104. Получают информацию о положении устройства отображения, устанавливаемого на голове, и на основе предварительно обработанного первого изображения генерируют третье изображение, которое включает в себя виртуальный объект.
Например, устройство отображения, устанавливаемое на голове, выполняет одноканальное извлечение данных и понижающую дискретизацию предварительно обработанного первого изображения и со ссылкой на информацию о положении (то есть информацию о положении устройства отображения, устанавливаемого на голове, во время получения первого изображения), полученную от датчика движения (например, IMU), вычисляет информацию о местоположении и положении устройства отображения, устанавливаемого на голове, информацию о глубине реальной окружающей среды и результат трехмерной реконструкции, используя алгоритм одновременной локализацию и построения карты SLAM (Simultaneously Localization and Mapping) алгоритм. Затем соответствующим приложением (например, приложением AR) в устройстве отображения, устанавливаемом на голове, генерируют третье изображение, которое включает в себя виртуальный объект, со ссылкой на виртуальный объект. Как показано на фиг. 7, виртуальный объект, сгенерированный устройством отображения, устанавливаемым на голове, является роботом, а изображение, а именно третье изображение, которое включает в себя робота, генерируют на основе вычисленной информации о локализации и положении, информации о глубине окружающей среды и результата трехмерной реконструкции.
Кроме того, чтобы можно было естественным образом смешивать виртуальный объект, сгенерированный независимо соответствующим приложением, с реальной сценой, чтобы пользователь не ощущал резкой выраженности и неестественности, виртуальный объект может быть дополнительно отрегулирован на основе реального изображения сцены. Например, разрешение виртуального объекта адаптируют к разрешению реального изображения сцены, регулируют местоположение виртуального объекта и вычисляют тень виртуального объекта на основе условий освещения в реальной сцене.
S105. Объединяют в виде четвертого изображения реальной сцены предварительно обработанное первое изображение со вторым изображением, полученным после совмещения угла обзора, где четвертое изображение включает в себя изображение первого разрешения и изображение второго разрешения.
Например, устройство отображения, устанавливаемое на голове, в качестве целевых областей определяет область в предварительно обработанном первом изображении и область во втором изображении, полученном после совмещения угла обзора, которые имеют перекрывающиеся углы обзора. То есть изображения в целевых областях в двух изображениях являются изображениями, полученными путем одновременного фотографирования одного и того же сфотографированного объекта под одним и тем же углом обзора. Объединение изображений выполняют на предварительно обработанном первом изображении и втором изображении, полученном после совмещения угла обзора, для получения четвертого изображения. Изображение целевой области на четвертом изображении такое же, как изображение целевой области на втором изображении, полученном после совмещения угла обзора, и имеет сравнительно высокое второе разрешение. Изображение области, отличной от целевой области, в четвертом изображении такое же, как изображение в предварительно обработанном первом изображении, и имеет сравнительно низкое первое разрешение. Например, как показано на фиг. 7 на четвертом изображении разрешение дерева является вторым разрешением, а разрешение собаки, мяча и т.п., кроме дерева, является первым разрешением.
Понятно, что целевая область на четвертом изображении является областью визуального фокуса пользователя, а именно центральной областью, и требует сравнительно высокого разрешения. Область, отличная от целевой области на четвертом изображении, является вышеуказанной фоновой областью и требует сравнительно низкого разрешения, но имеет относительно большое поле зрения.
Например, в вышеупомянутом процессе объединения изображений изображение целевой области на предварительно обработанном первом изображении может быть удалено, а затем может быть заполнено изображением целевой области на втором изображении, полученным после совмещения угла обзора. После заполнения, чтобы избежать такой проблемы, как ощущение наложения, вызванное процессом компоновки изображения, положения краев композиции двух изображений (а именно, положения краев целевых областей) смешивают с использованием способа взвешенного смешивания, так что окончательное составное изображение (а именно четвертое изображение) является более естественным и реальным.
Способ компоновки изображения может представлять собой один или несколько из следующих: технология прямого вырезания-вставки (cut-paste), альфа-смешивание (alpha blending), многополосное смешивание (multiband blending) или пуассоновское смешивания (poisson blending). В этой заявке не ограничен конкретный способ компоновки изображения.
Например, целевые области могут быть определены с использованием способа сопоставления характерных точек. Следует отметить, что, хотя изображения целевых областей на двух изображениях получены путем одновременного фотографирования одного и того же сфотографированного объекта и имеют одинаковый угол обзора, поскольку две фотографии получают двумя камерами, находящимися в разных местах, а значения пикселей изображений в целевых областях в двух изображениях не полностью согласованы из-за таких факторов, как свет, то целевые области необходимо определять на основе двух изображений.
Проще говоря, распознавание характерных точек выполняют отдельно на двух изображениях, а затем сравнивают сходство характерных точек на двух изображениях для определения целевых областей. То есть области с одинаковыми характерными точками на двух изображениях определяют как области с одинаковым углом обзора, а именно как целевые области. Характерная точка – это один или несколько пикселей, и сходство характерных точек на двух изображениях может быть одинаковым соотношением между пиксельными значениями характерных точек и пиксельными значениями пикселей вокруг характерных точек по следующей причине: Хотя пиксельные значения пикселей в целевых областях двух изображений различаются из-за таких факторов, как свет, поскольку целевые области отображают один и тот же сфотографированный объект, имеет место фиксированная взаимосвязь между пикселем в целевой области и пикселями вокруг этого пикселя. Например, для одного и того же листа, сфотографированного в одно и то же время, на изображении 1 свет относительно сильный, а весь лист сравнительно яркий; а на изображении 2 свет относительно темный, а весь лист сравнительно темный. Другими словами, пиксельное значение листа на изображении 1 отличается от пиксельного значения листа на изображении 2. Однако разница между пиксельными значениями разных частей листа на изображении 1 такая же, как разница между пиксельными значениями разных частей листа на изображении 2.
Метод распознавания характерных точек может представлять собой один или несколько из следующих: алгоритм SIFT, алгоритм SURF (Speeded Up Robust Features), алгоритм FAST, алгоритм ORB (ORiented Brief and Rotated BRIEF) или т.п. В этом варианте осуществления настоящей заявки конкретный способ распознавания характерной точки не ограничен.
Конечно, целевые области могут быть определены с использованием другого способа. Например, из-за фиксированного взаимного местоположения первой камеры и второй камеры, местоположение целевой области в предварительно обработанном первом изображении также фиксировано, и местоположение целевой области во втором изображении, полученном после выравнивания угла обзора, также фиксировано. Следовательно, местоположение целевой области в предварительно обработанном первом изображении и местоположение целевой области во втором изображении, полученном после выравнивания угла обзора, могут быть определено заранее, и затем выполняют объединение изображений непосредственно на основе местоположений. Способ определения целевой области также не ограничен в этом варианте осуществления данной заявки.
Следует отметить, что в этом варианте осуществления настоящей заявки этап S105 может быть выполнен перед этапом S104, или этапы S104 и S105 могут быть выполнены одновременно. Это не ограничено в данной заявке.
S106. Объединяют четвертое изображение с третьим изображением, чтобы получить пятое изображение, и отображают пятое изображение, причем пятое изображение включает в себя реальную сцену и виртуальный объект.
В частности, объединение изображений выполняют для четвертого изображения и третьего изображения, так что составное изображение (а именно, пятое изображение) включает в себя виртуальный объект из третьего изображения, а также включает в себя реальную сцену из четвертого изображения; другими словами, реализуют объединение реальности и виртуальности.
Например, в процессе объединения третьего изображения и четвертого изображения, местоположение виртуального объекта вычисляют, когда третье изображение генерируют на этапе S104. Следовательно, изображение в том же месте на четвертом изображении может быть удалено, а виртуальный объект может быть помещен на третьем изображении. Для смешивания на краю размещенной области используют способ взвешенного смешивания, чтобы получить пятое изображение. Другими словами, для обработки используют способ объединения изображений, описанный на этапе S105.
В качестве альтернативы, в процессе объединения третьего изображения и четвертого изображения изображение или текстура виртуального объекта может быть прикреплена к одному и тому же местоположению на четвертом изображении на основе местоположения виртуального объекта, которое вычисляют на предыдущем этапе. Например, объединение изображений может быть реализовано с помощью шейдера (shader). Другими словами, третье изображение и четвертое изображение используют для совместного участия в рендеринге. Для получения информации о конкретном способе визуализации следует обратиться к соответствующему уровню техники. Подробности здесь не описаны.
Следует отметить, что конкретный способ объединения изображений не ограничен в этом варианте осуществления данной заявки.
Из вышеизложенного понятно, что устройство отображения, устанавливаемое на голове, может отдельно отображать на левом и правом дисплеях изображения с сочетанием реальности и виртуальности, полученные в соответствии с вышеизложенным способом, и между изображениями на левом и правом дисплеях имеет место определенная разница углов обзора, так что пользователь может наслаждаться 3D-эффектом во время просмотра.
Кроме того, поскольку поле обзора фоновой области на отображаемом изображении велико, то для пользователя может быть обеспечен более широкий угол обзора, тем самым отвечая требованию сравнительно широкого поля зрения человеческого глаза. Кроме того, изображение центральной области имеет высокое разрешение, так что пользователю может быть предоставлено изображение высокой четкости в пределах глубины резкости линии обзора. Понятно, что техническое решение, представленное в этой заявке, помогает улучшить ощущение погружения, ощущение реальности и визуальный опыт пользователя.
Кроме того, изображение фоновой области имеет низкое разрешение, так что объем данных во время обработки изображения и сложность вычислений могут быть уменьшены, тем самым помогая уменьшить задержку во время отображения.
Понятно, что для реализации вышеупомянутых функций вышеупомянутый терминал или тому подобное включает в себя соответствующие аппаратные структуры и/или программные модули для выполнения этих функций. Специалисту в области техники понятно, что в сочетании с описанными в вариантах осуществления примерами, изложенными в этой спецификации, блоки, алгоритмы и этапы могут быть реализованы в вариантах осуществления этой заявки с помощью аппаратного обеспечения или сочетания аппаратного обеспечения компьютерного программного обеспечения. Будет ли функция выполнена аппаратным обеспечением или аппаратным обеспечением, управляемым компьютерным программным обеспечением, зависит от конкретных приложений и конструктивных ограничений технических решений. Специалисты в области техники могут применять различные способы для реализации описанных функций для каждого конкретного приложения, но не следует считать, что реализация выходит за пределы объема вариантов осуществления настоящего изобретения.
В вариантах осуществления этой заявки вышеупомянутый терминал или тому подобное может быть разделен на функциональные модули на основе вышеупомянутых примеров способов. Например, каждый функциональный модуль может быть получен путем разделения на основе соответствующей функции, или две или более функций могут быть интегрированы в один модуль обработки. Интегрированный модуль может быть реализован в виде аппаратного обеспечения, либо могут быть реализованы в виде программного функционального модуля. Следует отметить, что в вариантах осуществления настоящего изобретения разделение на модули является примером и представляет собой просто логическое разделение функций. В фактической реализации может использоваться другой способ разделения.
Приведенное выше описание реализаций позволяет специалисту в данной области техники ясно понять, что в целях удобного и краткого описания разделение вышеупомянутых функциональных модулей взято в качестве примера для иллюстрации. В реальном приложении вышеупомянутые функции могут быть назначены различным функциональным модулям для реализации в соответствии с требованиями. То есть внутренняя структура устройства разделена на различные функциональные модули для реализации всех или некоторых из вышеупомянутых функций. Для подробных рабочих процессов вышеупомянутой системы, устройства и блока следует обратиться к соответствующим процессам в вышеупомянутых вариантах осуществления способа. Подробности здесь снова не описаны.
Функциональные блоки в вариантах осуществления этой заявки могут быть интегрированы в один процессор, либо каждый из блоков может быть выполнен физически отдельно, либо два или несколько блоков могут быть интегрированы в один блок. Интегрированный блок может быть реализован в виде аппаратного обеспечения, либо могут быть реализованы в виде программного функционального модуля.
Если интегрированный блок реализован в виде программного функционального блока, который продают или используют в качестве независимого продукта, то интегрированный блок может быть сохранен на машинном носителе информации. Понимая это, технические решение настоящего изобретения по сути или часть, вносящая вклад в существующий уровень техники, или все или некоторые технические решения могут быть реализованы в виде программного продукта. Программный продукт хранят на носителе информации, и он включает в себя несколько команд, предназначенных для того, чтобы вычислительное устройство (которое может представлять собой персональный компьютер, сервер, сетевое устройство и т.п.) или процессор 501 выполнял все или некоторые этапы способов, описанных в вариантах осуществления настоящего изобретения. Вышеупомянутый носитель информации включает в себя: любой носитель, способный хранить программный код, такой как флэш-память, съемный жесткий диск, постоянная память, память произвольного доступа, магнитный диск или оптический диск.
Вышеприведенное описание представляет собой всего лишь отдельные реализации настоящей заявки, и не предполагается, что оно ограничивает объем защиты настоящего изобретения. Любые изменения или замены в пределах технического объема, раскрытого в этой заявке, должны подпадать под объем защиты этой заявки. Следовательно, объем защиты этой заявки должен соответствовать объему защиты формулы изобретения.
| название | год | авторы | номер документа |
|---|---|---|---|
| Стереопросмотр | 2015 |
|
RU2665872C2 |
| УСТРОЙСТВО И СПОСОБ ОТОБРАЖЕНИЯ ИЗОБРАЖЕНИЯ, МОБИЛЬНОЕ УСТРОЙСТВО, СИСТЕМА ОТОБРАЖЕНИЯ ИЗОБРАЖЕНИЯ И КОМПЬЮТЕРНАЯ ПРОГРАММА | 2013 |
|
RU2646360C2 |
| СИСТЕМА ОТОБРАЖЕНИЯ, УСТРОЙСТВО ОТОБРАЖЕНИЯ И УСТРОЙСТВО РЕТРАНСЛЯЦИИ | 2012 |
|
RU2602363C2 |
| ЗАКРЕПЛЯЕМОЕ НА ГОЛОВЕ УСТРОЙСТВО ОТОБРАЖЕНИЯ И СПОСОБ УПРАВЛЕНИЯ ЗАКРЕПЛЯЕМЫМ НА ГОЛОВЕ УСТРОЙСТВОМ ОТОБРАЖЕНИЯ | 2014 |
|
RU2632257C2 |
| СОСТАВНАЯ ЛИНЗА И СОДЕРЖАЩАЯ ЕЕ СИСТЕМА ОТОБРАЖЕНИЯ | 2016 |
|
RU2642149C2 |
| МЕХАНИЗМЫ ОБЕСПЕЧЕНИЯ БЕЗОПАСНОСТИ НА ОСНОВЕ КАМЕРЫ ДЛЯ ПОЛЬЗОВАТЕЛЕЙ УСТАНОВЛЕННЫХ НА ГОЛОВЕ ДИСПЛЕЕВ | 2014 |
|
RU2661857C2 |
| СИСТЕМА И СПОСОБ ДЛЯ ДОПОЛНЕННОЙ И ВИРТУАЛЬНОЙ РЕАЛЬНОСТИ | 2012 |
|
RU2621633C2 |
| ИСПОЛЬЗОВАНИЕ ВТОРОГО ЭКРАНА В КАЧЕСТВЕ ПЕРСОНАЛЬНОГО ПРОЕКЦИОННОГО ДИСПЛЕЯ НА ОЧКАХ | 2015 |
|
RU2661808C2 |
| СИСТЕМА ОТОБРАЖЕНИЯ РЕАЛЬНОЙ ИЛИ ВИРТУАЛЬНОЙ СЦЕНЫ И СПОСОБ ЕЕ ФУНКЦИОНИРОВАНИЯ | 2017 |
|
RU2665289C1 |
| ОРИЕНТАЦИЯ И ВИЗУАЛИЗАЦИЯ ВИРТУАЛЬНОГО ОБЪЕКТА | 2014 |
|
RU2670784C9 |
Устройство отображения, устанавливаемое на голове, содержит два модуля, причем каждый модуль содержит модуль камеры, экран дисплея и модуль обработки. Модуль камеры содержит первую и вторую камеры, при этом поле обзора первой камеры больше, чем поле обзора второй камеры. Каждый модуль выполнен с возможностью реализации способа обработки изображений, содержащего этапы, на которых: получают с помощью первой камеры первое изображение, имеющее первое разрешение, и с помощью второй камеры второе изображение, имеющее второе разрешение, причем первое разрешение меньше второго разрешения; генерируют с помощью модуля обработки четвертое изображение на основе первого и второго изображений, причем четвертое изображение является реальным изображением сцены и содержит изображение с первым разрешением и изображение со вторым разрешением; генерируют с помощью модуля обработки пятое изображение на основе четвертого изображения и третьего изображения, содержащего виртуальный объект, причем пятое изображение содержит реальное изображение сцены и виртуальный объект; и отображают на экране дисплея модуля пятое изображение. Технический результат – улучшение разрешения при уменьшении объема данных и задержки отображения. 3 н. и 19 з.п. ф-лы, 9 ил.
1. Способ обработки изображений, применяемый в устройстве отображения, устанавливаемом на голове, в котором расположено два модуля, причем каждый модуль содержит модуль камеры, экран дисплея, соответствующий модулю камеры, и модуль обработки, причем модуль камеры содержит первую камеру и вторую камеру, при этом поле обзора первой камеры больше, чем поле обзора второй камеры, и каждый модуль выполнен с возможностью реализации способа, содержащего этапы, на которых:
получают, с помощью первой камеры, в ответ на обнаруженную операцию запуска, первое изображение, имеющее первое разрешение, и получают, с помощью второй камеры, второе изображение, имеющее второе разрешение, причем первое разрешение меньше второго разрешения;
генерируют, с помощью модуля обработки, четвертое изображение на основе первого изображения и второго изображения, причем четвертое изображение является реальным изображением сцены и содержит изображение с первым разрешением и изображение со вторым разрешением;
генерируют, с помощью модуля обработки, пятое изображение на основе четвертого изображения и третьего изображения, содержащего виртуальный объект, причем пятое изображение содержит реальное изображение сцены и виртуальный объект; и
отображают на экране дисплея модуля пятое изображение.
2. Способ по п. 1, в котором расстояние от оптического центра первой камеры одного модуля до оптического центра первой камеры другого модуля составляет от 61 миллиметра до 65 миллиметров.
3. Способ по п. 2, в котором расстояние от оптического центра первой камеры до оптического центра второй камеры в каждом модуле составляет менее 20 миллиметров.
4. Способ по любому из пп. 1-3, в котором каждый модуль дополнительно включает в себя окуляр, а экран дисплея расположен между окуляром и модулем камеры.
5. Способ по п. 4, в котором оптический центр окуляра, оптический центр экрана дисплея и оптический центр первой камеры в каждом модуле расположены на прямой линии.
6. Способ по любому из пп. 1-5, в котором этап генерирования, модулем обработки, четвертого изображения на основе первого изображения и второго изображения содержит подэтапы, на которых:
регулируют, с помощью модуля обработки, угол обзора второго изображения так, чтобы он был таким же, как угол обзора первого изображения; и
генерируют четвертое изображение на основе скорректированного второго изображения и первого изображения.
7. Способ по п. 6, в котором этап регулировки, модулем обработки, угла обзора второго изображения, чтобы он был таким же, как угол обзора первого изображения, содержит подэтап, на котором:
выполняют, с помощью модуля обработки, поворот, перемещение и калибровку некопланарных строк на втором изображении, чтобы угол обзора второго изображения был таким же, как угол обзора первого изображения.
8. Способ по любому из пп. 6 или 7, в котором этап генерирования, модулем обработки, четвертого изображения на основе скорректированного второго изображения и первого изображения содержит подэтапы, на которых:
определяют, с помощью модуля обработки, в качестве целевых областей, область в скорректированном втором изображении и область в первом изображении, имеющие перекрывающиеся углы обзора; и
заменяют изображение целевой области в первом изображении на скорректированное второе изображение.
9. Способ по любому из пп. 1-8, дополнительно содержащий, перед этапом генерирования, модулем обработки, пятого изображения на основе четвертого изображения и третьего изображения, содержащего виртуальный объект, этап, на котором:
генерируют, с помощью модуля обработки, на основе информации о положении устанавливаемого на голове устройства отображения и первого изображения, третье изображение, содержащее виртуальный объект.
10. Способ по любому из пп. 1-9, в котором этап генерирования, модулем обработки, пятого изображения на основе четвертого изображения и третьего изображения, содержащего виртуальный объект, содержит подэтапы, на которых:
регулируют, с помощью модуля обработки, разрешение третьего изображения на основе первого разрешения первого изображения и/или регулируют тень виртуального объекта в третьем изображении на основе информации о свете в первом изображении; и
генерируют пятое изображение на основе четвертого изображения и скорректированного третьего изображения.
11. Устройство отображения, устанавливаемое на голове, содержащее два модуля и память, причем каждый модуль содержит модуль камеры, экран дисплея, соответствующий модулю камеры, и модуль обработки, причем модуль камеры содержит первую камеру и вторую камеру, при этом поле обзора первой камеры больше, чем поле обзора второй камеры, память выполнена с возможностью хранения компьютерного программного кода, причем компьютерный программный код содержит компьютерные инструкции, вызывающие, при считывании модулем обработки, из памяти, выполнение каждым модулем устройства отображения, устанавливаемого на голове, операций, на которых:
получают, с помощью первой камеры, в ответ на обнаруженную операцию запуска, первое изображение, имеющее первое разрешение, и получают, с помощью второй камеры, второе изображение, имеющее второе разрешение, причем первое разрешение меньше второго разрешения;
генерируют, с помощью модуля обработки, четвертое изображение на основе первого изображения и второго изображения, причем четвертое изображение является реальным изображением сцены и содержит изображение с первым разрешением и изображение со вторым разрешением;
генерируют, с помощью модуля обработки, пятое изображение на основе четвертого изображения и третьего изображения, содержащего виртуальный объект, причем пятое изображение содержит реальное изображение сцены и виртуальный объект; и
отображают на экране дисплея модуля пятое изображение.
12. Устройство отображения, устанавливаемое на голове, по п. 11, в котором расстояние от оптического центра первой камеры одного модуля до оптического центра первой камеры другого модуля составляет от 61 миллиметра до 65 миллиметров.
13. Устройство отображения, устанавливаемое на голове, по п. 12, в котором расстояние от оптического центра первой камеры до оптического центра второй камеры в каждом модуле составляет менее 20 миллиметров.
14. Устройство отображения, устанавливаемое на голове, по любому из пп. 11-13, в котором каждый модуль дополнительно включает в себя окуляр, а экран дисплея расположен между окуляром и модулем камеры.
15. Устройство отображения, устанавливаемое на голове, по п. 14, в котором когда устройство отображения, устанавливаемое на голове, расположено горизонтально, линия соединения между оптическим центром первой камеры и оптическим центром второй камеры в каждом модуле параллельна горизонтальной плоскости.
16. Устройство отображения, устанавливаемое на голове, по п. 14 или 15, в котором оптический центр окуляра, оптический центр экрана дисплея и оптический центр первой камеры в каждом модуле расположены на прямой линии.
17. Устройство отображения, устанавливаемое на голове, по любому из пп. 11-16, в котором модуль обработки, при считывании компьютерных инструкций из памяти, вызывает выполнение каждым модулем в устройстве отображения, устанавливаемом на голове, операций, на которых:
регулируют, с помощью модуля обработки, угол обзора второго изображения так, чтобы он был таким же, как угол обзора первого изображения; и
генерируют четвертое изображение на основе скорректированного второго изображения и первого изображения.
18. Устройство отображения, устанавливаемое на голове, по п. 17, в котором модуль обработки, при считывании компьютерных инструкций из памяти, вызывает выполнение каждым модулем в устройстве отображения, устанавливаемом на голове, операции, на которой:
выполняют, с помощью модуля обработки, поворот, перемещение и калибровку некопланарных строк на втором изображении, чтобы угол обзора второго изображения был таким же, как угол обзора первого изображения.
19. Устройство отображения, устанавливаемое на голове, по п. 17 или 18, в котором модуль обработки, при считывании компьютерных инструкций из памяти, вызывает выполнение каждым модулем в устройстве отображения, устанавливаемом на голове, операций, на которых:
определяют, с помощью модуля обработки, в качестве целевых областей, область в скорректированном втором изображении и область в первом изображении, имеющие перекрывающиеся углы обзора; и
заменяют изображение целевой области в первом изображении на скорректированное второе изображение.
20. Устройство отображения, устанавливаемое на голове, по любому из пп. 11-19, в котором модуль обработки, при считывании компьютерных инструкций из памяти, вызывает выполнение каждым модулем в устройстве отображения, устанавливаемом на голове, операции, на которой:
генерируют, с помощью модуля обработки, на основе информации о положении устанавливаемого на голове устройства отображения и первого изображения, третье изображение, содержащее виртуальный объект.
21. Устройство отображения, устанавливаемое на голове, по любому из пп. 11-20, в котором модуль обработки, при считывании компьютерных инструкций из памяти, вызывает выполнение каждым модулем в устройстве отображения, устанавливаемом на голове, операций, на которых:
регулируют, с помощью модуля обработки, разрешение третьего изображения на основе первого разрешения первого изображения и/или регулируют тень виртуального объекта в третьем изображении на основе информации о свете в первом изображении; и
генерируют пятое изображение на основе четвертого изображения и скорректированного третьего изображения.
22. Машиночитаемый носитель информации, содержащий компьютерные инструкции, вызывающие, при исполнении указанных инструкций терминалом, выполнение терминалом способа обработки изображения по любому из пп. 1-10.
| US 2017324899 A1, 09.11.2017 | |||
| EP 3392743 A1, 24.10.2018 | |||
| CN 107462994 A, 12.12.2017 | |||
| CN 108513057 A, 07.09.2018. |
