СПОСОБ ОБНАРУЖЕНИЯ И РАСПОЗНАВАНИЯ ВИЗУАЛЬНЫХ МАРКЕРОВ БОЛЬШОЙ ДАЛЬНОСТИ И ВЫСОКОЙ ПЛОТНОСТИ Российский патент 2020 года по МПК G06K19/06 

Область техники

Настоящее изобретение представляет собой эффективную систему визуальных маркеров большой дальности и высокой плотности. Настоящее изобретение обеспечивает новый тип визуальных маркеров и способ их обнаружения и распознавания посредством камеры мобильного устройства с целью использования в качестве проводника для слабовидящих людей.

Уровень техники

Искусственный маркер представляет собой элемент, который преднамеренно вводят в окружающую среду, и который содержит некоторый тип информации для оповещения об особенностях окружающей среды. Если маркер выполнен так, что его информацию захватывают и интерпретируют посредством цифровой камеры портативного электронного устройства (например, смартфона или планшета), маркер именуют «визуальным маркером». В отличие от других одномерных маркеров, таких как штрих-коды, визуальные маркеры обычно обеспечивают информацию в двухмерной форме.

Если предполагается хранение большого количества информации на визуальном маркере, его именуют маркером высокой плотности. Для удержания указанной информации, маркеры высокой плотности обычно включают большое количество визуальных элементов. Это означает, что для обеспечения правильного считывания, изображение должно быть резким, хорошо освещенным и находиться достаточно близко к объективу (обычно 20-50 см). Другими словами, эти маркеры не подходят для захвата с дальних расстояний или в неблагоприятных оптических условиях, таких как плохое освещение окружающей среды, размытость вследствие резких движений камеры и пр. Эта группа маркеров включает множество распространенных примеров, например QR коды (http://www.qrcode.com) или система Datamatrix [R. Stevenson, "Laser Marking Matrix Codes on PCBs", Printed Circuit Design and Manufacture, 2007]. Эти коды обычно являются двухцветными, т.е. включают черные и белые элементы, хотя есть исключения, такие как так называемые цветные штрихкоды высокой емкости («НССВ», High Capacity Colour Barcode), двухмерные цветные маркеры, разработанные компанией Microsoft [D. Parikh, G. Jancke, «Localization and segmentation of a 2D high capacity colour barcode», IEEE Applications of Computer Vision, 2008]. В последнем случае цвет обеспечивает большую плотность информации, но он также приводит к большим сложностям, сопряженным со считыванием кода, так как пользователь должен правильно центрировать маркер в области изображения таким образом, чтобы алгоритм мог правильно захватить его.

Кроме того, в области техники также существуют «маркеры большой дальности», которые были разработаны для быстрого захвата с больших расстояний, обычно с расстояния от 5 до 7 метров, и в разных условиях освещения. Эти маркеры большой дальности очень распространены в приложениях дополненной реальности, хотя их используют и в других областях, таких как мобильная робототехника, в качестве ориентиров. Маркеры этого типа обычно содержат намного меньше информации, чем маркеры высокой плотности, так как при добавлении информации геометрия маркера становится более сложной, что серьезно влияет на его обнаружение на расстоянии.

В уровне техники широко известны следующие три типа маркеров большой дальности. ARToolkit является наиболее распространенным, и его используют в приложениях дополненной реальности, как описано в документе [H. Kato, М. Billinghurst, «Marker tracking and hmd calibration for a video-based augmented reality conferencing system», IEEE and ACM International Workshop on Augmented Reality (IWAR), октябрь 1999], а также в документе [Н. Kato, «ARToolKit: library for Vision-Based augmented reality», Institute of Electronics, Information and Communication Engineers Technical Report, 2002]. Эти маркеры состоят из черной рамки на белом фоне, содержащей черно-белый рисунок, используемый для определения разницы между двумя маркерами. Такой способ определения разницы между маркерами является не очень эффективным и в основном используется для определения разницы между маркером и любой другой черной рамкой в кадре, а не для определения разницы между маркерами во множестве маркеров. Следовательно, такой способ главным образом применим для одного маркера. Разработка маркеров этого типа привела к системам, которые внедряют информацию, как, например, описано в документе [Е. Olson, «AprilTag: A robust and flexible visual fiducial system», IEEE International Conference on Robotics and Automation (ICRA), 2011] и в документе [S. Garrido, R. , F.J. Madrid, M.J. , «Automatic generation and detection of highly reliable fiducial markers under occlusion» Pattern Recognition, 2014].

Система определения местоположения маркера в этих случаях является одинаковой, то есть черная рамка на белом фоне, и они фактически отличаются кодом, использованным для удержания информации. Первая система использует сетку 6×6 двухцветных элементов. Эти 36 элементов содержат двоичный код, содержащий сообщение и код обнаружения/корректировки, что позволяет исключить симметрии и неопределенности, и генерирует 500 разных кодов. Вторая система использует меньшую сетку (5×5) и использует вариант кодов Хемминга, что позволяет обеспечить 10 бит информации (1024 комбинаций), а остальное место занимает код обнаружения/корректировки.

Техническая проблема, решаемая настоящим изобретением, заключается в отсутствии среди разных типов маркеров промежуточной системы, одновременно обеспечивающей возможность обнаружения маркера на дальних расстояниях и содержащей существенное количество информации.

Современные визуальные маркеры очень полезны, так как они предоставляют информацию об окружающей местности, которая может быть захвачена посредством камеры мобильного устройства; однако они по существу бесполезны для слепых: информативные маркеры требуют наведения камеры, что составляет значительную сложность для слепого, а маркеры большой дальности, как, например, ценники в супермаркете или указатели в аэропорте, очень ограничены с точки зрения количества информации.

Это не первая попытка создания системы искусственных маркеров для мобильных устройств в рамках приложений для слепых. В документе [J. Coughlan, R. Manduchi, М. Mutsuzaki, Н. Shen, «Rapid and Robust Algorithms for Detecting Colour Targets», Congress of the International Colour Association, Испания, май 2005] описана модель маркера, предложенная исключительно для мобильных приложений для этой категории людей. Предложенная модель является единственной моделью маркера, которая не удерживает информацию, что сильно ограничивает ее применение.

Раскрытие сущности изобретения

Задача настоящего изобретения заключается в создании гибридного (дальнее действие при высокой плотности) визуального маркера для мобильных устройств с целью направления слепых. Настоящее изобретение предлагает методику, совмещающую лучшие качества каждой семьи маркеров, то есть, позволяет нанести достаточное количество информации и обеспечивает возможность эффективного обнаружения в различных условиях освещения и на приемлемом расстоянии.

Маркер, являющийся предметом настоящего изобретения, имеет структурные сходства с некоторыми маркерами большой дальности, такими как описанные в документе [Е. Olson, «AprilTag: A robust and flexible visual fiducial system», IEEE International Conference on Robotics and Automation (ICRA), 2011] и в документе [S. Garrido, R. , F.J. Madrid, M.J. , «Automatic generation and detection of highly reliable fiducial markers under occlusion» Pattern Recognition, 2014].

В этом смысле он имеет такую же систему определения местоположения (черная рамка на белом фоне), широко применимую в семье маркеров большой дальности. Сетка, содержащая данные, будет размещена в указанной рамке.

Однако основное различие между маркером, предлагаемым в настоящем изобретении, и маркером, известном из уровня техники, заключается в том, что сетка состоит из элементов, имеющих четыре состояния (четыре оттенка), в то время как вышеописанные способы используют сетку, имеющую два состояния (черный и белый). В результате этой особенности при одинаковом размере сетки моделируемый объект маркера настоящего изобретения функционирует с удвоенной плотностью кода.

Следовательно, если код содержит n элементов, маркер настоящего изобретения вмещает 4ⁿ комбинаций по сравнению с 2ⁿ комбинаций маркера, имеющего два состояния. Различие не изменяет разрешение элементов маркера, поэтому он сохраняет свойства маркера большой дальности, но со значительно большей плотностью кода.

Настоящее изобретение определено в любой комбинации из четырех цветов, причем это не обязательно должны быть четыре конкретных цвета, так как конструкция маркера включает цветовую палитру, используемую каждым маркером. Однако, несмотря на то, что четыре оттенка, выбранные для палитры, могут быть любыми четырьмя оттенками, они должны быть различимыми друг от друга для предотвращения неопределенностей и, следовательно, улучшать считывание маркера. Следовательно, предпочтительный вариант реализации изобретения представляет собой комбинацию схемы голубой-пурпурный-желтый-черный («CMYK», cyan, magenta, yellow, black), соответствующую четырем крайним наружным углам куба, определенного цветовым пространством красный-зеленый-синий («RGB», red, green, blue).

В сетке могут присутствовать следующие элементы:

(а) Палитра содержится в четырех углах сетки, т.е. в каждом углу сетки находится основной цвет цветовой палитры, таким образом, например, в случае с комбинацией схемы голубой-пурпурный-желтый-черный (CMYK), в каждом из углов будет находиться один цвет (голубой в первом углу, пурпурный во втором, желтый в третьем и черный в четвертом). Чтобы сделать маркер неизменным при вращении, считается, что наиболее темный элемент всегда является последним значением палитры. Внедрение палитры решает проблему идентификации цветов маркера, что предотвращает последствия ухудшения цвета, так как после извлечения обеспечивается получение эталона каждого цвета, и он может быть использован для маркировки остальной части сетки данных посредством критерия приближенности цветов.

(b) Центральный элемент определяет размер сетки из четырех возможных размеров (5×5, 7×7, 9×9, 11×11). Выбор размера будет зависеть от потребностей каждого применения.

(c) Центральная строка и столбец, за исключением центральной ячейки, определяют циклический контроль избыточности («CRC», cyclic redundancy check). Циклический контроль избыточности вычисляют из сообщения и внедряют в маркер. На этапе обнаружения маркера обеспечивается извлечение сообщения, повторное вычисление циклического контроля избыточности и его сравнение с циклическим контролем избыточности, сопровождающим маркер, для подтверждения целостности сообщения.

(d) Остальные элементы предназначены для сообщения.

После определения конструкции маркера в соответствии с настоящим изобретением, способ обнаружения и распознания цифрового изображения включает следующие этапы:

(i) Обнаружение черных и белых рамок, определение координат их углов. Для этого первого этапа к изображению применяют алгоритм обнаружения рамок для обнаружения первого набора кандидатов. В уровне техники описано множество алгоритмов, посвященных этой задаче. Однако конкретный вариант реализации предлагает алгоритм, описанный в документе [S. Garrido, R. , F.J. Madrid, M.J., «Automatic generation and detection of highly reliable fiducial markers under occlusion», Pattern Recognition, 2014], хотя для этой цели может быть использован любой другой способ.

(ii) Получение сетки из каждой обнаруженной рамки посредством билинейной интерполяции с координатами центра каждой ячейки, а также учитывая клетки черныхо-белых рамок.

(iii) Получение цвета каждой ячейки. При условии, что указанный центр находится в реальных координатах, а изображение - в дискретных координатах, для получения указанного значения осуществляют билинейную интерполяцию по четырем соседним точкам.

(iv) Вычисление среднего арифметического значения цветов черных и белых рамок для получения эталонного белого и эталонного черного.

(v) Нормализация цвета каждой ячейки по эталонному черному и белому, полученным на предыдущем этапе, путем установки баланса белого.

(vi) Корректировка ориентации маркера, принимая в расчет то, что наиболее темный угол должен находиться в последнем положении палитры.

(vii) Получение палитры из углов и маркировка маркера, указывающая на то, какое значение палитры соответствует каждой ячейке.

(viii) Подтверждение того, что маркер принадлежит к желаемой семье путем анализа соответствия центрального ярлыка ожидаемому (способ выполнен с возможностью поиска маркеров конкретного размера, определенного применением, следовательно, этот этап является необходимым для отсеивания маркеров любого другого размера, который может содержаться в рамке). Следует учитывать, что в соответствии с описанием алгоритма, его запускают для конкретного размера. Например, приложение оповещения о пешеходном переходе будет использовать размер 5×5, который имеет немного комбинаторик, в то время как приложение маркировки товаров в супермаркете будет использовать размер 7X7. Каждое приложение выполнено с возможностью обнаружения только одного типа маркера.

(ix) Составление сообщения и циклического контроля избыточности.

(x) Подтверждение целостности сообщения, повторное вычисление циклического контроля избыточности из него и его сравнение с циклическим контролем избыточности, считанным с кода.

Первая задача настоящего изобретения заключается в совмещении высокой плотности и высокой дальности обнаружения, таким образом преодолевая проблему, присутствующую в существующих системах, так как эти два свойства не предоставляются одновременно.

Вторая задача настоящего изобретения заключается в установлении способа с низкой вычислительной сложностью, обеспечивающего возможность высокоэффективного обнаружения маркера на устройствах с низкой вычислительной способностью, таких как смартфоны.

Третья задача настоящего изобретения заключается в осуществлении надежной обработки цвета путем включения палитры и баланса белого, улучшая надежность изобретения в обнаружении визуальных маркеров.

Следующее описание соответствует независимым пунктам формулы изобретения, включенной в настоящее описание. Конкретные варианты реализации изобретения приведены в пунктах формулы изобретения, которые зависят от независимых пунктов формулы изобретения, все из которых включены в этот раздел посредством ссылки.

По всему тексту описания и формулы изобретения слово «содержит» и его варианты не предназначены для исключения других технических элементов, добавлений, компонентов или этапов. Специалисту в данной области техники будут понятны другие объекты, преимущества и признаки изобретения частично из описания и частично из практической реализации изобретения. Следующие примеры и чертежи предоставлены в иллюстративных целях и не предназначены для ограничения настоящего изобретения. Кроме того, настоящее изобретение включает все возможные сочетания конкретных и предпочтительных вариантов реализации, приведенных в настоящем документе.

Краткое описание чертежей

Ниже следует очень краткое описание нескольких чертежей, которые способствуют лучшему пониманию изобретения и которые явным образом относятся к варианту реализации указанного изобретения, представленного как его неограничивающий пример.

На фиг. 1 показана диаграмма предлагаемого маркера, на которой можно видеть локализующие рамки (1) и сетку N×N элементов (2), содержащую данные (5×5 в этом практическом варианте реализации, маркированные буквами С, М, Y, K, обозначающими цвет каждой ячейки, т.е. голубой, пурпурный, желтый и черный, соответственно). Элементы сетки и локализующие рамки имеют одинаковый размер и квадратную форму, таким образом, если 1 выражает размер стороны ячейки сетки (3), то общая площадь маркера (4) равняется (l(N+4))².

На фиг. 2 показано включение палитры Р = [p₀,p₁,p₂,p₃] в действительный маркер, расположенный в углах сетки данных по часовой стрелке и со ссылкой на элемент с наименьшей яркостью (черный, в случае схемы голубой-пурпурный-желтый-черный), что определяет р₃. Тип маркера S определяет его размер N и размещен в центральной ячейке сетки.

На фиг. 3 показаны примеры маркеров четырех определенных размеров. Снизу вверх: 5×5, 7×7, 9×9, 1×11. Так как была использована палитра голубой-пурпурный-желтый-черный, центральный элемент сетки принимает значение голубого в размере 5×5, пурпурного в размере 7×7, желтого в размере 9×9 и черного в размере 11×11.

На фиг. 4 показано исходное изображение (слева на фиг. 4). Путем применения алгоритма обнаружения рамок получают четыре угла, образующие локализующую рамку (по центру на фиг. 4). Из координат рамки получают сетку с координатами (N+4) × (N+4), покрывая информационные ячейки и рамки (справа на фиг. 4).

На фиг. 5 показаны несколько применений визуальных маркеров для слепых, а именно маркирование товаров (слева) и информационные указатели в урбанистическом контексте (справа).

Осуществление изобретения

Предлагаемая конструкция маркера основана на сетке из N х N элементов, которая может включать до четырех разных цветов внутри черной рамки, которая, в свою очередь, находится в белой рамке, как лучше всего показано на фиг. 1. Как показано, размер стороны 1 ячеек сетки данных определяет ширину локализующих рамок и, следовательно, общий размер маркера.

Цветовая палитра состоит из четырех цветов, которые будут использованы в маркере:

Р = [p₀,p₁,p₂,p₃]

Эта палитра внедрена в фактический маркер, в частности, в четырех углах сетки данных, как можно видеть на фиг. 2. Палитру внедряют по часовой стрелке, а ее опорное значение (последний элемент р₃) обозначено наиболее темным элементом (имеющим наименьшую яркость).

Возможно наличие сетки размером N ∈ {5,7,9,11} в соответствии с требованиями применения. Для определения размера сетки настоящего маркера, обращаются к ячейке в центральном положении сетки. Следует отметить, что четыре размера, которые может иметь сетка (т.е. N = {5,7,9,11}), являются нечетными, поэтому всегда будет явное центральное положение. Эта центральная ячейка, подобно остальным ячейкам сетки, может иметь любое из значений палитры S ∈ {p0,p1,p2,p3}, соответствующее возможным размерам {5,7,9,11} сетки, соответственно (см. фиг. 3).

Учитывая то, что каждая ячейка содержит 2 бита (т.е. четыре комбинации), маркер из N×N элементов содержит 2N² - 4N - 6 бит данных и 4N - 4 бит циклического контроля избыточности. Следовательно, длина циклического контроля избыточности растет в соответствии с длиной сообщения. На таблице 1 для каждого маркера показаны длина сообщения, длина циклического контроля избыточности и порождающий многочлен, используемый для вычисления. В этом смысле, были использованы стандартные порождающие многочлены (характеризующиеся доказанной эффективностью) в соответствии с каждой длиной.

Для наблюдения влияния включения цветов на плотность сообщения и в качестве сравнительных данных, система 5×5, описанная в документе [S. Garrido, R. , F.J. Madrid, M.J. , «Automatic generation and detection of highly reliable fiducial markers under occlusion», Pattern Recognition, 2014], обеспечивает 1024 комбинаций, а система 6×6, описанная в документе [Е. Olson, «AprilTag: A robust and flexible visual fiducial system», IEEE International Conference on Robotics and Automation (ICRA), 2011], обеспечивает только 500 комбинаций, в то время как настоящее изобретение в своем наименее плотном варианте (5×5) выполнено с возможностью включения 24 бит сообщения, то есть 16777216 комбинаций.

Этапы способа для обнаружения маркера изложены ниже. При условии наличия изображения I{х,у) и маркера размером N ∈ {5,7,9,11}, извлекают М = {m₀,m₁, …, m_k-1} рамки I{х,у) и для каждого m_i ∈ М:

1) Получение G_i(x,y) координат (N+4) × (N+4) из m_i

2) Получение цветов из данных C_i(x,y), эталона белого и эталона черного из G_i

3) Нормализация

4) Получение путем ориентирования со своим эталонным углом.

5) Получение палитры P_i = [p₀,p₁,p₂,p₃] из углов

6) Маркирование E_i(х,у) по наиболее близкой точке к P_i

7) Если E_i([N/2],[N/2]) = (N - 5)/2 удовлетворено, то:

Извлечение сообщения и циклического контроля избыточности из E_i

Вычисление циклического контроля избыточности . Если он соответствует , добавляют к Т.

Следовательно, при наличии цифрового цветного изображения I(x,у), захваченного камерой устройства, и желаемого размера маркера N ∈ {5,7,9,11}, для обнаружения совокупности маркеров Т, содержащихся в этом изображении, в первую очередь применяют алгоритм обнаружения рамки. В результате применения алгоритма обнаружения рамки к изображению I(х,у), получают совокупность рамок М = {m₀,m₁, …, m_k-1}, содержащуюся в изображении. Каждая рамка определена четырьмя координатами m_i = (c₀,c₁,c₂,c₃) на площади изображения, соответствующими наружными углами рамки по часовой стрелке (см. центр фиг. 4).

Каждая обнаруженная рамка выражает возможный маркер. Принимая четыре координаты рамки m_i = (с₀,с₁,с₂,с₃) за эталон, осуществляют билинейную интерполяцию для получения сетки G_i(x,y) c равноудаленными координатами (N + 4) × (N + 4). Эта сетка содержит координаты центров N×N ячеек информации маркера, координаты 4N + 4 на черной рамке и координаты 4N + 12 на белой рамке (см. правую сторону фиг. 4).

Для каждой координаты G_i, получают соответствующий цвет в изображении I(G_i(x,y)) (учитывая то, что G_i находится в реальных координатах, а изображение находится в дискретных координатах, этот цвет получают посредством билинейной интерполяции по четырем соседним точкам). После получения цветов (N + 4) × (N + 4), C_i принимают за сетку N×N цветов, относящейся к данным маркера, а и за среднее арифметическое значение цветов, относящихся к черной и белой рамкам, соответственно.

Значения и играют ключевую роль в настоящем изобретении, так как они выражают эталоны черного и белого маркера. Следовательно, локализующие рамки могут быть использованы не только для локализации маркера, но и для осуществления баланса белого и, следовательно, обработки цвета надежным образом. Исходя из этого, образуют из C_i, нормализуя каждую из ячеек следующим образом:

Несмотря на то, что содержит нормализованный эталон цвета ячеек N×N маркера, ориентация все еще остается неизвестной, так как алгоритм обнаружения рамки не обеспечивает этой информации (рамка не содержит информации об ориентации). Для решения этого, будут приняты во внимание углы маркера:

Они содержат палитру, расположенную по часовой стрелке с опорным значением в наиболее темном элементе в последнем положении. Следовательно, из 4 возможных ориентаций выбирают одну, в которой наиболее темный элемент (наименьшая яркость) из четырех углов находится в , получая

С использованием упорядоченных образцов цветов, получают цветовую палитру из четырех углов:

Маркирование E_i(х,у) маркера получают из палитры. Это матрица, для каждой ячейки указывающая значение индекса палитры, которой она соответствует. На основании этого осуществляют классификацию по наиболее близким точкам (присваивая индекс палитры со значением цвета, наиболее приближенным к цвету ячейки):

Для вычисления евклидового расстояния между двумя цветами, рекомендуется цветовое пространство CIE 1976 L*a*b*, так как это пространство является изотропным (в отличие от других пространств, таких как схема красный-желтый-зеленый), что оправдывает использование этой функции расстояния.

После обеспечения маркирования ячеек, требуется подтверждение того, что анализируемый маркер принадлежит к желаемой семье маркеров. В связи с этим, требуется подтверждение того, что размер, указанный в центральной ячейке, совпадает с желаемым размером маркера, то есть:

В противном случае, настоящую рамку исключают из возможных маркеров.

На этом этапе приходит время извлекать информацию из маркера, то есть, сообщение и циклический контроль избыточности . Для получения , ячейки берут из центрального столбца и строки (за исключением центральной ячейки, которая определяет тип маркера), и образуют однозначное число из 4N - 4 бит с ярлыками ячеек в двоичном коде (ярлыки [0,1,2,3] соответствуют бинарным кодам [00,01,10,11]) после считывания порядка на матрице (слева направо и сверху вниз).

Аналогично, получают путем составления ячеек сообщения (тех, которые не соответствуют палитре, циклическому контролю избыточности или типу маркера), образуя двоичное число из 2N² - 4N - 6 бит.

Для завершения обнаружения, целостность сообщения подтверждают путем вычисления циклического контроля избыточности с подходящим многочленом (см. таблицу 1) и его сравнения со считанным циклическим контролем избыточности . Если оба кода совпадают, сообщение считается действительным и добавляют к совокупности маркеров T, обнаруженных в настоящем изображении I(х,у).

Пример 1. Результаты способа

Для обеспечения правильной работы маркеров и способа обнаружения, предложенных в настоящем изобретении, был разработан функциональный прототип, состоящий из двух приложений: генератор маркера и детектор. Оба приложения были разработаны в С++ в высокопроизводительной межплатформенной среде программирования Qt SDK (http:/www.qt-project.org).

Генератор обеспечивает базу данных маркеров с информацией о каждом маркере (код маркера, текст, связанный с маркером, действительный размер при печати и т.д.) и позволяет создавать, удалять, искать и печатать эти маркеры с выбранным физическим размером.

Дополнительно, детектор отвечает за обнаружение маркеров на изображениях, полученных от камер устройств. В этом случае он был разработан для устройств на Android и iOS. При обнаружении маркера система запрашивает его код в базе данных и озвучивает (с использованием преобразования текста в речь) его содержимое. Кроме того, он также озвучивает действительное расстояние, на котором расположен этот маркер, так как размер печати каждого маркера храниться в базе данных, и эту информацию вместе с информацией камеры (фокусное расстояние и апертуру) используют для восстановления его реального масштаба.

Что касается производительности, система выполнена с возможностью обработки в среднем 18,6 кадр/сек. Эти данные отличаются в зависимости от устройства и разрешения камеры. В этом случае был использован Samsung Galaxy S6 (SM-G920F), оснащенный восьмиядерным процессором Cortex А57 с частотой 2,1 ГГц и 3 Гб оперативной памяти, с разрешением камеры 1280×720, а обнаружение кадра осуществляли с библиотекой версии 2.0, описанной в документе [S. Garrido, R. , F.J. Madrid, M.J. , «Automatic generation and detection of highly reliable fiducial markers under occlusion», Pattern Recognition, 2014], который доступен по следующей ссылке: http://www.uco.es/investiga/grupos/ava/node/26.

Принимая в расчет то, что камера устройства обеспечивает изображения со скоростью 30 кадр/сек, путем устранения времени доступа к камере система выполнена с возможностью обработки каждого кадра за среднее время, составляющее 20,43 миллисекунд в вышеуказанном устройстве.

Что касается расстояния обнаружения, оно зависит от разрешения камеры, условий освещения, а также размера и типа маркера. При благоприятных условиях освещения (дневной свет) и с вышеуказанным разрешением (1280×720), обнаружение маркера 5×5, напечатанного на размере 20×20 см (стандартный размер печати А4), обеспечивается на максимальном расстоянии 8,12 метра.

Маркеры этого типа могут быть применены в контекстах, в которых дальность обнаружения и плотность кода играют важную роль (см. фиг. 6, изображающую применения визуальных маркеров для слепых), таких как, например, маркирование товаров (слева) и информационные указатели в урбанистическом контексте (справа).

Изобретение относится к кодированию информации. Технический результат заключается в расширении арсенала средств. Визуальный маркер большой дальности и высокой плотности, который содержит черную рамку на белом фоне, четырехугольную сетку, которая содержится в рамке и которая разделена на продольные строки и вертикальные столбцы, образующие множество ячеек, каждая из которых соответствует разному фрагменту данных, при этом сетка составлена из элементов, имеющих четыре разных цветовых оттенка, которые являются отличимыми друг от друга и образуют цветовую палитру, отличающийся тем, что дополнительно содержит в каждой из четырех ячеек, образующих углы сетки, цветовой оттенок, центральная ячейка сетки определяет размер сетки, ячейки, соответствующие центральной строке и столбцу, за исключением центральной ячейки, определяют циклический контроль избыточности, а остальные ячейки, образующие сетку, являются элементами, предназначенными для сообщения, которое может быть передано посредством визуального маркера. 2 н. и 3 з.п. ф-лы, 5 ил.

1. Визуальный маркер большой дальности и высокой плотности, который содержит:

черную рамку на белом фоне;

четырехугольную сетку, которая содержится в рамке и которая разделена на продольные строки и вертикальные столбцы, образующие множество ячеек, каждая из которых соответствует разному фрагменту данных;

при этом сетка составлена из элементов, имеющих четыре разных цветовых оттенка, которые являются отличимыми друг от друга и образуют цветовую палитру;

отличающийся тем, что

дополнительно содержит в каждой из четырех ячеек, образующих углы сетки, цветовой оттенок, причем каждой ячейкe каждого угла соответствует по меньшей мере один цветовой оттенок, таким образом, что наиболее темный элемент считается последним значением, образующим цветовую палитру;

центральная ячейка сетки определяет размер сетки;

ячейки, соответствующие центральной строке и столбцу, за исключением центральной ячейки, определяют циклический контроль избыточности;

а остальные ячейки, образующие сетку, являются элементами, предназначенными для сообщения, которое может быть передано посредством визуального маркера.

2. Маркер по п. 1, в котором четыре цветовых оттенка соответствуют сочетанию голубого, пурпурного, желтого и черного.

3. Способ обнаружения для обнаружения визуального маркера по любому из пп. 1-2, отличающийся тем, что включает следующие этапы:

обнаружение черных и белых рамок, определение координат их углов;

получение сетки из каждого обнаруженного кадра посредством билинейной интерполяции;

получение цвета каждой ячейки;

вычисление среднего арифметического значения цветов черных и белых рамок для получения эталонного белого и эталонного черного;

нормализация цвета каждой ячейки по эталонному черному и белому, полученным на предыдущем этапе, путем установки баланса белого;

корректировка ориентации маркера с учетом того, что наиболее темный угол должен находиться в последнем положении палитры;

получение палитры из углов и маркировка маркера, указывающая на то, какое значение палитры соответствует каждой ячейке;

подтверждение того, что маркер принадлежит к желаемой семье, путем анализа того, соответствует ли центральный ярлык ожидаемому;

составление сообщения и циклического контроля избыточности;

подтверждение целостности сообщения, повторное

вычисление циклического контроля избыточности из него и его сравнение с циклическим контролем избыточности, считанным с кода.

4. Способ по п. 3, в котором координаты центра каждой ячейки используют в билинейной интерполяции, также принимая в расчет черные и белые рамки.

5. Способ по любому из пп. 3-4, в котором для получения цвета каждой ячейки и учитывая то, что ее центр находится в действительных координатах, а изображение находится в дискретных координатах, для получения указанного значения осуществляют билинейную интерполяцию по четырем соседним точкам.