СЕНСОРНОЕ УСТРОЙСТВО ДЛЯ СЧИТЫВАНИЯ ИНФОРМАЦИИ О БРОСКЕ ИГРОКА В ГОЛЬФ И СПОСОБ ИЗМЕРЕНИЯ, ИСПОЛЬЗУЮЩИЙ СИСТЕМУ Российский патент 2020 года по МПК A63B24/00 

Область техники изобретения

Настоящее изобретение относится к сенсорному устройству для получения и анализа изображения клюшки для гольфа и мяча, когда пользователь бьет по последнему посредством подачи с помощью клюшки для гольфа, для расчета воспринимаемых данных о движении мяча и клюшки для гольфа и передачи рассчитанных воспринимаемых данных на аналитическое устройство системы для практики игры в гольф или системы для видеогольфа, которое анализирует информацию о траектории мяча и информацию об ударе по нему с помощью клюшки и предоставляет пользователю проанализированную информацию, а также изобретение относится к методу его использования.

Предыдущий уровень техники

В последние годы были разработаны различные симуляторы и устройства для них, позволяющие пользователям играть в такие популярные спортивные игры, как бейсбол, футбол, баскетбол и гольф, в помещениях или специфических местах за счет симуляции в виде интерактивных спортивных игр.

В частности, в последние годы была разработана так называемая система для видеогольфа, в которой при движении пользователя клюшкой для удара по мячу для гольфа, установленному на подкладке для удара, воспринимающее устройство считывает данные об ударе по мячу и получает физические характеристики движущегося мяча для гольфа так, чтобы можно было моделировать этот мяч на виртуальном поле для гольфа, тем самым позволяя пользователю играть в гольф в виртуальной реальности.

Для моделирования видов спорта, в которых используется мяч, например, мяч для гольфа, было проведено множество исследований различных воспринимающих систем для получения точной физической информации о движении летящего мяча.

Например, на рынке появились различные воспринимающие устройства, в которых используются инфракрасный, лазерный, звуковой, а также видеосенсоры. Были проведены многочисленные исследования воспринимающего устройства с видеосенсором для получения и анализа изображения движущегося мяча с целью точного восприятия его состояния.

Необходимо установить положение мяча и клюшки для гольфа с помощью изображения, получаемого камерой. Однако в отличие от метода установления положения мяча, сложно идеально уловить и распознать клюшку для гольфа с помощью изображения, поскольку клюшки обладают разными размерами, формой, цветами и сделаны из разных материалов.

Для решения этой задачи был предложен метод нанесения особого маркера на головку или стержень клюшки для гольфа и обнаружения этого маркера на изображении для указания положения клюшки. Однако у этого метода имеется критический недостаток, вследствие которого пользователь вынужден использовать конкретную клюшку для гольфа с особым маркером, нанесенным на нее, при практике игры в гольф или игре в виртуальный гольф. Даже в случае, когда к клюшке для гольфа крепится особый маркер, в зависимости от подачи последний может быть плохо различим или невидим на изображении. В результате сложно точно установить положение клюшки для гольфа.

В качестве документов, относящихся к настоящему изобретению на существующем уровне техники, раскрываются заявки на патенты Кореи №№10-2011-0025149, 10-2011-0111875 и заявка на патент Японии №2005-210666.

Техническая задача

Цель настоящего изобретения заключается в предоставлении сенсорного устройства для расчета информации об ударе при игре в гольф, выполняемому пользователем при ударе по мячу с помощью клюшки для гольфа, для практики игры в гольф или игры в виртуальный гольф за счет использования системы для видеогольфа и способа считывания информации по этой системе, а в частности - в предоставлении сенсорного устройства для расчета информации о выполненном пользователем ударе при игре в гольф, во время которого при получении и анализе изображения пользователя, бьющего по мячу клюшкой для гольфа, сенсорное устройство настраивается для эффективного определения положения характерной точки, соответствующей положению клюшки для гольфа, за счет анализа полученного изображения без нанесения конкретного характерного маркера на мяч, а также для расчета различных видов физической информации о движении клюшки для гольфа при подаче с использованием характерной точки; а также в предоставлении способа считывания с использованием этого устройства.

Техническое решение

В соответствии с одним аспектом настоящего изобретения вышеприведенная и другие цели могут быть достигнуты за счет предоставления способа считывания информации сенсорного устройства для расчета информации об ударе при игре в гольф, выполненном пользователем, за счет метода восприятия, включающего получение изображения пользователя, бьющего по мячу клюшкой для гольфа, определения отрезка, соответствующего прямой линии, посредством заданной обработки полученного изображения (этап определения линии), анализа изменения формы прямого отрезка, определенного на этапе определения линии, для установления заданной характерной точки и расчета положения этой точки в качестве положения клюшки для гольфа.

Способ считывания может дополнительно включать в себя анализ нескольких покадровых изображений, непрерывно получаемых на этапе получения изображения, для установления времени удара, в которое клюшка для гольфа бьет по мячу, причем изображения можно получать в течение заданного периода на основании установленного времени удара, и относительно каждого полученного изображения можно выполнить этап определения линии.

Этап расчета положения определенной характерной точки в качестве положения клюшки для гольфа может включать в себя обнаружение участка шейки клюшки для гольфа, посредством которой стержень и головка соединяются друг с другом, и определение участка шейки в качестве характерной точки.

Этап расчета положения определенной характерной точки в качестве положения клюшки для гольфа может включать получение левого и правого контуров на основании прямой линии, определяемой на этапе определения линии, анализ изменения расстояния между полученными левым и правым контурами, а также определение положения, в котором изменение расстояния между левым и правым контурами достигает заданного или более высокого уровня, в качестве характерной точки.

В соответствии с другим аспектом настоящего изобретения предоставляется способ считывания сенсорного устройства для расчета информации об ударе при игре в гольф, выполняемом пользователем, причем способ считывания включает в себя получение изображения пользователя, бьющего по мячу с помощью клюшки для гольфа, установление контуров участка клюшки для гольфа от стержня до головки за счет заданной обработки полученного изображения, а также анализ контуров, установленных на этапе установления контуров, для определения участка клюшки для гольфа, на котором стержень переходит в головку, в качестве характерной точки и расчета положения определенной характерной точки в качестве положения клюшки для гольфа.

Этап установления контуров может включать определение граничной пиксельной интенсивности на участке клюшки для гольфа от стержня до головки на изображении за счет обработки изображения, а также установления участка клюшки для гольфа, на котором определенные значения граничной интенсивности изменяются до заданного или более высокого уровня, в качестве контуров участка клюшки для гольфа от стержня до головки.

Этап расчета положения определенной характерной точки в качестве положения клюшки для гольфа может включать анализ изменения расстояния между контурами участка клюшки для гольфа от стержня до головки, а также установление положения клюшки для гольфа, в котором изменение расстояния между контурами достигает заданного или более высокого уровня, в качестве характерной точки.

В соответствии с другим аспектом настоящего изобретения предоставляется способ считывания сенсорного устройства для расчета информации об ударе при игре в гольф, выполняемом пользователем, причем способ считывания включает в себя получение изображения пользователя, бьющего по мячу с помощью клюшки для гольфа, установление участка шейки клюшки для гольфа, на котором стержень и головка соединяются друг с другом, за счет заданной обработки полученного изображения, установление положения участка шейки, определенного на этапе определения участка шейки, в качестве характерной точки и расчет положения характерной точки в качестве положения клюшки для гольфа.

Этап определения участка шейки может включать в себя обнаружение участка, соответствующего прямой линии, за счет заданной обработки полученного изображения, получение левого и правого контуров на основании определенной прямой линии, анализ изменения расстояния между полученными левым и правым контурами и установление положения клюшки для гольфа, в котором изменение расстояния между левым и правым контурами достигает заданного или более высокого уровня, в качестве участка шейки.

В соответствии с другим аспектом настоящего изобретения предоставляется сенсорное устройство для расчета информации об ударе при игре в гольф, выполненном пользователем, причем это устройство включает в себя съемочное устройство для получения изображения пользователя, бьющего по мячу клюшкой для гольфа, и воспринимающий процессор для определения отрезка, соответствующего прямой линии, посредством заданной обработки полученного изображения, анализа изменения формы определенного прямого отрезка для установления заданной характерной точки и расчета положения этой точки в качестве положения клюшки для гольфа.

Сенсорный процессор может быть настроен на получение левого и правого контуров на основании прямой линии, на анализ изменения расстояния между полученными левым и правым контурами, а также на определение положения, в котором изменение расстояния между левым и правым контурами достигает заданного или более высокого уровня, в качестве характерной точки.

В соответствии с другим аспектом настоящего изобретения предоставляется сенсорное устройство для расчета информации об ударе при игре в гольф, выполняемом пользователем, причем это сенсорное устройство включает в себя съемочное устройство для получения изображения пользователя, бьющего по мячу с помощью клюшки для гольфа, и сенсорный процессор для установления контуров участка клюшки для гольфа от стержня до головки за счет определенной обработки полученного изображения, анализа контуров для определения участка клюшки для гольфа, на котором стержень переходит в головку, в качестве характерной точки и расчет положения определенной характерной точки в качестве положения клюшки для гольфа.

В соответствии с дополнительным аспектом настоящего изобретения предоставляется сенсорное устройство для расчета информации об ударе при игре в гольф, выполняемом пользователем, причем это сенсорное устройство включает в себя съемочное устройство для получения изображения пользователя, бьющего по мячу с помощью клюшки для гольфа, и сенсорный процессор для установления участка шейки клюшки для гольфа, на котором стержень и головка соединяются друг с другом, за счет заданной обработки полученного изображения, установление положения участка шейки в качестве характерной точки и расчет положения характерной точки в качестве положения клюшки для гольфа.

Съемочное устройство может включать в себя несколько камер для получения изображений одного и того же объекта под разными углами, причем эти камеры синхронизированы друг с другом для объединения в стереоскопическую камеру, а сенсорный процессор может быть настроен для анализа изображения, полученного одной из камер, для установления времени удара, в которое происходит удар клюшкой по мячу, для получения изображений от соответствующих камер в течение заданного периода на основании установленного времени удара, когда последнее будет установлено, и для определения характерной точки посредством обработки полученных изображений.

Полезные эффекты

Сенсорное устройство по настоящему изобретению для расчета информации об ударе при игре в гольф, выполненном пользователем, и способ считывания при его использовании имеют эффекты в том аспекте, что возможно эффективное определение информации о положении характерной точки, соответствующей положению клюшки для гольфа, на основании чего выполняется расчет различных видов физической информации о движении клюшки для гольфа при ударе за счет анализа изображения, посредством чего обеспечивается возможность восприятия информации о положении клюшки для гольфа посредством обработки и анализа полученного изображения без нанесения определенного характерного маркера на клюшку.

Описание чертежей

ФИГ. 1 - вид, на котором изображен пример системы моделирования для виртуального гольфа, в отношении которой применяется сенсорное устройство согласно одному варианту осуществления настоящего изобретения;

ФИГ. 2 - блок-схема, на которой изображена конструкция системы моделирования для виртуального гольфа, приведенной на ФИГ. 1;

ФИГ. 3 - технологическая схема, на которой показан способ считывания с применением сенсорного устройства по конкретному варианту осуществления настоящего изобретения;

ФИГ. 4 и 5 - виды, на которых изображена последовательность процессов, при которой сенсорный процессор сенсорного устройства по конкретному варианту осуществления настоящего изобретения извлекает изображение мяча из полученного снимка для определения его готовности и установления времени удара;

ФИГ. 6 и 8 - виды, на которых изображен способ, посредством которого сенсорный процессор сенсорного устройства по конкретному варианту осуществления настоящего изобретения обнаруживает заданную характерную точку на изображении и рассчитывает ее в качестве информации о положении клюшки для гольфа; и

ФИГ. 9 - вид, на котором приводится информация об изменении положения характерной точки, установленной при помощи способа, описанного со ссылкой на ФИГ. 7 и 8.

Наиболее предпочтительный вариант осуществления изобретения

Сенсорное устройство по настоящему изобретению для расчета информации об ударе при игре в гольф, выполненном пользователем, и способ расчета этого удара с использованием этого устройства будут подробно описаны со ссылкой на прилагаемые чертежи.

Вначале со ссылкой на ФИГ. 1 и 2 будет описан сценарий применения сенсорного устройства в соответствии с одним вариантом осуществления настоящего изобретения относительно системы моделирования для виртуального гольфа.

ФИГ. 1 - вид, на котором изображен пример системы моделирования для виртуального гольфа, в отношении которой применяется сенсорное устройство согласно одному варианту осуществления настоящего изобретения, а ФИГ. 2 - блок-схема, на которой изображена конструкция системы моделирования для виртуального гольфа, приведенной на ФИГ. 1.

Как показано на ФИГ. 1, система моделирования для виртуального видеогольфа может быть реализована в виде терминала Т, установленного вплотную к подкладке для удара 20, на которой на участке для удара 10 клюшкой для гольфа размещается мяч 30, по которому будет бить пользователь, и этот терминал Т может быть настроен так, чтобы включать все компоненты, изображенные на блок-схеме на ФИГ. 2.

Как показано на ФИГ. 1 и 2, терминал Т включает в себя воспринимающее устройство S согласно одному варианту осуществления настоящего изобретения, которое может быть настроено для захвата кадров до удара клюшкой для гольфа по мячу 30 и после удара по нему за счет съемочного устройства 100, включающего в себя первую 110 и вторую 120 камеры со стороны подкладки для удара 20, как показано на ФИГ. 1.

Дополнительно терминал Т включает в себя аналитическое устройство 300, подключенное к сенсорному устройству S по настоящему изобретению, для приема и анализа воспринимаемых данных, собранных сенсорным устройством S, с целью выдачи различных видов аналитической информации.

Информация, анализируемая и выдаваемая аналитическим устройством 300, представляет собой информацию, на основании которой реализуется изображение, моделирующее траекторию виртуального мяча, соответствующего мячу, по которому пользователь бьет клюшкой для гольфа в виртуальном пространстве (на виртуальном поле для гольфа). Изображение, реализованное за счет использования аналитической информации и выданное аналитическим устройством 300, выводится на экран 60 через устройство вывода изображений 330. То есть, на экран выводится изображение с моделированием виртуального гольфа. Отдельный дисплей DP, включенный в терминал Т, также настраивается для предоставления аналитической информации в виде заданного интерфейса.

На ФИГ. 1 числовое обозначение 40 без пояснений означает подставку, на которую устанавливается мяч 30, а числовое обозначение 50 без пояснений - отверстие, по которому подъемник подставки, установленный под подкладкой для удара 20, движется вверх/вниз в состоянии, когда мяч 30 установлен на подставку 40, для доставки этого мяча на эту подкладку.

Воспринимающее устройство S сконфигурировано так, чтобы включать съемочное устройство 100 и сенсорный процессор 200. Съемочное устройство 100 может включать в себя несколько камер для получения изображений одного и того же объекта под разными углами обзора, например, с первой 100 и второй 120 камер, как показано на ФИГ. 1 и 2. Первая и вторая камеры могут синхронизироваться друг с другом для объединения в стереоскопическую камеру. Следовательно, двухмерная информация, полученная из каждого изображения одного и того же объекта, снятая первой 100 и второй 120 камерами, может быть преобразована в трехмерную.

Сенсорный процессор 200 может быть настроен на выполнение заданной обработки изображений, полученных с соответствующих камер 110 и 120 съемочного устройства 100, а также на получение изображения объекта со снимков, полученных соответствующими камерами, и на расчет информации о трехмерном положении полученного объекта.

Сенсорный процессор 200 извлекает объект, соответствующий мячу, и объект, соответствующий клюшке для гольфа из каждого изображения, полученного соответствующими камерами 110 и 120 съемочного устройства 100, рассчитывает информацию о положении клюшки для гольфа и положении мяча при подаче и во время удара при игре в гольф, а также передает рассчитанную информацию о положении на аналитическое устройство 300.

Аналитическое устройство 300 включает контроллер М, запоминающее устройство для данных 310 и процессор изображений 320. Контроллер М рассчитывает такую информацию, как скорость мяча, азимут, угол возвышения и вращение, используя информацию о положении мяча, принимаемую от сенсорного процессора 200, и рассчитывает такую информацию, как скорость клюшки, ее траекторию и угол атаки, используя информацию о положении клюшки для гольфа, принимаемую от сенсорного процессора. То есть, контроллер выполняет функцию расчета различной аналитической информации об ударе пользователя при игре в гольф.

Процессор изображений 320 реализует изображение, на котором моделируется траектория мяча в виртуальном пространстве, используя различную информацию, рассчитанную контроллером М, или выдает аналитическую информацию о подаче игрока при игре в гольф, или же информацию по обучению гольфу и предоставляет эту сгенерированную информацию пользователю. В этот момент процессор изображений создает изображение, используя данные для обработки изображений, хранимые на запоминающем устройстве для данных 310.

Созданное изображение может быть передано на устройство вывода изображений 330, через которое изображение проецируется на экран 60, или же оно может быть выведено на дисплей DP на терминале Т.

Как приводится выше, сенсорный процессор 200 может обеспечивать не только обработку изображений мяча и генерировать воспринимаемые данные, основанные на них, но также обработку изображений клюшки для гольфа и генерирование воспринимаемых данных на их основе. В настоящем изобретении уделяется внимание обработке изображений клюшки для гольфа и генерированию воспринимаемых данных на их основе.

Далее в настоящем документе способ считывания с использованием сенсорного устройства по конкретному варианту осуществления настоящего изобретения будет описан со ссылкой на технологическую схему, представленную на ФИГ. 3.

Сначала съемочное устройство снимает пользователя, бьющего по мячу с помощью клюшки для гольфа, для получения изображения (S10).

Сенсорный процессор извлекает изображение участка для удара с заданными положением и размером из полученного снимка и бинаризует его (S11).

Для обнаружения мяча на бинаризованном изображении осуществляется поиск одного или нескольких объектов, каждый из которых состоит из группы ярких пикселей (S12). Например, в случае определения нескольких объектов, каждый из которых состоит из группы ярких пикселей, мяч может быть отделен от определенных объектов по размеру, соотношению сторон и закругленности, установленным для мяча.

Сенсорный процессор может анализировать непрерывно получаемые изображения и выявлять мяч для определения, находится ли он в неподвижном состоянии в течение заданного промежутка времени. В случае, когда мяч неподвижен, это означает, что он не выходит за рамки заданных пределов, например, в случае, когда мяч неподвижно располагается на подкладке для удара в течение заданного промежутка времени.

В случае, когда мяч остается неподвижным в течение заданного промежутка времени, как приведено выше, реализуется состояние готовности к приему мяча, указывающее на то, что сенсорный процессор готов выполнить анализ изображения для расчета информации о положении мяча и клюшки для гольфа (S13).

При реализации состояния готовности к приему мяча сенсорный процессор сохраняет информацию о положении готового мяча (S14), извлекает рассматриваемый участок с заданным положением и размером, включающий готовый мяч, из каждого из непрерывно получаемых изображений, и устанавливает проверочные рамки с заданным размером на основе центральной точки мяча на рассматриваемом извлекаемом участке (S15).

В дальнейшем сенсорный процессор отслеживает изменение значения каждого пикселя в установленных проверочных рамках (S16).

При определении факта того, что значение каждого пикселя в проверочных рамках превышает заданное значение (S17), сенсорный процессор устанавливает этот момент времени как время удара (момент времени, в который по мячу наносится удар головкой клюшки для гольфа) и назначает этот кадр в качестве кадра времени удара (S18).

Далее в настоящем документе последовательность процессов на этапах от S10 до S18 будет описываться более подробно со ссылкой на ФИГ. 4 и 5.

На ФИГ. 4(a) приведен пример изображения, полученного одной из камер, входящих в съемочное устройство, и попавшего на сенсорный процессор; на ФИГ. 4(b) показано, что заданный участок для удара 220 вырезан из изображения, приведенного на ФИГ. 4(a); а на ФИГ. 4(c) приведено изображение, полученное путем бинаризации участка для удара, изображенного на ФИГ. 4(b).

У участка для удара 220 есть заданное положение на цельном изображении 150, приведенном на ФИГ. 4(a). То есть, поскольку удар по мячу наносится клюшкой для гольфа только на подкладке для удара 20, а положение этой подкладки не изменяется, расположение и размер участка для удара 220 могут быть заданы так, чтобы вся или большая часть подкладки для удара 20 попала на изображение, полученное съемочным устройством. Сенсорный процессор может отделять заданный участок для удара 220 от целого изображения 150 в каждом покадровом снимке, а также обеспечивать интенсивное наблюдение за отделенным участком для удара 220 для быстрого и точного определения состояния готовности к приему мяча и времени удара, описанных выше.

Изображение 220 участка для удара, приведенное на ФИГ. 4(b), может быть бинаризовано для получения бинаризованного изображения 230, приведенного на ФИГ. 4(c). Поскольку мяч преимущественно белого или яркого цвета, участок мяча 232 на бинаризованном изображении 230 выглядит белым, а большая часть остального изображения черной.

Следовательно, сенсорный процессор может с легкостью обнаружить участок с мячом 232 на бинаризованном изображении 230.

В то же время, рассматриваемый участок 240 на ФИГ. 5(a), включающий мяч, может быть вырезан из бинаризованного изображения 230, приведенного на ФИГ. 4(c), а проверочные рамки 244 небольшого размера, охватывающие мяч 232, могут быть заданы в качестве отдельного рассматриваемого участка 240, как показано на ФИГ. 4(b) и 4(c), для определения факта нанесения удара.

Как показано на ФИГ. 5(a), рассматриваемый участок 240 заданного размера, охватывающий участок с мячом 232, может быть задан на бинаризованном изображении 230, а заданный рассматриваемый участок 240 может быть вырезан и обработан.

Как показано на ФИГ. 5(b), поскольку рассматриваемый участок 240 представляет собой изображение с размером, уступающим размеру участка для удара 230, время удара может быть определено при использовании только рассматриваемого участка 240, посредством которого можно очень быстро и точно установить время удара.

Сенсорный процессор может получать рассматриваемый участок 240, как приведено выше, а также координаты центральной точки мяча 232 на этом участке и устанавливать проверочные рамки 244 с заданным размером на основании полученных координат центральной точки мяча, как приведено на ФИГ. 5(b).

Предпочтительно, чтобы проверочные рамки 244 устанавливались с размером, уступающим размеру мяча 232.

Следовательно, определяется факт наличия удара. Поскольку достаточно лишь контроля проверочных рамок 244, можно очень быстро определить время удара.

То есть, при ударе по мячу значение каждого пикселя в проверочных рамках 244 уменьшается, как приведено на ФИГ. 5(c). В случае, когда значение каждого пикселя в проверочных рамках 244 становится меньше заданного уровня (в случае если внутренняя часть или участок проверочных рамок чернеют), сенсорный процессор может устанавливать этот момент времени в качестве времени удара, а также устанавливать покадровый снимок в качестве кадра времени удара.

Как приводилось ранее, несколько камер съемочного устройства на сенсорном устройстве могут быть синхронизированы друг с другом для объединения в стереоскопическую камеру. В процессах от этапа S10 до этапа S18, описанных со ссылкой на ФИГ. 4 и 5, обрабатываться может только изображение, захваченное при использовании одной из камер съемочного устройства.

При повторной ссылке на технологическую схему на ФИГ. 3, когда установлено время удара, сенсорный процессор извлекает заданное количество изображений до наступления времени удара и после него (S20).

В этом контексте «время удара» может означать время, в которое происходит удар, или что кадр, по которому определяется нанесение удара, установлен как кадр времени удара. То есть, установка времени удара может подразумевать установку покадрового снимка, когда значение каждого пикселя в проверочных рамках становится меньше заданного уровня, в качестве кадра во время удара.

Например, после определения факта нанесения удара могут быть извлечены кадр во время его нанесения, 20 кадров до этого и 20 кадров после времени удара.

В случае извлечения заданного количества изображений, описанных выше, сенсорный процессор осуществляет обработку изображений на наличие различий в каждом из них (S21).

То есть, выполняется операция по поиску различий в каждом из нескольких изображений на основании особого изображения с целью удаления неподвижного участка, который не смещается (фоновый участок также убирается, поскольку до нанесения удара участок с мячом представляет собой неподвижный участок), с каждого из изображений, за исключением движущихся участков (части клюшки для гольфа, корпуса пользователя и мяча после удара).

Например, в случае, когда положение клюшки для гольфа рассчитывается с помощью 10 изображений с первого кадра по десятый, каждое изображение от второго до десятого - отличное изображение, обработанное на основании первого покадрового снимка, используемого в качестве опорного.

Сенсорное устройство по конкретному варианту осуществления настоящего изобретения предназначено для определения положения клюшки для гольфа по обработанным отличным изображениям, приведенным выше.

Поскольку все мячи для гольфа обладают одинаковым размером, формой и коэффициентом отражения света, обнаружить мяч на изображении весьма просто. При этом, поскольку клюшки для гольфа обладают разными размерами, формой, цветом, материалом и коэффициентом отражения света каждая соответственно отдельно, по соответствующему производителю клюшек для гольфа или маркам клюшек, определение на изображении клюшки для гольфа способом, аналогичным способу обнаружения мяча, представляет сложность. Более того, в зависимости от коэффициента отражения света клюшки для гольфа в связи с ее цветом или материалом значение пикселей на изображении может быть аналогичным таковому на фоне. Таким образом, во многих случаях может представлять сложность различение клюшки для гольфа и фона, за счет чего может быть тяжело определить положение первой.

Традиционно для преодоления этой сложности использовался метод нанесения особого маркера на головку или стержень клюшки для гольфа и обнаружения этого маркера на изображении для указания положения клюшки.

Однако в настоящем изобретении предоставляется метод эффективного определения положения клюшки для гольфа исключительно посредством обработки изображения без нанесения особого маркера на клюшку, т.е., безмаркерный метод определения положения клюшки для гольфа. На технологической схеме на ФИГ. 3 этот метод представлен на этапах S20-S26.

Сенсорное устройство по настоящему изобретению устанавливает особую точку на участке, соответствующем клюшке для гольфа на изображении, в качестве характерной точки и использует обнаруженное положение характерной точки в качестве положения клюшки для гольфа.

Эту характерную точку можно определить, например, как положение участка клюшки для гольфа, на котором стержень и головка соединяются друг с другом, т.е., участок шейки клюшки для гольфа. В случае если участок шейки или участок клюшки для гольфа, на котором стержень и головка соединяются друг с другом, скрыт головкой от угла обзора камеры, характерную точку можно задать как особое положение на участке головки.

То есть, может быть установлен участок клюшки для гольфа, на котором стержень и головка соединяются друг с другом, причем установленное положение клюшки для гольфа может быть задано в качестве положения характерной точки, а характерная точка в качестве положения клюшки для гольфа, и тогда можно будет выполнять обработку данных. В качестве альтернативного варианта самую нижнюю точку головки клюшки можно установить как положение характерной точки, а характерную точку - как положение клюшки для гольфа, и тогда можно будет выполнять обработку данных.

Сенсорный процессор определяет прямую линию по пикселям на вышеприведенном обработанном отличном изображении (S22). То есть, уравнение, описывающее прямую линию, может основываться на прямолинейном участке изображения с использованием преобразования Хафа. В случае определения прямой линии на обработанном отличном изображении с использованием преобразования Хафа, как приведено выше, определенная прямая линия включает в себя участок, соответствующий стержню клюшки для гольфа.

Как приведено выше, прямая линия обнаруживается на изображении, а сенсорный процессор извлекает левый и правый контуры объекта на основании определенной прямой линии (S23). То есть, прямая линия, определенная на этапе S22, может быть определена в состоянии, при котором участок клюшки для гольфа от стержня до головки устанавливается в качестве объекта, и можно определить граничную пиксельную интенсивность этого участка клюшки, а участок клюшки, на котором определенное значение граничной интенсивности изменяется до заданного или более высокого уровня, может быть извлечен в виде контуров.

Сенсорный процессор рассчитывает расстояние между полученными левым и правым контурами для анализа изменения расстояния (S24).

Сенсорный процессор определяет положение, в котором изменение расстояния между полученными левым и правым контурами превышает заданный уровень, в качестве характерной точки (S25).

Расстояние между левым и правым контурами является практически одинаковым в отношении стержня клюшки для гольфа, но расстояние между контурами резко и существенно увеличивается в отношении головки клюшки для гольфа. Следовательно, участок клюшки для гольфа, на котором расстояние между контурами резко и существенно увеличивается, задается как участок шейки клюшки для гольфа или участок клюшки для гольфа, на котором стержень и головка соединяются друг с другом, а также определяется положение характерной точки.

Сенсорный процессор определяет характерную точку по каждому из покадровых изображений, извлеченных на этапе S20, как описано выше, и рассчитывает информацию о положении клюшки для гольфа, которая перемещается в зависимости от подачи (S26).

Сенсорный процессор извлекает мяч посредством обработки изображения перед определением положения клюшки для гольфа, как описано выше, или в то время, когда определяется положение клюшки для гольфа, для расчета информации о положении мяча. В случае если информация о положении клюшки для гольфа рассчитывается на этапах S20-S26, сенсорный процессор передает рассчитанную информацию о положении клюшки для гольфа вместе с информацией о положении мяча в аналитическое устройство, которое анализирует информацию о кинематических характеристиках мяча и клюшки для гольфа при его использовании (S28).

Далее в настоящем документе последовательность процессов на этапах от S20 до S28 будет описываться более подробно со ссылкой на ФИГ. 6-8.

На ФИГ. 6 представлен участок, соответствующий клюшке для гольфа на изображении, полученном съемочным устройством сенсорного устройства по конкретному варианту осуществления настоящего изобретения. В действительности, изображение, обработанное для расчета информации о положении клюшки для гольфа, может быть получено от целого изображения, как приведено на ФИГ. 6. В качестве альтернативного варианта целое изображение может представлять собой изображение, обработанное для расчета информации о положении клюшки для гольфа.

Следующее описание будет предоставлено исходя из предположения, что изображение, приведенное на ФИГ. 6 8, представляет собой обработанное отличное изображение.

Определенный объект 250 представлен на изображении IMC, полученном посредством обработки изображений на наличие различий. Люди могут легко распознавать объект, как клюшку для гольфа. При этом компьютеры должны осуществлять заданную обработку изображения и анализ для того, чтобы распознать объект, как клюшку для гольфа.

На изображении IMC, представленном на ФИГ. 6, объект 250 представляет собой клюшку для гольфа GC, необходимо определить положение участка клюшки для гольфа, на котором стержень SF и головка HD соединяются друг с другом, т.е. участка шейки HS клюшки для гольфа, в качестве характерной точки. На ФИГ. 6 для удобства описания показаны стержень SF, головка HD и участок шейки HS клюшки для гольфа. В случае, когда сенсорный процессор обрабатывает эти участки, невозможно определить, какой участок клюшки является стержнем, головкой или шейкой.

Это объясняется тем, что клюшки для гольфа имеют разные формы, размеры, цвета и изготавливаются из различных материалов, как было описано ранее, и поэтому трудно обнаружить клюшку для гольфа с помощью соответствующего метода, например такого, который используется для поиска мяча на изображении.

Таким образом, сенсорные устройство по конкретному варианту осуществления настоящего изобретения предусматривает метод для поиска участка клюшки для гольфа, на котором стержень и головка соединяются друг с другом, или участка шейки клюшки для гольфа посредством обработки изображения, установления определяемого участка в качестве характерной точки и расчета характерной точки клюшки для гольфа на изображении.

На ФИГ. 7(b) показано, что прямая линия 252 определяется на изображении, приведенном на ФИГ. 6, посредством преобразования Хафа. То есть, можно получить уравнение прямой линии для объекта 250 на изображении посредством преобразования Хафа (далее «определение линии»).

Метод получения уравнения прямой линии с помощью преобразования Хафа уже хорошо известен и поэтому здесь не будет приводиться его подробное описание.

В то же время, как показано на ФИГ. 8, сенсорный процессор извлекает левый и правый контуры 254 и 256 объекта 250 на основании прямой линии 252, обнаруженной посредством определения линии.

То есть, можно исследовать граничную интенсивность каждого пикселя на изображении; участки, для которых значение граничной интенсивности превышает заданный уровень и стремительно изменяется, могут извлекаться как контуры 254 и 256.

Сенсорный процессор извлекает левый и правый контуры 254 и 256 объекта 250, как описано выше, и анализирует расстояние d между левым и правым контурами. То есть, функция (линейная функция) для расстояния d между левым и правым контурами рассчитывается по нисходящему направлению на каждом участке и разграничивается для расчета изменения расстояния между левым и правым контурами.

В случае, когда анализируется изменение расстояния между левым и правым контурами, как описано выше, отображается участок клюшки для гольфа, на котором изменение расстояния превышает установленный уровень и резко увеличивается. Участок соответствует участку клюшки для гольфа, на котором стержень и головка соединяются друг с другом, т.е. участку шейки клюшки для гольфа.

На ФИГ. 8 показан участок клюшки для гольфа, на котором расстояние между левым и правым контурами составляет dh, представляет собой участок клюшки для гольфа, на котором изменение расстояния начинает резко увеличиваться; участок принимает положение характерной точки 258.

Сенсорный процессор находит и определяет положение характерной точки 258 на каждом покадровом снимке с помощью вышеуказанного метода, рассчитывает положение характерной точки в качестве информацию о положении клюшки для гольфа и передает ее на аналитическое устройство.

На ФИГ. 9 представлен график, на котором показано изменение положения характерной точки, взятой для каждого кадра, посредством способа на ФИГ. 7 и 8.

На ФИГ. 9 (а) показано изменение положений p1-p8 характерной точки и изменение положений b1-b4 мяча в плоскости х-у; на ФИГ. 9 (b) показано изменение положений p1-p8 характерной точки и изменение положений b1-b4 мяча в плоскости y-z.

На ФИГ. 9 (а) и 9(b) положение р5 соответствует положению характерной точки мяча при нанесении удара.

Согласно описанию, положение участка клюшки для гольфа, на котором стержень и головка соединяются друг с другом, или участка шейки клюшки для гольфа определяется в качестве положения клюшки для гольфа на изображении; информацию о различных физических характеристиках движущейся клюшки для гольфа можно легко рассчитать с помощью информации о положении характерной точки. Расчет информации о различных физических характеристиках клюшки для гольфа с помощью информации о положении может выполняться аналитическим устройством.

Промышленная применимость

Сенсорное устройство для расчета информации об ударе при игре в гольф, выполненном пользователем, по настоящему изобретению и метод считывания при его использовании применимы к отраслям, относящимся к практике игры в гольф, где выполняется анализ удара по мячу в зависимости от подачи пользователя, а также к так называемому видеогольфу, в котором пользователь может сыграть партию в гольф путем моделирования игры на основе виртуальной реальности.

Цель настоящего изобретения заключается в предоставлении сенсорного устройства для расчета информации об ударе при игре в гольф, выполняемом пользователем при ударе по мячу с помощью клюшки для гольфа, для практики игры в гольф или игры в виртуальный гольф за счет использования системы для видеогольфа и способа восприятия информации по этой системе, а в частности - в предоставлении сенсорного устройства для расчета информации о выполненном пользователем ударе при игре в гольф, во время которого при получении и анализе изображения пользователя, бьющего по мячу клюшкой для гольфа, сенсорное устройство настраивается для эффективного определения положения характерной точки, соответствующей положению клюшки для гольфа, за счет анализа полученного изображения без нанесения конкретного характерного маркера на мяч, а также для расчета различных видов физической информации о движении клюшки для гольфа при подаче с использованием характерной точки; а также в предоставлении способа считывания с использованием этого устройства. 6 н. и 4 з.п. ф-лы, 9 ил.

1. Способ считывания сенсорного устройства для расчета информации об ударе при игре в гольф, выполненном пользователем, включающий:

получение изображения пользователя, бьющего по мячу с помощью клюшки для гольфа;

обнаружение участка, соответствующего прямой линии, за счет заданной обработки полученного изображения (этап определения линии); а также

анализ изменения формы прямого отрезка, определенного на этапе определения линии, для установления заданной характерной точки и расчета положения этой точки в качестве положения клюшки для гольфа,

при этом этап расчета положения определенной характерной точки в качестве положения клюшки для гольфа включает установление участка шейки клюшки для гольфа, на котором стержень и головка соединяются друг с другом, и определение участка шейки в качестве характерной точки.

2. Способ по п. 1, дополнительно включающий:

анализ нескольких покадровых изображений, непрерывно получаемых на этапе получения изображения, для установления времени удара, в которое клюшка для гольфа бьет по мячу, при этом

изображения получаются в течение заданного периода на основании установленного времени удара и относительно каждого полученного изображения выполняется этап определения линии.

3. Способ считывания сенсорного устройства для расчета информации об ударе при игре в гольф, выполненном пользователем, включающий:

получение изображения пользователя, бьющего по мячу с помощью клюшки для гольфа;

обнаружение участка, соответствующего прямой линии, за счет заданной обработки полученного изображения (этап определения линии); а также

анализ изменения формы прямого отрезка, определенного на этапе определения линии, для установления заданной характерной точки и расчета положения этой точки в качестве положения клюшки для гольфа,

отличающийся тем, что этап расчета положения определенной характерной точки в качестве положения клюшки для гольфа включает:

получение левого и правого контуров на основании прямой линии, определяемой на этапе определения линии;

анализ изменения расстояния между полученными левым и правым контурами; и

определение положения, в котором изменение расстояния между левым и правым контурами достигает заданного или более высокого уровня, в качестве характерной точки.

4. Способ считывания сенсорного устройства для расчета информации об ударе при игре в гольф, выполненном пользователем, включающий:

получение изображения пользователя, бьющего по мячу с помощью клюшки для гольфа;

установление контуров участка клюшки для гольфа от стержня до головки за счет заданной обработки полученного изображения; и

анализ контуров, установленных на этапе установления контуров, для определения участка клюшки для гольфа, на котором стержень переходит в головку, в качестве характерной точки и расчета положения определенной характерной точки в качестве положения клюшки для гольфа,

при этом этап расчета положения определенной характерной точки в качестве положения клюшки для гольфа включает:

анализ изменения расстояния между контурами участка клюшки для гольфа от стержня до головки; а также

установление положения клюшки для гольфа, в котором изменение расстояния между контурами достигает заданного или более высокого уровня, в качестве характерной точки.

5. Способ по п. 4, отличающийся тем, что этап установления контуров включает:

определение граничной пиксельной интенсивности на участке клюшки для гольфа от стержня до головки на изображении за счет обработки изображения; а также

установление участка клюшки для гольфа, на котором определенные значения граничной интенсивности изменяются до заданного или более высокого уровня, в качестве контуров участка клюшки для гольфа от стержня до головки.

6. Способ считывания сенсорного устройства для расчета информации об ударе при игре в гольф, выполненном пользователем, включающий:

получение изображения пользователя, бьющего по мячу с помощью клюшки для гольфа;

установление участка шейки клюшки для гольфа, на котором стержень и головка соединяются друг с другом за счет заданной обработки полученного изображения; а также

установление положения участка шейки, определенного на этапе установления участка шейки в качестве характерной точки и расчет положения этой точки в качестве положения клюшки для гольфа.

7. Способ по п. 6, отличающийся тем, что этап установления участка шейки включает:

обнаружение участка, соответствующего прямой линии, за счет заданной обработки полученного изображения;

получение левого и правого контуров на основании определенной прямой линии;

анализ изменения расстояния между полученными левым и правым контурами; и

установление положения клюшки для гольфа, в котором изменение расстояния между левыми и правыми контурами достигает заданного или более высокого уровня, в качестве положения участка шейки.

8. Сенсорное устройство для расчета информации об ударе при игре в гольф, выполненном пользователем, включающее:

съемочное устройство для получения изображения пользователя, бьющего по мячу с помощью клюшки для гольфа; а также

сенсорный процессор для установления участка, соответствующего прямой линии за счет заданной обработки полученного изображения, анализа изменения формы установленного прямого участка для определения заданной характерной точки и расчета положения этой точки в качестве положения клюшки для гольфа,

при этом сенсорный процессор настраивается на извлечение левого и правого контуров на основании прямой линии, на анализ изменения расстояния между извлеченными левым и правым контурами, а также на определение положения, в котором изменение расстояния между левым и правым контурами достигает заданного или более высокого уровня, в качестве характерной точки.

9. Сенсорное устройство для расчета информации об ударе при игре в гольф, выполненном пользователем, включающее:

камеру съемочного устройства для получения изображения пользователя, бьющего по мячу с помощью клюшки для гольфа; а также

сенсорный процессор для установления участка шейки клюшки для гольфа, на котором стержень и головка соединяются друг с другом за счет заданной обработки полученного изображения, установления положения участка шейки в качестве характерной точки и расчета положения характерной точки в качестве положения клюшки для гольфа.

10. Устройство по п. 8 или 9, отличающееся тем, что

съемочное устройство включает в себя несколько камер для получения изображений одного и того же объекта под разными углами, причем эти камеры синхронизированы друг с другом для объединения в стереоскопическую камеру, а

сенсорный процессор настраивается для анализа изображения, полученного одной из камер, для установления времени удара, в которое происходит удар клюшкой по мячу, для получения изображений от соответствующих камер в течение заданного периода на основании установленного времени удара, когда последнее будет установлено, и для определения характерной точки посредством обработки извлеченных изображений.