РЕАЛИЗУЕМЫЕ НА КОМПЬЮТЕРЕ СПОСОБ И СИСТЕМА ДЛЯ ТЕСТИРОВАНИЯ ИЛИ ТРЕНИРОВКИ КОГНИТИВНЫХ ФУНКЦИЙ ПОЛЬЗОВАТЕЛЯ Российский патент 2018 года по МПК A61B3/02 A61B3/32 A61B5/16 G09B11/00 

Уровень техники

Настоящее изобретение относится к реализуемым на компьютере способу и системе для тестирования и/или тренировки функций или навыков пользователя в области визуальной, когнитивной и/или зрительной координации движений рук.

Документ WO 2008/128192 А1 раскрывает реализуемый на компьютере способ для тестирования и тренировки функций пользователя в области визуальной, когнитивной и зрительной координации движений рук, основанный на разнообразии раздражителей, обеспечиваемых для пользователя. Соответствующие ответы, принимаемые от пользователя, могут зависеть от комбинации раздражителей. Чтобы обеспечивать раздражители и принимать ответы, используется сенсорный дисплей, в котором информация о поведении, относящаяся к характеристикам пользователя, записывается, при этом оценивание основывается на скорости, точности осязательного ответа пользователя и других аспектов, относящихся к характеристикам пользователя. В частности, объект отображается в первый момент времени и в первом местоположении сенсорного дисплея, а сенсорный ввод данных пользователем принимается во второй момент времени и обычно в изменённом втором местоположении, при этом определяется расстояние от точки до точки между двумя местоположениями и время, которое прошло между первым и вторым моментами времени.

Документ WO 2013/111746 А1 раскрывает реализуемый на компьютере способ и систему для тестирования когнитивных функций, имеющую отношение, например, к синдрому дефицита внимания и гиперактивности (СДВГ, ADHD), который позволяет оценивать вероятность наличия у пользователя медицинского нарушения, например такого, как синдром дефицита внимания и гиперактивности. Если более точно, проблема отображается на сенсорном дисплее, при этом пользователь отвечает посредством манипулирования сенсорным дисплеем, а ответы пользователя записываются в таблицу проблем/ответов. Вычисление оценки основывается на обучающем алгоритме, используемом для оценки степени надлежащей операции когнитивных функций пользователя.

Раскрытие сущности изобретения

Раскрываемые здесь реализуемые на компьютере способ и система для тестирования и/или тренировки функций или навыков пользователя в области визуальной, когнитивной и/или зрительной координации движений рук основывается на концепции определения или оценки соответствия или отклонения при вычерчивании вручную или вычерчивании с повторением заданной траектории объекта линейной формы, структуры или модели, при этом объект, структура или модель представляются компьютером по меньшей мере временно, а ввод данных пользователем собирается с использованием графического устройства ввода, аналогичного сенсорному дисплею или планшета графического ввода данных.

В отличие от приведённых выше известных подходов, в соответствии с настоящим изобретением, объекты линейной формы, т.е. прямолинейные или криволинейные объекты, структуры или модели представлены для пользователя, при этом пользователь должен прочерчивать траекторию или прочерчивать с повторением траектории представленной структуры (структур) или модели (моделей) настолько точно, насколько это возможно. Прочерченные при повторении заданной траектории объекты, структуры или модели, которые вводятся пользователем, оцениваются, для того чтобы определять отклонения и/или соответствие траектории на основе линейной формы*, таким образом позволяя вычислять характеристическое число или параметр. Основываясь на вычисленном числе или параметре функции пользователя в области визуальной, когнитивной и/или зрительной координации движений рук могут оцениваться в легко воспроизводимой форме, в результате чего становятся возможными значительные или достоверные результаты медицинской оценки.

В частности, оценка ввода данных пользователем может открыть скалярное или многоразмерное характеристическое число или параметр, который используется для определения навыков пользователя в области визуальной, когнитивной и/или зрительной координации движений рук, таким образом обеспечивая в значительной степени характеристическую и таким образом существенную информацию, чтобы оценивать состояние здоровья пользователя.

Оценка или определение соответствия/отклонений предпочтительно основывается на линейном или даже нелинейном суммировании или интегрировании собранных значений по отклонению. В случае линейного суммирования/интегрирования, скалярное число (упоминавшееся выше характеристическое число) может быть быстро вычислено и вслед за этим может быть дополнительно обработано посредством относительно небольших технических усилий. Таким образом, изобретение позволяет немедленную обратную связь для пользователя, которая предпочтительно увеличивает полезность изобретательского подхода, в частности, когда он используется как инструмент для обучения.

В соответствии с дополнительным вариантом осуществления изобретения, более точная характеристика может определяться на основе следующих этапов оценки:

Оценка среднего расстояния элементов изображения для тех элементов изображения, которые вычерчены с удалением в сторону от ближайшего оригинального элемента изображения;

Оценка среднего расхождения, которое удерживает информацию о том, насколько согласованно выполнено вычерчивание;

Оценка длины кривой по сравнению с длиной оригинальной кривой;

Оценка среднего обратного расстояния элементов изображения, которое удерживает информацию о том, как далеко находится оригинальный элемент изображения от ближайшего вычерченного элемента изображения;

Оценка времени, требуемого для прочерчивания при повторении заданной линии(й) представленного объекта.

В соответствии с дополнительным вариантом осуществления изобретения, упоминавшиеся выше параметры могут быть вычислены даже более точно на основе следующих уравнений, в которых среднее расстояние элементов изображения (apd) может быть вычислено на основе следующего уравнения (1), где предполагается, что вычерчивание состоит из x * y = n элементов (P) изображения и m вычерченных точек (DP), с

; (1)

где среднее расхождение (var) может быть вычислено на основе следующего уравнения (2)

; (2)

где длина (cl) кривой и соответствующая разница (cld) длины кривой может быть вычислена на основе следующего уравнения (3)

(3)

cld = │cl_drawing – cl_original │;

где среднее обратное расстояние (ipd) элементов изображения может быть вычислено на основе следующего уравнения (4)

; (4)

где необходимое время, требуемое для прочерчивания при повторении заданной линии(й) представленного объекта для вычерчивания может быть измерена в таких единицах времени, как секунды.

В соответствии с дополнительным вариантом осуществления изобретения, следующие модульные частные могут быть вычислены предпочтительно только с минимальными вычислительными возможностями или вычислительными ресурсами:

В этих модульных частных дополнительные значения «наихудший» (‚worst’) и «наилучший» (‚best’) могут быть приняты во внимание для каждого из этих частных, как иллюстрируется в следующих примерах:

apd_best = 1, apd_worst = 72

var_best = 1,5, var_worst = 15

cld_best = 10, cld _worst = cl_original

ipd_best = 0, ipd_worst = 128

time_best = 1, time_worst = 24

В соответствии с ещё одним вариантом осуществления изобретения, основанным на упоминавшихся выше модульных частных, главный счёт очков может быть вычислен как средний счёт (score_avg) или a мультипликативный счёт (score_mult), следующим образом:

или

.

В дополнение к оценке соответствия/отклонений, может оцениваться требуемое время для прочерчивания с повторением траектории полного объекта, структуры или модели или их части, например, время, прошедшее между вычерчиванием двух линий такого объекта, структуры или модели, например, оно может сравниваться с предоставленными соответствующими данными, например, по тестированию пациентов, имеющих определённую болезнь. Кроме того, относительное смещение или сдвиг положения вычерчиваемых (вычерчиваемых с повторением траектории объекта) пользователем объекта, структуры или модели по отношению к представленному объекту, может приниматься в расчёт, для того чтобы увеличивать значительность и/или обоснованность результатов оценки, в частности принимая во внимание функции или навыки пользователя в области зрительной координации движений рук.

Представленные, а также предназначенные для вычерчивания с повторением траектории объекты, структуры или модели, могут быть одномерными, двухмерными или даже виртуально трёхмерными. Единственным ограничением является то, что они должны иметь линейную форму, чтобы принимать во внимание упоминавшуюся выше оценку соответствия, или соответственно отклонений. Линейные формы предпочтительно содержат линии по меньшей мере в двух направлениях, например, упоминавшуюся выше базовую математическую форму, или например пересечение, для того чтобы пользователь изменял направление перемещения руки при вычерчивании (вычерчивании с повторением траектории) представленной линейной формы. Изменение направления перемещения руки, предпочтительно, может использоваться для тестирования или тренировки навыков пользователя в области зрительной координации движений рук. Кроме того, такие двухмерные объекты могут быть алфавитными или каллиграфическими знаками, в последнем случае, например, японской иероглифической системой записи «кандзи», японскими слоговыми азбуками «хирагана» или «катакана».

В дополнение к упоминавшейся выше оценке соответствия/отклонений, может оцениваться порядок или последовательность введения линий пользователем руки при вычерчивании с повторением траектории по пройденной линии объекта(ов), структуры(структур) или модели(ей). Такая информация может использоваться для получения лучшего понимания когнитивных функций пользователя. Кроме того, также могут оцениваться с той же самой целью ширина линии или давление, прикладываемое пользователем к графическому устройству ввода, такому как стилус для сенсорного дисплея или палец (пальцы) пользователя.

В дополнение к, или вместо вычерчивания с повторением траектории объекта, структуры или модели в форме линии, пользователь может быть должен закрашивать внутреннюю часть определённого объекта, структуры или модели линейной формы, когда вычерчивание линии пользователем оценивается принимая во внимание соответствие окрашивания с пограничными линиями объекта. Предпочтительно, такой подход может использоваться в том случае, когда производится тестирование или тренировка пользователей с артистическими интересами или более молодых людей.

Посредством представления по меньшей мере частично скрытых или замаскированных объектов, структур или моделей, например, представляющих только некоторые поддерживающие точки или узлы для этих объектов и т.д., когнитивные функции пользователя могут тестироваться или обучаться с большей эффективностью. В качестве поддерживающих точек могут быть представлены, например, две или три точки, для того чтобы начертить половину окружности, которая ясно определяет эти три точки. Однако только две точки для вычерчивания окружности могут использоваться в том случае, когда эти точки располагаются на диаметрально противоположных сторонах окружности.

Кроме того, объект(ы), структура(ы) или модель(и) могут быть представлены только временно и таким образом должны вычерчиваться пользователем с повторением траектории линий на основе кратковременной памяти пользователя, при этом ввод данных пользователем оценивается аналогично тестированию мозга человека для проверки памяти.

Вычисленные характеристическое число или параметр, являющиеся характеристическими для функций пользователя в визуальной, когнитивной областях и/или функции координации, могут использоваться или для целей тренировки, и/или для оценки состояния здоровья пользователя или ситуации в этой сфере. В частности, принимая во внимание упоминавшийся выше синдром дефицита внимания и гиперактивности (СДВГ, ADHD), возможны нарушения в области перемещений, например, в случае болезни Паркинсона или любой другой аналогичной болезни, повреждение или нарушение функции мозга или тела человека.

Краткое описание чертежей

Задачи, признаки и преимущества изобретения будут понятны в контексте подробного описания, которое формулируется в дальнейшем. Подробное описание будет более понятно в контексте сопроводительных чертежей, которые образуют материальную часть этого раскрытия изобретения. На этих чертежах:

Фиг. 1 А-С изображают увеличенный вид сгенерированной компьютером ориентированной по точкам круговой формы, вместе с линией, прочерченной пользователем, для того чтобы проиллюстрировать способ, в соответствии с изобретением;

Фиг. 2А, В изображают обзорный и увеличенный вид сгенерированной компьютером произвольной формы, вместе с закрашиванием пользователем внутренней части формы, в соответствии с вариантом осуществления изобретения;

Фиг. 3-8 иллюстрируют различные сценарии по применению изобретения;

Фиг. 9 является картой последовательности процесса для предпочтительного варианта осуществления способа, в соответствии с изобретением.

Осуществление изобретения

Фиг. 1А и 1В показывают угловую секцию (фиг. 1А) и увеличенный вид (фиг. 1В) ориентированной по точкам квадратной или прямоугольной формы (линия 100 на фиг. 1А), представленные на сенсорном дисплее или экране расположенного внизу цифрового обрабатывающего или компьютерного устройства, при этом форма была перерисована или прочерчена с повторением траектории, в соответствии с линией 105, пользователем устройства. На фигуре можно увидеть, что прочерченная линия 105 отклоняется от представленной линии 100, при этом отклонение выделяется посредством штриховки.

Для части объекта, находящейся внутри круга 110, показанного на фиг. 1А, изображается увеличенный или с увеличенным масштабом вид на фиг. 1В. Упоминавшиеся выше элементы изображения показаны в виде точек 115 на фиг. 1В. Отклонения между каждым элементом изображения и соответствующей точкой на прочерченной линии изображаются в виде векторов 120. Как можно увидеть на фигуре, эти векторы 120 содержат различные знаки, в зависимости от направления соответствующего отклонения.

Только с иллюстративными целями фиг. 1С показывает другую форму 100’ и соответствующую прочерченную линию 105’, а именно секцию круговой формы. Как и в предыдущем примере, отклонение выделяется посредством штриховки.

Основываясь на описанных выше отклонениях или векторах 120, последующий алгоритм, в настоящем изобретении это линейное уравнение, используется для вычисления, как характеристического числа, объединённого значения всех отклонений вдоль прочерченной линии 105, 105’. Характеристическое число в этом примере является скалярным, но может быть многоразмерным, например, вектором или матрицей, в случае многоразмерной системы уравнений, используемой вместо настоящего линейного уравнения. Описанный алгоритм предусматривает автоматическое вычисление соответствия или отклонения между представленной произвольной формой и перерисованной или прочерченной с повторением траектории линии или формы. Таким образом, предпочтительно, возможна немедленная обратная связь между системой и пользователем.

Фиг. 2А и 2В показывают вариант осуществления изобретения для формы 200 вместе с увеличенным видом границы формы, в которой пользователь должен закрасить или заполнить внутреннюю область 205 этой формы, с использованием стилуса для сенсорного экрана или пальца самого пользователя. Как и в предыдущем примере, область, закрашенная пользователем, не будет совершенным образом выровнена с границей формы, таким образом создавая отклонения между границей 200 формы, представленной компьютером, и линией 210 границы закрашенной области.

Проиллюстрированные выше отклонения или соответствия между представленной формой и прочерченной линией или областью, закрашенной пользователем, в настоящем изобретении будет оцениваться на основе описанных в последующем этапов вычисления и соответствующих математических формул.

Вычисление ключевого числа прочерченного рисунка по сравнению с представленным оригиналом основывается на приведённых ниже модулярных этапах, где предполагается, что вычерченный рисунок состоит из x * y = n элементов изображения (P) и m нарисованных точек (DP), с .

- Этап 1: Среднее расстояние элементов изображения (apd)

(1)

Среднее расстояние элементов изображения устанавливается для среднего количества элементов изображения, на которое нарисованный элемент изображения удалён от ближайшего оригинального элемента изображения, при этом большее расстояние приводит к более высоким значениям. Этот параметр удерживает информацию о том, насколько близко прочерченные пользователем линии соответствуют оригинальной линии, но не даёт информацию о том, как много оригинальных линий покрывается.

- Этап 2: Среднее отклонение (var)

(2)

Среднее отклонение удерживает информацию о том, насколько согласованно выполняется вычерчивание (см. фиг. 1A-C). В большинстве случаев, изменяющееся расстояние между прочерченными пользователем и оригинальными линиями приводит к более высоким значениям.

- Этап 3: Длина кривой (cl) и разница в длине кривой (cld)

(3)

Основываясь на точках рисунка, длина кривой вычисляется таким образом, чтобы сравниваться с длиной оригинальной кривой. Большее значение разницы между прочерченной и оригинальной кривыми приводит к более высоким значениям cld.

- Этап 4: Среднее обратное расстояние элементов изображения (ipd)

(4)

Среднее обратное расстояние элементов изображения устанавливает среднее количество элементов изображения, на которое оригинальный элемент изображения удалён от ближайшего нарисованного элемента изображения, при этом большее расстояние приводит к более высоким значениям. Этот параметр удерживает информацию о том, насколько близко оригинальные линии находятся к прочерченным пользователем линиям, и таким образом даёт информацию о том, как много оригинальных линий покрывается.

- Этап 5: Время, необходимое для вычерчивания

(5)

Количество времени, необходимое для выполнения вычерчивания измеряется в секундах.

Для вычисления ключевого числа выстраиваются или вычисляются коэффициенты, основанные на этих значениях (1) – (5), которые переписывают их на значения между 0 и 100, при этом значение 0 означает большую разницу между оригинальной и прочерченной кривыми или линиями, а значение 100 по существу означает совершенный счёт при выполнении теста. Для этой цели дополнительные значения «наихудший» (‚worst’) и «наилучший» (‚best’) могут быть приняты во внимание для каждого из значений (1) – (5), как показано следующим образом:

apd_best = 1, apd_worst = 72

var_best = 1,5, var_worst = 15

cld_best = 10, cld _worst = cl_original

ipd_best = 0, ipd_worst = 128

time_best = 1, time_worst = 24 (6)

При этом, основываясь на этих парах (6) значений, вычисляются следующие модулярные коэффициенты:

(7)

Основываясь на этих модулярных коэффициентах (7), сейчас могут быть вычислены ключевого числа для различных подходов. Принимая все коэффициенты (7) во внимание, два главных счёта становятся средним счётом (8) и мультипликативным счётом (9), в виде следующих уравнений:

(8)

(9)

Вообще говоря, мультипликативный счёт до некоторой степени является более строгим, и таким образом требуется быть более точным, чтобы получить такие же высокие результаты, как в случае среднего счёта.

Настоящее изобретение может использоваться в различных сценариях применения, примеры или варианты осуществления изобретения которых описываются в дальнейшем, со ссылками на фиг. 3-8.

В варианте осуществления изобретения, проиллюстрированном на фиг. 3А и 3В, показана сенсорная панель 300 портативного компьютера, где пользовательский ввод осуществляется с использованием стилуса 305 для сенсорного экрана. Две фигуры 3А и 3В иллюстрируют это действие или процесс в двух последовательных периодах времени. Конечно, пользовательский ввод может также выполняться с использованием пальца пользователя. Область 310 на сенсорной панели 300 обеспечивает информацию для пользователя, относящуюся к соответствию или отклонению пользовательского ввода в отношении к представленному объекту или структуре. В этом и последующих вариантах осуществления изобретения представленная информация является соответствием пользовательского ввода представленному объекту или структуре, а именно, в единицах, выраженных в процентах.

В общем, представленные объекты или структуры, которые должны быть перерисованы, являются базовыми математическими формами, подобными одному или более кругов, квадратов, прямоугольников или треугольников. В том случае, когда для пользователя представлен один круг, три или более поддерживающих точек требуется для того, чтобы ясно определить ожидаемую форму, и таким образом, по меньшей мере представлены три точки, которые должны пересекаться или отрезаться перерисованной (прочерченной при повторении заданной траектории) окружностью. В случае квадрата, соответственно, требуются три поддерживающие точки, которые должны располагаться где-то на различных линиях квадрата, чтобы ясно определить ожидаемую форму, и таким образом, по меньшей мере представлены три точки, которые должны пересекаться или отрезаться перерисованным (прочерченным при повторении заданной траектории) квадратом. В случае треугольника, соответственно, требуются три поддерживающие точки, которые должны располагаться на различных линиях треугольника, чтобы ясно определить ожидаемую форму, и таким образом, по меньшей мере представлены три точки, которые должны пересекаться или отрезаться перерисованным (прочерченным при повторении заданной траектории) треугольником.

Альтернативно, вместо представления упоминавшегося выше требуемого количества (в приведённых выше случаях оно равно трём) поддерживающих точек, в настоящем варианте осуществления изобретения представлены только две точки 315 и 320, запрашивающие пользователя начертить, например, окружность 325, 330, причём эти две поддерживающие точки 315 и 320 в том варианте осуществления изобретения определяют диаметр окружности или могут располагаться где-то на этой окружности, таким образом позволяя пользователю прочертить окружность с произвольным диаметром. Соответственно, квадрат может ясно определяться только двумя поддерживающими точками, если они представляют противоположные углы квадрата. В случае треугольника пользователя могут попросить начертить равносторонний треугольник на основе только двух представленных точек. Как проиллюстрировано вариантом осуществления изобретения, показанного на фиг. 4А и 4В, на которых также изображается сенсорный экран 400, стилус 405 для сенсорного экрана и информационная область 410, окружность 415, или подобная фигура, могут быть даже прочерчены пользователем как рисунок от руки без каких-либо поддерживающих точек, и таким образом, также с произвольным диаметром. В двух случаях, когда окружность или подобная фигура вычерчиваются с произвольным диаметром (или размером внешних правильных форм, подобных квадрату), окончательная форма 420, начерченная пользователем, сравнивается с соответствующей формой, которая вычисляется, например, посредством вычисления совпадения способом наименьших квадратов (“least square fit”).

Описанный выше способ, предпочтительно, может быть использован в области медицинской диагностики человека и/или в области терапии. Сейчас обратимся к варианту осуществления изобретения, не показанному на фигуре, представленному примерами объекта(ов), структуры(структур) или модели(ей), предпочтительно содержащих стандартизованные формы, для которых доступны другие данные пациента, например, данные тестирования пациентов, например, пациентов, страдающих от апоплексического удара (“Apoplexia”), или любого другого повреждения мозга, в результате чего пациент имеет уменьшенную способность вычерчивать объекты линейной формы, и т.д. Основываясь на способе и системе, в соответствии с изобретением, такие пациенты, предпочтительно, могут выполнять терапевтические упражнения без присутствия медицинского персонала и в частности, получать положительные результаты от таких упражнений без какой-либо задержки, таким образом мотивируя их продолжать выполнение этих упражнений.

В варианте осуществления изобретения, проиллюстрированном на фиг. 5А и 5В, опять изображаются сенсорный экран 500 и информационная область 505, в которой производится пользовательский ввод, причём этот ввод на фиг. 5А выполняется с использованием пальца 510 пользователя, а на фиг. 5В – с использованием графического планшета или стилуса 520 для сенсорного экрана. Представленные объект(ы), структура(ы) или модель(и) не генерируются компьютером, а создаются самим пользователем. В этом варианте осуществления изобретения пользователь сначала вычерчивает произвольный объект линейной формы, структуру или модель 515, 525, которые сохраняются компьютером. Такой вычерченный объект, структура или модель используются как вид образца, при этом он будет сравниваться с последовательно вычерченными формами идентичных объекта(ов), структуры(структур) или модели(ей), которые должны иметь максимальную идентичность. Оценка соответствия или отклонения между последовательно вычерченными формами 530, 535, 540, 545 может использоваться для определения когнитивного состояния пользователя с учётом повторяющихся событий, как проиллюстрировано на фиг. 5С и 5D, например, его/её способность к концентрации. Определённое когнитивное состояние пользователя в настоящем варианте осуществления изобретения представлено для пользователя с помощью различных информационных областей 505’’, каждая из которых относится к одной из форм 535, 540, 545. Таким образом, этот вариант осуществления изобретения может использоваться для обнаружения упоминавшегося выше синдрома дефицита внимания и гиперактивности (СДВГ, ADHD). Поскольку в некоторых из описанных здесь других вариантах осуществления изобретения другие параметры, подобные таким параметрам, как время, требуемое для того, чтобы прочерчивать при повторении линии объекта или части объекта, прикладываемое давление при вычерчивании линий объекта или части объекта, порядок прочерченных линий, или направление прочерченных линий, могут быть обнаружены или отслежены, таким образом увеличивая достоверность результатов оценки.

В варианте осуществления изобретения, проиллюстрированном на фиг. 6А и 6В, опять изображаются сенсорный экран 600 с горизонтальными (вспомогательными) прочерченными линиями 605, несколько информационных областей 610 и стилус 615 пользователя для ввода на сенсорном экране. Задачей в настоящем сценарии является обучение алфавиту какого-либо языка. В этом варианте осуществления изобретения представленные объекты являются письменными символами языка. В настоящем варианте осуществления изобретения выборочные символы для прописных букв 620 и строчных букв 625 представлены компьютером на левой стороне сенсорного экрана 600, а символы, которые вычерчивает или вводит пользователь, находятся в другом местоположении экрана. В настоящем варианте осуществления изобретения две отдельные области ввода для пользователя позволяют пользователю перерисовывать как прописные, так и строчные буквы. Однако это является только определённым приложением сценария, и таким образом, две или даже больше, области или поля для ввода могут использоваться для обучающих целей, также как и для любой другой цели. Описанный выше быстрый алгоритм для оценки введённых символов допускает немедленную обратную связь, которая обеспечивает увеличенную мотивацию для пользователя продолжать работать с обучающими упражнениями.

В варианте осуществления изобретения, проиллюстрированном на фиг. 7А и 7В, опять изображается сенсорный экран 700, стилус 705 для ввода на сенсорном экране и информационную область 710, при этом объектом(ами) или структурой(ами) являются буквы или символы 715, используемые для каллиграфии, например те, которые используются в японском языке. Особый аспект таких символов состоит в изменяемой ширине линии и при действительном вычерчивании таких символов на бумаге от пользователя требуется прикладывать различное давление к ручке, когда вычерчиваются символы 715’, 715’’, 715’’’. Соответственно, в этом варианте осуществления изобретения от пользователя запрашивается прочерчивание при повторении представленного символа, где давление, прикладываемое к устройству ввода, или давление, прикладываемое пальцем пользователя, если он будет использоваться в качестве устройства ввода, изменяется. Кроме того, при вычерчивании японских символов необходимо принимать во внимание правильный порядок вычерчиваемых линий. До сих пор оценка соответствия или отклонений между представленным символом и символом, полученным в результате прочерчивания при повторении представленного символа, принимает во внимание ширину линии и порядок прочерчивания линий. Следует акцентировать внимание на том, что окончательный чертёж не показывает порядок прочерчивания линий, но использование сенсорного экрана, планшета графического ввода данных или подобных устройств позволяет отслеживать и/или протоколировать порядок введённых линий. В настоящем варианте осуществления изобретения области вычерченного (полученного в результате прочерчивания при повторении) символа, которые не согласовываются или не соответствуют представленному символу (см. например 715’’’) выделяются или помечаются, например, с использованием определённой цветовой схемы или подобным образом.

В варианте осуществления изобретения, проиллюстрированном на фиг. 8А-8С, показаны три временных стадии процесса, в соответствии с изобретением, снова использующих сенсорный экран 800, при этом образцы объекта(ов), структуры(структур) или модели(ей) представлены только временно, т.е. только во время первой стадии (фиг. 8А) 805, а затем они исчезают, как проиллюстрировано на пустом экране 810 во время второй стадии (фиг. 8В), и таким образом должны перерисовываться или прочерчиваться 805’ пользователем для повторения представленного символа во время третьей стадии (фиг. 8С), в представленном варианте осуществления изобретения с помощью пальца 815 пользователя, основываясь на краткосрочной памяти пользователя, при этом пользовательский ввод оценивается аналогично тесту памяти. Этот вариант осуществления изобретения, в частности, позволяет тестирование (оценивание) или тренировку способности пользователя в отношении запоминания.

Как показано на карте последовательности процесса, изображённой на фиг. 9, в соответствии с первым этапом 900 показанной программы генерируется ориентированная по точкам или по вектору форма, для представления на сенсорном экране. Затем сгенерированная форма представляется 905 на сенсорном экране. Во время этапа 910 обнаруживается любой пользовательский ввод, и соответствующий согласованный элемент изображения будет сохраняться в памяти, по меньшей мере, как промежуточное звено. Конечно этап 910, соответственно, может состоять из определённого количества повторяющихся единичных этапов, которые применяются для обнаружения пользовательского ввода на дискретной основе, т.е. ориентированного по элементам изображения.

Во время этапа 915 показанной программы, сохраняемые в памяти элементы изображения пользовательского ввода сравниваются с соответствующими элементами изображения представленной компьютером формы. Это сравнение открывает значения отклонения, которые суммируются или интегрируются во время этапа 920. Как проиллюстрировано пунктирной линией со стрелкой, это суммирование может быть произведено по элементам изображения, до тех пор, пока не рассмотрены все элементы изображения. Как описывалось выше, суммирование может быть выполнено или с использованием измеренных значений отклонения, включая их знаки, таким образом открывая окончательный счёт, который показывает относительное соответствие перерисованной формы по отношению к центру представленной формы, или с использованием абсолютных значений отклонения, таким образом обеспечивая индикацию общего соответствия перерисованной формы с представленной формой. После того, как все элементы изображения были обработаны, окончательно вычисленное количество набранных очков представляется 925 для пользователя, например, с использованием предварительно описанного информационного поля 310.

В соответствии с дополнительными необязательными этапами (отделённых пунктирной линией 930), первый этап 900 был изменён, чтобы генерировать по меньшей мере две формы n, где n = 1, … n_max, с n_max, которое является количеством (различных) форм, которые должны генерироваться компьютером. С помощью тестового этапа 935, который проверяет, достигнуто или нет упоминавшееся выше максимальное количество форм n_max, которые должны быть представлены (т.е. выполняется условие n > n_max), описанные ранее этапы 900-925 повторяются до тех пор, пока это условие не будет выполнено. В соответствии со следующим этапом 940, все единичные счета, вычисляемые во время шага 920, используются для вычисления окончательного количества набранных очков или для обеспечения оценивания вероятности того, что пользователь страдает от определённой болезни, в частности, упоминавшейся выше болезни мозга. Окончательное количество набранных очков или медицинское оценивание затем представляется 945 пользователю, например, в виде информации или текстового окна, представленного на сенсорном экране.

Описанные здесь способ и система могут реализовываться в качестве медицинского или обучающего приложения, или устройства, работающего на любом компьютере или с помощью системы обработки данных, имеющей сенсорный экран, подобных персональному (стационарному) компьютеру, переносному компьютеру, такому как портативный или планшетный компьютер, или мобильным устройствам с сенсорным экраном, таким как смартфоны.

Группа изобретений относится к реализуемым на компьютере способу и системе для тестирования и/или тренировки функций или навыков пользователя в области визуальной, когнитивной и/или зрительной координации движений рук. Используют на компьютере способ и систему для тестирования и/или тренировки визуальных, когнитивных и координационных функций с использованием компьютера или устройства обработки данных, имеющего сенсорный дисплей. При этом по меньшей мере один объект линейной формы представлен на сенсорном дисплее и пользователь должен прочертить с повторением линию(и) представленного объекта, и прочерченная с повторением линия(линии) оценивается, с тем чтобы определить характеристику или параметр, относящийся к отклонениям и/или соответствию между представленным по меньшей мере одним объектом линейной формы и линией(линиями), прочерченной пользователем с повторением. Определяют характеристику на основе следующих этапов оценки: оценивают среднее расстояние в элементах изображения для элементов изображения, прочерченных с удалением от ближайшего оригинального элемента изображения; оценивают среднюю дисперсию, содержащую информацию о том, насколько согласованно выполнено прочерчивание; оценивают длину кривой по сравнению с длиной оригинальной кривой; оценивают среднее обратное расстояние в элементах изображения, содержащее информацию о том, как далеко находится оригинальный элемент изображения от ближайшего вычерченного элемента изображения; оценивают время, требуемое для прочерчивания с повторением линии(й) представленного объекта. Группа изобретений позволяет провести тестирование или тренировку когнитивных функций пользователя за счет использования системы для тестирования и/или тренировки визуальных, когнитивных и координационных функций с учетом оценки или определения соответствия/отклонений линейным или нелинейным суммированием или интегрированием собранных значений по отклонению. 2 н. и 16 з.п. ф-лы, 9 ил.

1. Способ тестирования и/или тренировки визуальных, когнитивных и/или координационных функций или навыков пользователя с использованием компьютера или устройства обработки данных, имеющего сенсорный дисплей, представляющего по меньшей мере один объект (100) линейной формы на сенсорном дисплее, при этом пользователь прочерчивает с повторением линию(и) представленного объекта (100), и прочерченную с повторением линию(линии) (105) оценивают для определения характеристики, относящейся к отклонениям и/или соответствию (120) между представленным по меньшей мере одним объектом (100) линейной формы и прочерченной с повторением линией(линиями) (105), отличающийся тем, что определяют характеристику на основе следующих этапов оценки:

оценивают среднее расстояние в элементах изображения для элементов изображения, прочерченных с удалением от ближайшего оригинального элемента изображения;

оценивают среднюю дисперсию, содержащую информацию о том, насколько согласованно выполнено прочерчивание;

оценивают длину кривой по сравнению с длиной оригинальной кривой;

оценивают среднее обратное расстояние в элементах изображения, содержащее информацию о том, как далеко находится оригинальный элемент изображения от ближайшего вычерченного элемента изображения;

оценивают время, требуемое для прочерчивания с повторением линии(й) представленного объекта.

2. Способ по п. 1, в котором используют определенную характеристику для оценки визуальных, когнитивных и/или координационных функций пользователя или оценки состояния здоровья пользователя.

3. Способ по п. 1 или 2, в котором характеристика является скалярным числом или многоразмерным числом.

4. Способ по любому из пп. 1-3, в котором определяют характеристику линейным или нелинейным суммированием или интегрированием отдельных значений отклонения.

5. Способ по любому из пп. 1-4, в котором вычисляют среднее расстояние (apd) в элементах изображения на основе следующей формулы (1):

; (1)

где прочерчивание состоит из x*y=n элементов P(i) изображения и m вычерченных точек (DP), где DP⊂P, причем P(i)_drawing относится к прочерчиванию, выполняемому пользователем, а P(i)_original относится к оригиналу,

вычисляют среднюю дисперсию (var) на основе следующей формулы (2):

; (2)

вычисляют длину (cl) кривой и соответствующую разность (cld) длины кривой на основе следующих двух формул (3):

(3)

cld = │cl_drawing – cl_original │;

где cl_drawing – длина кривой прочерчивания, выполненного пользователем, а cl_original – длина кривой оригинала,

вычисляют среднее обратное расстояние (ipd) в элементах изображения на основе следующей формулы (4):

(4);

измеряют в секундах время, необходимое для прочерчивания с повторением линии(й) представленного объекта.

6. Способ по п. 5, в котором вычисляют следующие модульные коэффициенты:

где q – это модульный коэффициент соответствующей величины, обозначение "time" указывает время, необходимое для выполнения прочерчивания, а обозначения "worst" и "best" обозначают соответственно наихудшее и наилучшее значения соответствующей величины.

7. Способ по п. 6, в котором на основе модульных коэффициентов вычисляют главный счет как средний счет (score_avg) или как мультипликативный счет (score_mult) следующим образом:

или

.

8. Способ по любому из пп. 1-7, в котором оценивают время, прошедшее между прочерчиванием двух линий представленного объекта, в частности сравнивают упомянутое время, прошедшее между прочерчиванием двух линий, с представленными соответствующими данными испытуемых пациентов, имеющих определенную болезнь.

9. Способ по любому из пп. 1-8, в котором оценивают относительное смещение положения прочерченного с повторением объекта относительно положения представленного объекта.

10. Способ по любому из пп. 1-9, в котором прочерчивают с повторением линии представленного объекта с использованием по меньшей мере двух направлений перемещения.

11. Способ по любому из пп. 1-10, в котором оценивают порядок прочерчиваемых с повторением линий.

12. Способ по любому из пп. 1-11, в котором оценивают ширину линии и/или давление, прикладываемое пользователем при вычерчивании с повторением объекта.

13. Способ по любому из пп. 1-12, в котором внутренняя часть представленного линейного объекта подлежит закрашиванию пользователем, при этом оценивают соответствие закрашивания пограничным линиям представленного объекта.

14. Способ по любому из пп. 1-13, в котором представляют по меньшей мере частично скрытый или замаскированный объект линейной формы.

15. Способ по п. 14, в котором представляют по меньшей мере две поддерживающие точки представленного объекта.

16. Способ по любому из пп. 1-15, в котором представляют объект только временно.

17. Система для тестирования и/или тренировки визуальных, когнитивных и/или координационных функций или навыков пользователя, при этом система содержит компьютерное устройство или устройство обработки, содержащее сенсорный экран, отличающаяся тем, что компьютерное устройство или устройство обработки выполнено с возможностью выполнения способа по любому из пп. 1-16.

18. Система по п. 17, в которой компьютерное устройство или устройство обработки выполнено с возможностью представления по меньшей мере одного объекта (100) линейной формы на сенсорном дисплее для обнаружения информации о линии(ях), получаемой при прочерчивании пользователем с повторением представленного объекта (100), с использованием сенсорного дисплея и для оценки обнаруживаемой информации, с тем чтобы определить характеристику, относящуюся к отклонениям и/или соответствию (120) между представленным по меньшей мере одним объектом (100) линейной формы и линией(ями) (105), прочерчиваемой с повторением пользователем.