Способ ввода оператором информации с сенсорного экрана Российский патент 2023 года по МПК G06F3/488 

Заявленное изобретение относится к области информационных технологий, а именно к технике обеспечения устойчивости ввода информации с сенсорного экрана в условиях вибрации автоматизированного рабочего места (АРМ) оператора.

Заявленное изобретение может быть использовано для повышения безошибочности ввода данных оператором через клавиатуру сенсорного экрана в условиях вибрации автоматизированного рабочего места оператора.

Для операторов с появлением сенсорных экранов существенно повысилось удобство ввода данных через клавиатуру таких экранов. На сенсорном экране высвечивается электронная клавиатура, оператор касается пальцем или стилусом требуемой клавиши для ввода алфавитно-цифровой или графической информации. Сенсорные экраны широко внедряются в состав оборудования автоматизированных рабочих мест (АРМ) операторов подвижных объектов автоматизации. В современных автоматизированных системах на АРМ операторов, установленных на колесных и гусеничных транспортных средствах, малых морских судах, самолетах и вертолетах, в движении воздействуют интенсивные вибрационные воздействия на закрепленный сенсорный экран и на оператора АРМ, и при воздействии тряски на сенсорный экран и на оператора возникают частые ошибки при вводе оператором цифро-буквенной и графической информации. В силу высокой интенсивности и нестационарности вибрационных воздействий известными средствами, такими как антивибрационные платформы, стабилизаторы положения АРМ и т.п. не удается существенно сгладить вибрацию во время движения до такой степени, чтобы не возникали ошибки в касании требуемых областей сенсорного экрана. При этом отказаться от использования на борту подвижных средств сенсорных устройств затруднительно, так как они позволяют обеспечить с высокой оперативностью ввод и отображение большого объема требуемой информации при существенном уменьшении размера средств ввода и отображения АРМ. Например, в качестве средств ввода и отображения в кабине вводимого в эксплуатацию в 2020 году самолета Boeing 777Х будут использованы сенсорные дисплеи. Поэтому актуальным становится решение технической задачи повышения устойчивости ввода информации на сенсорном экране в условиях тряски АРМ оператора подвижного объекта автоматизации.

В сенсорных устройствах определен следующий порядок ввода информации. Оператор при вводе цифро-буквенных данных через сенсорный экран касается пальцем или стилусом области требуемой электронной клавиши и прекращает контакт удалением пальца (стилуса), при этом в момент прекращения контакта с поверхностью сенсорного экрана в качестве введенной выбирается соответствующая этому участку поверхности электронная клавиша. Или оператор, касаясь экрана, перемещает палец или стилус по экрану в область требуемой клавиши и, достигнув этой области, прекращает контакт. В электронной клавиатуре при этом периодически с интервалом порядка единиц-десятков миллисекунд опрашиваются все точки клавиатуры и при обнаружении каждой нажатой точки определяют ее горизонтальную и вертикальную координаты, при этом контроллер электронной клавиатуры определяет, какой клавише принадлежит нажатая точка. В случае воздействия мешающей тряски палец оператора или стилус в его руке может не попасть в область требуемой клавиши, что приводит к ошибочному вводу данных в соответствии с клавишей, в границах области которой произошло прекращение контакта с экраном. По мере уменьшения размера сенсорных экранов и увеличения числа электронных клавиш вероятность ошибки ввода данных возрастает.

Для повышения устойчивости ввода оператором информации через клавиатуру сенсорного экрана в условиях вибрации сенсорного экрана и оператора известны различные технические решения.

Известен способ увеличения геометрического размера изображений клавиш электронной клавиатуры сенсорного экрана, которые наиболее часто были использованы к текущему моменту работы оператора. В процессе работы оператора автоматически подсчитывается частота нажатия на каждую клавишу электронной клавиатуры, и на сенсорном экране размер изображения наиболее часто используемых электронных клавиш автоматически увеличивают, как описано, например, в патентной заявке US 2010271299. При этом достигается снижение вероятности ошибки при нажатии на такие клавиши, но увеличение размера изображений более часто используемых клавиш приводит к пропорциональному уменьшению размера менее часто используемых клавиш, и при попытке их ввода вероятность ошибки существенно возрастает.

Известен также способ обеспечения устойчивости нажатия клавиши на сенсорном экране по патенту США 9256318 МПК G06F 3/0488 от 21.03.2012. В данном способе, предназначенном для повышения безошибочности ввода данных. через клавиатуру сенсорного экрана в движущемся автомобиле, при обнаружении операции нажатия регистрируют положения и моменты времени последовательно нажатых точек, из которых вычисляют значение ускорения движения пальца при последовательных нажатиях, и если вычисленное значение ускорения между последовательными нажатиями превышает предварительно установленное предельное значение, то принимают решение, что соответствующие им нажатые точки обусловлены толчками при движении транспортного средства, и исключаются при оценке нажатой кнопки.

Недостатком указанного аналога является сложность разделения значений ускорения движения пальца при быстрых перемещениях пальца оператора по сенсорному экрану при безошибочном наборе от значений ускорения движения пальца, обусловленных толчками при движении автомобиля или иного транспортного средства, что не позволяет существенно уменьшить ошибки ввода данных через клавиатуру сенсорного экрана в условиях вибрации.

Наиболее близким по своей технической сущности к заявленному способу ввода оператором информации с сенсорного экрана является способ оценки нажатия клавиши на сенсорном экране по патенту РФ 2535480 МПК G06F 3/0488 (2013.01) от 25.03.2011. Способ - прототип ввода оператором информации с сенсорного экрана заключается в том, что обнаруживают начало операции нажатия, и при его обнаружении получают информацию о позиции текущей нажатой точки и расширенную информацию, содержащую область оценки и продолжительность времени нажатия точки, до тех пор, пока не будет обнаружено завершение операции нажатия, выполняют оценку нажатой клавиши, соответствующей каждой нажатой точке, в соответствии с информацией о позиции точек, нажатых во время операции нажатия, и областью оценки, соответствующей нажатой клавише, подсчитывают время нажатия, соответствующего каждой нажатой точке, в соответствии с информацией о позиции и соответствующей информацией о времени для точек, нажатых во время операции нажатия, вычисление количества нажатых точек и продолжительности времени нажатия, соответствующей каждой нажатой клавише, формирование оценки нажатой клавиши, соответствующей операции нажатия, в соответствии с количеством нажатых точек и продолжительностью времени нажатия каждой оцененной нажатой клавиши, и осуществление ввода в соответствии с оценкой нажатой клавиши, соответствующей операции нажатия.

В способе - прототипе при получении информации о позиции текущей нажатой точки выполняют оценку нажатой клавиши, соответствующей каждой нажатой точке, а далее в соответствии с полученными оценками нажатых клавиш формируют оценку нажатой клавиши, соответствующей операции нажатия. Данное техническое решение может обеспечить безошибочность ввода данных при условии, что вызванные тряской смещения пальца оператора относительно искомой клавиши не превышают в среднем примерно половины геометрического размера клавиши при условии, что палец оператора …ориентирован им в центр области искомой клавиши. Иначе при попытках нажатия искомой клавиши палец оператора будет смещаться за пределы этой клавиши и в качестве нажатой клавиши будет выбрана ошибочная клавиша. Например, в соответствии со стандартом ANSI/HFES 100-2007 на эргономические характеристики клавиатур и устройств отображения изображение элемента управления сенсорного экрана мобильных средств пользователя не может иметь по вертикали или по горизонтали размер менее 9,5 мм, так как иначе палец оператора может одновременно нажимать две соседние клавиши, а для средств, эксплуатирующихся в движении, размер клавиши должен быть не менее 11 мм. При этом геометрический размер изображения клавиш сенсорного экрана, как правило, по каждой из координат не может превышать порядка 15…25 мм, так как иначе не удается разместить электронную клавиатуру в пределах типового размера сенсорного экрана. Однако при работе операторов на борту автомобильных и гусеничных транспортных средств в условиях плохих дорог, а также на борту морских судов, самолетов и вертолетов, вызванные тряской смещения пальца оператора относительно искомой клавиши сенсорного экрана зачастую существенно превышают геометрические размеры изображений используемых клавиш.

Например, пусть оператор желает нажать клавишу "S", из-за тряски первая нажатая точка, с которой операция нажатия начинается, попала в область соседней клавиши "А", как показано на фиг. 1, где нажатые точки обозначены серыми кружками, а переход от очередной нажатой точки к последующей показан стрелками. В процессе операции нажатия оператор пытается переместить палец в область требуемой клавиши, но из-за тряски текущие нажатые точки смещаются в направлении, зависящем как от определяемого оператором перемещения пальца, так и от направления сдвига сенсорного экрана и пальца оператора, вызванного тряской транспортного средства. Вторая составляющая имеет случайный характер, поэтому положение текущих нажатых точек обусловлено в значительной степени случайными факторами, но благодаря тому, что оператор в течение нажатия клавиши пытается из очередной нажатой точки переместить палец в область требуемой клавиши, то текущие нажатые точки располагаются вокруг области требуемой клавиши. В представленном примере первые 2 нажатые точки попали в область клавиши "А", третья - в область клавиши "W", четвертая - в область клавиши "З", пятая - в область клавиши "Е", шестая и седьмая - в область клавиши "D", а последняя восьмая по счету - в область клавиши "пробел". При этом в силу того, что вызванные тряской смещения пальца оператора относительно искомой клавиши сенсорного экрана превысили геометрические размеры изображения клавиши, нажатые точки ни разу не попали в область требуемой клавиши "S", поэтому в ближайшем аналоге (прототипе) способа ввода оператором информации с сенсорного экрана произойдет ошибка ввода данных.

Таким образом, недостатком ближайшего аналога (прототипа) способа ввода оператором информации с сенсорного экрана являются частые ошибки ввода данных при воздействии вибрации транспортного средства, на котором установлен АРМ оператора.

Техническим результатом заявляемого решения является разработка способа ввода оператором информации с сенсорного экрана, обеспечивающего повышение безошибочности ввода данных при воздействии вибрации транспортного средства с установленным на нем АРМ оператора.

Указанный технический результат в заявляемом способе ввода оператором информации с сенсорного экрана достигается тем, что в известном способе оценки нажатия клавиши на сенсорном экране, заключающемся в том, что фиксируют начало операции нажатия и при его обнаружении получают информацию о позиции текущей нажатой точки до тех пор, пока не будет обнаружено завершение операции нажатия, идентифицируют нажатую клавишу, которую принимают введенной, дополнительно для идентификации нажатой клавиши вычисляют центроид позиций текущих нажатых точек и в качестве нажатой клавиши выбирают ту, область которой содержит вычисленный центроид. Центроид позиций текущих нажатых точек вычисляют как среднее значение горизонтальных координат и среднее значение вертикальных координат позиций текущих нажатых точек.

В предлагаемой совокупности действий учитывается, что при воздействии вибрации палец оператора относительно искомой клавиши сенсорного экрана смещается по сложной траектории в вертикальном (вверх и вниз от искомой клавиши) и в горизонтальном (влево и вправо от искомой клавиши) направлениях. Усредняя позиции нажатых точек за некоторое время выполнения операции нажатия, получают положение усредненной точки нажатия, которое находится тем ближе к центру области искомой клавиши, чем точнее позиции нажатых точек относительно центра области искомой клавиши описываются случайной переменной, распределенной в соответствии со стандартным нормальным распределением. Из математики известно, как описано, например, в книге Ю. Тюрина, А. Макарова "Статистический анализ данных на компьютере", М:. ИНФРА-М, 1998, стр. 73-80, что центроид точек в двухмерном пространстве, распределенных в соответствии со стандартным нормальным распределением, дает положение усредненной точки. Из этих же источников известно, что чем больше случайных факторов влияют на исход серии последовательных опытов, а в нашем случае это положение точки касания, и чем больше число этих опытов, тем ближе закон распределения точек к стандартному нормальному распределению, причем на практике, как правило, вполне достаточно не менее десяти случайных факторов, действующих независимо друг от друга. На практике на смещения пальцев оператора и сенсорного экрана АРМ на борту транспортного средства воздействуют множество случайных факторов движения транспортного средства.

В силу указанных причин вызванные вибрацией смещения пальца оператора АРМ относительно искомой клавиши сенсорного экрана с достаточной точностью описываются нормальным законом распределения и поэтому центроид позиций нажатых точек за время операции нажатия достаточной длительности, как правило, принадлежит области требуемой для ввода клавиши сенсорного экрана.

Поэтому указанная новая совокупность действий предлагаемого способа ввода оператором информации с сенсорного экрана позволяет повысить безошибочность ввода данных при воздействии вибрации транспортного средства с установленным на нем АРМ оператора.

Заявленный способ поясняется чертежами, на которых показаны:

- на фиг. 1 - примерный вид позиций нажатых точек во время операции нажатия в условиях вибрации;

- на фиг. 2 - устройство ввода оператором информации с сенсорного экрана;

- на фиг. 3 - алгоритм ввода оператором информации с сенсорного экрана;

- на фиг. 4 - таблица примерного вида координат нажатых точек во время операции нажатия;

- на фиг. 5 - примерный вид центроида позиций нажатых точек во время операции нажатия.

Реализация заявленного способа представлена на примере устройства ввода оператором информации с сенсорного экрана, показанного на фиг. 2. При касании пальцем оператора сенсорного экрана с клавиатурой 1 модуль обнаружения нажатия 2 обнаруживает начало операции нажатия и запускает модуль получения точек 3, принимающий от сенсорного экрана с клавиатурой 1 информацию о координатах текущей нажатой точки. Координаты вновь поступивших точек по мере поступления передают в модуль оценки 4, в котором вычисляют центроид позиций нажатых точек за текущее время операции нажатия и определяют, в область какой клавиши попадает текущая позиция вычисленного центроида. Модуль оценки 4 передает текущую оценку нажатой клавиши в модуль подсказки 5, который в служебном поле сенсорного экрана с клавиатурой 1 высвечивает изображение текущей выбранной клавиши. Оператор может наблюдать на экране изображение текущей выбранной клавиши и если эта оценка не совпадает с искомой клавишей, то продолжает операцию нажатия, перемещая палец ближе к искомой клавише. Прекращение касания оператором пальцем сенсорного экрана с клавиатурой 1 воспринимается в модуле обнаружения нажатия 2 как завершение операции нажатия и модуль обнаружения нажатия 2 выдает в модуль ввода 6 разрешение на выдачу на выход устройства оценку нажатой клавиши, область которой содержит вычисленный центроид.

Предлагаемый способ может быть использован в различных типах сенсорных экранов, таких как резистивные, емкостные, проекционно-емкостные, экраны на поверхностно-акустических волнах, индукционные, экраны на сетке инфракрасных лучей, тензометрические и т.п. Во всех перечисленных типах сенсорных экранов на выход передают координаты текущих нажатых точек, на основе которых формируют оценку нажатой клавиши.

В способе реализуется следующая последовательность действий.

Алгоритм ввода оператором информации с сенсорного экрана представлен на фигуре 3.

Известные способы фиксации начала операции нажатия клавиши на сенсорном экране, например, описанные в статье А. Никитина "Современные сенсорные интерфейсы на основе датчиков S-Touch компании ST Microelectroncs" в журнале "Новости электроники", 2010, №1, стр. 14-17, заключаются в том, что контроллер сенсорного экрана определяет начало операции нажатия клавиши на сенсорном экране по выявлению нажатия первой по времени нажатой точки. Например, наиболее распространенные в настоящее время резистивные сенсорные экраны состоят из стеклянной панели и гибкой пластиковой мембраны, на которые нанесено проводящее ток покрытие. Пространство между стеклянной панелью и мембраной заполнено равномерно распределенными микроизоляторами, которые надежно изолируют проводящие поверхности в режиме ожидания нажатия. Когда оператор нажимает на экран в некоторой точке, панель и мембрана на небольшой окрестности, составляющей точку нажатия, замыкаются и контроллер сенсорного экрана фиксирует изменение напряжения мембраны, определяя тем самым начало операции нажатия, и переходит в состояние готовности получения информацию о позиции текущей нажатой точки.

Известные способы получения информации о позиции текущей нажатой точки при обнаружении операции нажатия заключаются в следующем. Например, в резистивном сенсорном экране имеются верхний и нижний вертикальные электроды и левый и правый горизонтальные электроды. На верхний электрод подают напряжение питания, а нижний электрод заземляют. При нажатии на экран в текущей нажатой точке контроллер экрана с использованием аналого-цифрового преобразователя регистрирует изменение сопротивления и величину этого изменения преобразует в значение вертикальной координаты "Y" позиции текущей нажатой точки. Аналогично формируют значение горизонтально координаты "X" позиции текущей нажатой точки. Контроллер, получив информацию о позиции текущей нажатой точки, передает ее в виде пары координат для последующего формирования оценки нажатой клавиши, например, в процессор вычислительного устройства, в состав которого входит сенсорный экран. Например, в статье А. Никитина "Современные сенсорные интерфейсы на основе датчиков S-Touch компании ST Microelectroncs" в журнале "Новости электроники", 2010, №1, стр. 17, указывается, что в сенсорном экране имеется массив 4096 на 4096 возможных точек нажатия, соответственно, координаты "X" и "Y" позиции текущей нажатой точки могут иметь значения в диапазоне от 0 до 4095.

При перемещении пальца оператора по поверхности сенсорного экрана контроллер с периодичностью опроса точек экрана последовательно определяют координаты текущих нажатых точек. Если палец не перемещается относительно сенсорного экрана, то контроллер через заданный интервал опроса выдает координаты этой же нажатой точки.

Обнаружение завершения операции нажатия выполняет контроллер экрана при выявлении факта, что после нажатия очередной точки в течение заданного промежутка времени отсутствует нажатие на экран, то есть выявляет ситуацию, когда оператор убрал палец (стилус) с поверхности экрана.

Способ идентификации нажатой клавиши, для чего вычисляют центроид позиций текущих нажатых точек, заключается в следующем. С момента времени начала до окончания операции нажатия передают координаты "X" и "Y" позиций текущих нажатых точек для вычисления центроида текущих нажатых точек, который является точкой, вертикальной координатой которой является среднее арифметическое значение вертикальных координат текущих нажатых точек, а горизонтальной координатой - среднее арифметическое значение горизонтальных координат этих точек. Для этого из координат X_i и Y_i i-ых текущих N нажатых точек вычисляют горизонтальную координату Х_с и вертикальную координату Y_c центроида текущих нажатых точек по формулам

Затем вычисленные координаты центроида сравнивают с границами областей всех электронных клавиш на экране, и выбирают клавишу, область которой содержит вычисленный центроид.

Например, пусть получены координаты "X" и "Y" позиций текущих нажатых точек, показанные на фиг. 4. Положение текущих нажатых точек представлено на фиг. 5 в виде серых кружков, положение вычисленных центроидов - черными заштрихованными кружками и переходы от текущего вычисленного значения центроида к последующему значению - черными стрелками жирного цвета. Координаты центроида первой нажатой точки совпадают с ее координатами. Соответственно, область клавиши "А" содержит центроид первой нажатой точки. Затем при регистрации нажатия второй точки из координат первой нажатой точки "710, 1327" и второй нажатой точки "742, 998" вычисляют координаты центроида первых двух нажатых точек по формулам

Центроид первых двух нажатых точек также находится в области клавиши "А".

Последовательно вычисляют при поступлении координат текущих нажатых точек координаты центроида текущих нажатых точек, как показано на фиг. 4. Как показано на фиг. 5 шаг от шага положение центроида становится все ближе к центру искомой клавиши, и в результате начиная с некоторой нажатой точки, центроид текущих нажатых точек будет находиться в пределах области клавиши, которую желает нажать оператор, при условии, что вызванные вибрацией смещения пальца оператора относительно искомой клавиши сенсорного экрана с достаточной точностью описываются нормальным законом распределения. Например, центроид текущих нажатых точек будет находиться в пределах области искомой клавиши "S", начиная с седьмой нажатой точки. Пусть оператор прекращает касание пальцем сенсорного экрана в восьмой по счету нажатой точке, лежащей в области клавиши "пробел".

По завершению операции нажатия в качестве нажатой клавиши выбирают ту, область которой содержит вычисленный к этому моменту центроид. Эту клавишу принимают как введенную оператором с сенсорного экрана.

Например, по завершению операции нажатия из координат N=8 нажатых точек вычисляют координаты центроида нажатых точек, которые принадлежат области клавиши "S". Соответственно, определяется, что буква "S" введена оператором с сенсорного экрана, как он и намеревался, хотя из-за вибрации ни одна точка касания оператором экрана не принадлежит области данной электронной клавиши.

Для оценки устойчивости ввода данных с клавиатуры сенсорного экрана в условиях вибрации сенсорного экрана и оператора с использованием предлагаемого технического решения были проведены следующие эксперименты. Сенсорный экран был закреплен на приборной панели перед сиденьем пассажира справа от водителя легкового автомобиля. При движении автомобиля на скорости от 30 до 90 километров в час по различным типам дорог и бездорожью оператор, находящийся на месте пассажира, осуществлял ввод буквенно-цифровых данных через клавиатуру сенсорного экрана. В одинаковых условиях подсчитывалось количество ошибочных нажатий требуемых клавиш при использовании сенсорного экрана в обычном режиме ввода, установленным заводским контроллером клавиатуры, и при вводе данных в соответствии с предлагаемым способом. Выявлено, что во всех проведенных экспериментах в условиях вибрации сенсорного экрана и оператора вероятность безошибочного ввода данных через клавиатуру сенсорного экрана выше с использованием предлагаемого технического решения в 2,2…6,4 раза, причем по мере ухудшения качества дороги и увеличения скорости транспортного средства выигрыш предлагаемого технического решения становится выше.

Проведенные исследования подтверждают, что при использовании предлагаемого способа ввода оператором информации с сенсорного экрана обеспечивается повышение безошибочности ввода данных при воздействии вибрации транспортного средства с установленным на нем АРМ оператора.

Заявленное изобретение относится к области информационных технологий, а именно к технике обеспечения устойчивости ввода информации с сенсорного экрана в условиях вибрации автоматизированного рабочего места (АРМ) оператора. Технический результат заключается в повышении безошибочности ввода данных при воздействии вибрации транспортного средства с установленным на нем АРМ оператора. Технический результат достигается за счет того, что для идентификации нажатой клавиши последовательно фиксируют координаты текущих нажатых точек, при поступлении которых вычисляют центроид позиций текущих нажатых точек, определяют, в область какой клавиши попадает текущая позиция вычислительного центроида, причем изображение текущей выбранной клавиши высвечивается в служебном поле сенсорного экрана, и в качестве нажатой клавиши выбирают ту, область которой содержит вычисленный центроид, где центроид позиций текущих нажатых точек вычисляют как среднее значение горизонтальных координат и среднее значение вертикальных координат позиций текущих нажатых точек. 5 ил.

Способ ввода оператором информации с сенсорного экрана, заключающийся в том, что фиксируют начало операции нажатия и при его обнаружении получают информацию о позиции текущей нажатой точки до тех пор, пока не будет обнаружено завершение операции нажатия, идентифицируют нажатую клавишу, которую принимают введенной, отличающийся тем, что при смещениях пальца оператора относительно искомой клавиши сенсорного экрана, описываемых нормальным законом распределения, для идентификации нажатой клавиши последовательно фиксируют координаты текущих нажатых точек, при поступлении которых вычисляют центроид позиций текущих нажатых точек, определяют, в область какой клавиши попадает текущая позиция вычислительного центроида, причем изображение текущей выбранной клавиши высвечивается в служебном поле сенсорного экрана, и в качестве нажатой клавиши выбирают ту, область которой содержит вычисленный центроид, где центроид позиций текущих нажатых точек вычисляют как среднее значение горизонтальных координат и среднее значение вертикальных координат позиций текущих нажатых точек.