УСТРОЙСТВО ОБРАБОТКИ ИЗОБРАЖЕНИЙ, СПОСОБ УПРАВЛЕНИЯ ТАКТИЛЬНЫМИ ОЩУЩЕНИЯМИ И НОСИТЕЛЬ ЗАПИСИ Российский патент 2017 года по МПК G06T1/00 G06F3/41 G06F3/01 

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Настоящее изобретение относится к устройству обработки изображений, способу управления тактильными ощущениями и носителю записи.

УРОВЕНЬ ТЕХНИКИ

За последние годы возросло количество устройств, имеющих сенсорную панель. Ввиду такой особенности, когда пользователь может по своему усмотрению указывать позицию на экранном изображении устройства отображения, многие из этих устройств имеют функцию редактирования для редактирования имеющихся изображений и функцию рисования. Как раскрыто в официальной публикации заявки на патент Японии №2012-124612, функция рисования является функцией для рисования и формирования самого изображения. При использовании функции рисования пользователь может выбирать тип и цвет линии, чертить линию по своему усмотрению или может стирать начерченную линию посредством выбора пиктограммы стирательной резинки и т.п.

Если же процесс редактирования (стирание, начертание линии, цветное рисование и т.п. графического объекта) посредством сенсорного ввода на экранном изображении для ввода данных, обеспеченном на экранном изображении устройства отображения, выполняется применительно к графическому объекту, начерченному на экранном изображении устройства отображения посредством функции рисования и т.п., то существует проблема, вследствие которой трудно подтвердить, был ли в действительности выполнен процесс редактирования участка, к которому относилась операция касания пальцем, сенсорным пером и т.п. В случае стирания графического объекта на экранном изображении устройства отображения в качестве процесса редактирования затрагиваемый участок скрывается за пальцем и существует проблема, вследствие которой пользователю трудно удостовериться, был ли стерт графический объект, который пользователь желает стереть.

РАСКРЫТИЕ ИЗОБРЕТЕНИЯ

Аспект изобретения направлен на решение всех или по меньшей мере одной из вышеупомянутых проблем.

Согласно аспекту изобретения предложено устройство обработки изображений в соответствии с пунктами 1-9 формулы изобретения.

Согласно другому аспекту изобретения предложен способ управления тактильными ощущениями в соответствии с пунктами 10 и 11 формулы изобретения.

Согласно другому аспекту изобретения предложен носитель записи в соответствии с пунктами 12 и 13 формулы изобретения.

Другие признаки настоящего изобретения явствуют из нижеследующего описания вариантов осуществления, представленного со ссылкой на сопровождающие чертежи.

Каждый из нижеописанных вариантов осуществления настоящего изобретения может быть реализован по отдельности или в виде комбинации множества вариантов осуществления или их отличительных признаков в случае необходимости или в случае, когда полезна комбинация элементов или отличительных признаков отдельных вариантов осуществления в одном варианте осуществления.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Сопровождающие чертежи, которые включены в состав описания изобретения и составляют его часть, демонстрируют варианты осуществления, признаки и аспекты изобретения, а также совместно с описанием служат для разъяснения принципов изобретения.

Фиг. 1 изображает графическое представление, демонстрирующее электронное устройство.

Фиг. 2 изображает графическое представление, предназначенное для описания функции печати.

Фиг. 3 изображает графическое представление алгоритма, демонстрирующее процесс управления тактильными ощущениями, согласно первому варианту осуществления.

Фиг. 4 изображает графическое представление алгоритма, демонстрирующее процесс управления тактильными ощущениями, согласно второму варианту осуществления.

Фиг. 5 изображает графическое представление, демонстрирующее пример таблицы соответствия.

Фиг. 6 изображает графическое представление, демонстрирующее пример таблицы соответствия, в соответствии с модификацией.

Фиг. 7 изображает графическое представление алгоритма, демонстрирующее процесс управления тактильными ощущениями, согласно третьему варианту осуществления.

ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ

Далее со ссылкой на чертежи будут подробно описаны различные варианты осуществления, отличительные признаки и аспект изобретения.

ПЕРВЫЙ ВАРИАНТ ОСУЩЕСТВЛЕНИЯ

Фиг. 1 изображает графическое представление, демонстрирующее электронное устройство 100, служащее в качестве устройства обработки изображений, согласно первому варианту осуществления. Электронное устройство 100 может быть построено из сотового телефона, смартфона, планшетного терминала и т.п. Как изображено на Фиг. 1, процессор 101 CPU, память 102, энергонезависимая память 103, блок 104 обработки изображений, устройство 105 отображения, операционный блок 106, интерфейс 107 (I/F) носителя записи, внешний интерфейс 109 и интерфейс 110 связи соединяются с внутренней шиной 150. Блок 112 формирования изображений, блок 122 формирования тактильных ощущений и блок 123 формирования вибраций также соединяются с внутренней шиной 150. Каждый блок, соединенный с внутренней шиной 150, может совместно передавать и принимать данные через внутреннюю шину 150.

Память 102 имеет, например, память RAM (энергозависимую память и т.п., использующую полупроводниковое устройство). Процессор 101 CPU управляет каждым блоком электронного устройства 100 посредством использования памяти 102 в качестве рабочей памяти в соответствии с программой, сохраненной, например, в энергонезависимой памяти 103. В энергонезависимой памяти 103 сохраняются данные изображений, аудиоданные, другие данные, различные виды программ, при помощи которых функционирует процессор 101 CPU, и т.п. Энергонезависимая память 103 имеет, например, жесткий диск (HD), память ROM и т.п.

Блок 104 обработки изображений выполняет различные виды процессов обработки изображений по отношению к данным изображений на основании управления процессора 101 CPU. В роли данных изображений, которые подвергаются процессам обработки изображений, выступают данные изображений, сохраненные в энергонезависимой памяти 103 или на носителе 108 записи, видеосигнал, полученный через внешний интерфейс 109, данные изображений, полученные через интерфейс 110 связи, данные изображений, захваченные посредством блока 112 формирования изображений, и т.п.

Процесс аналого-цифрового (A/D) преобразования, процесс цифроаналогового (D/A) преобразования, процесс кодирования данных изображений, процесс сжатия, процесс декодирования, процесс увеличения/уменьшения (изменения размеров), процесс шумоподавления, процесс преобразования цвета и т.п. включаются в число процессов обработки изображений, которые выполняются посредством блока 104 обработки изображений. Блок 104 обработки изображений является, например, блоком специализированной интегральной схемы, предназначенным для выполнения конкретного процесса обработки изображений. Вместо блока 104 обработки изображений процессор 101 CPU также может выполнять процесс обработки изображений в соответствии с программой в зависимости от типа процесса обработки изображений. Процессор 101 CPU согласно варианту осуществления выполняет процесс фильтрации с размытием.

Устройство 105 отображения, служащее в качестве блока отображения, отображает экранное изображение интерфейса GUI и т.п., создающее изображение или интерфейс GUI (графический пользовательский интерфейс) на основании управления процессора 101 CPU. Процессор 101 CPU управляет каждым блоком электронного устройства 100 таким способом, чтобы формировать сигнал управления отображением в соответствии с программой, формировать видеосигнал, подлежащий отображению на устройстве 105 отображения, и выводить эти сигналы на устройство 105 отображения. Устройство 105 отображения отображает видеоизображение на основании видеосигнала.

В качестве другого примера, также возможна такая схема построения, в которой электронное устройство 100 не имеет устройства 105 отображения, но имеет интерфейс для вывода видеосигнала, подлежащего отображению на устройстве 105 отображения. В таком случае электронное устройство 100 отображает изображение и т.п. на внешнем дополнительном мониторе (телевизоре и т.п.).

Операционный блок 106, служащий в качестве блока ввода, является устройством ввода буквенно-цифровой информации, такой как, например, клавиатура и т.п., или устройством ввода для приема пользовательских действий, таким как, например, указующее устройство, подобное мыши, сенсорная панель 120, кнопка, наборный диск, джойстик, тактильный датчик, сенсорная панель и т.п. Сенсорная панель 120, служащая в качестве блока ввода, накладывается на устройство 105 отображения для формирования плоской формы и является устройством ввода для вывода информации координат, соответствующей позиции касания. Сенсорная панель 120 является примером экранного изображения для ввода данных.

Носитель 108 записи, такой как, например, карта памяти, диск CD, диск DVD и т.п., может быть загружен в интерфейс 107 носителя записи. Интерфейс 107 носителя записи считывает данные с загруженного носителя 108 записи, а также записывает данные на загруженный носитель 108 записи на основании управления процессора 101 CPU.

Внешний интерфейс 109 является интерфейсом, который соединяется с внешним устройством посредством проводного кабеля или беспроводным способом и используется для ввода и вывода видеосигнала и аудиосигнала. Интерфейс 110 связи является интерфейсом для передачи и приема различных видов данных, таких как, например, файл, команда и т.п., посредством связи (включая телефонную связь) с внешним устройством, сетью 111 Интернет и т.п.

Блок 112 формирования изображений является блоком камеры, имеющим элемент формирования изображений, такой как, например, матрица ПЗС, матрица КМОП и т.п., линзу масштабирования, фокусирующую линзу, затвор, ирисовую диафрагму, блок измерения расстояния, аналого-цифровой (A/D) преобразователь и т.п. Блок 112 формирования изображений может захватывать неподвижное изображение и динамическое изображение. Данные изображения, захваченного посредством блока 112 формирования изображений, передаются на блок 104 обработки изображений, подвергаются различным видам процессов обработки в блоке 104 обработки изображений и записываются в виде файла неподвижного изображения или файла динамического изображения на носитель 108 записи.

Через внутреннюю шину 150 процессор 101 CPU принимает информацию координат позиции касания, которая выводится с сенсорной панели 120. Процессор 101 CPU обнаруживает следующие операции или состояния на основании информации координат.

Операция касания сенсорной панели 120 пальцем или сенсорным пером далее в настоящем документе будет называться «жестом касания».

Состояние, когда сенсорной панели 120 касаются пальцем или сенсорным пером, далее в настоящем документе будет называться «состоянием касания».

Операция перемещения пальца или сенсорного пера наряду с сохранением контакта с сенсорной панелью 120 далее в настоящем документе будет называться «жестом перемещения».

Операция удаления пальца или сенсорного пера, касающегося сенсорной панели 120, далее в настоящем документе будет называться «жестом прерывания касания».

Состояние отсутствия контакта с сенсорной панелью 120 далее в настоящем документе будет называться «состоянием отсутствия касания».

В случае обнаружения жеста перемещения, процессор 101 CPU дополнительно распознает направление перемещения пальца или сенсорного пера на основании изменения в координатах позиции касания. Точнее говоря, процессор 101 CPU распознает вертикальную компоненту и горизонтальную компоненту в направлении перемещения на сенсорной панели 120.

Процессор 101 CPU также обнаруживает каждую операцию мазка, пролистывания, перетаскивания и т.п. В случае выполнения жеста прерывания касания после жеста касания и жеста перемещения процессор 101 CPU обнаруживает мазок. В случае обнаружения жеста перемещения на заданное расстояние или более с заданной скоростью или выше и обнаружения последующего жеста прерывания касания процессор 101 CPU обнаруживает пролистывание. В случае обнаружения жеста перемещения на заданное расстояние или более со скоростью, меньшей заданной скорости, процессор 101 CPU обнаруживает перетаскивание. Пролистывание является такой операцией, при которой палец быстро перемещается на расстояние в известной мере наряду с сохранением контакта с сенсорной панелью 120, после чего палец удаляется с сенсорной панели 120. То есть пролистывание является такой операцией, при которой палец быстро перемещается по поверхности сенсорной панели 120.

Сенсорная панель 120 может использовать сенсорную панель любого из различных типов, таких как, например, тип, использующий резистивную пленку, тип, использующий электрическую емкость, тип, использующий поверхностные акустические волны, тип, использующий инфракрасное излучение, тип, использующий электромагнитную индукцию, тип, использующий распознавание изображений, тип, использующий фотодатчик, и т.п.

Блок 121 обнаружения усилия встраивается в сенсорную панель 120 посредством склеивания и т.п. Блок 121 обнаружения усилия является тензометрическим датчиком. Посредством использования такого явления, когда сенсорная панель 120 изгибается (деформируется) в незначительной степени в соответствии с нажимной силой операции касания, блок 121 обнаружения усилия обнаруживает усилие (усилие нажатия), которое прикладывается к сенсорной панели 120. В качестве другого примера, блок 121 обнаружения усилия может быть встроен в устройство 105 отображения. В этом случае через устройство 105 отображения блок 121 обнаружения усилия обнаруживает усилие, прикладываемое к сенсорной панели 120.

Блок 122 формирования тактильных ощущений формирует тактильное ощущение, которое передается на операционное средство, такое как, например, палец, сенсорное перо и т.п., для работы с сенсорной панелью 120. То есть через участок касания блок 122 формирования тактильных ощущений формирует стимул, который может быть воспринят пользователем, который осуществляет касание. Блок 122 формирования тактильных ощущений встраивается в сенсорную панель 120 посредством склеивания и т.п. Блок 122 формирования тактильных ощущений является пьезоэлектрическим элементом, более конкретно пьезоэлектрическим вибратором, и осуществляет вибрацию с произвольной амплитудой и частотой, находясь под управлением процессора 101 CPU, который функционируют в качестве блока управления блоком 122 формирования тактильных ощущений. Таким образом, сенсорная панель 120 изгибается и вибрирует, при этом вибрация сенсорной панели 120 распространяется в качестве тактильного ощущения на операционное средство. То есть, поскольку блок 122 формирования тактильных ощущений вибрирует отдельно, он обеспечивает тактильное ощущение операционному средству через сенсорную панель 120.

В качестве другого примера, блок 122 формирования тактильных ощущений может быть встроен в устройство 105 отображения. В этом случае блок 122 формирования тактильных ощущений побуждает сенсорную панель 120, подлежащую изгибу, к вибрации через устройство 105 отображения.

Процессор 101 CPU может формировать тактильные ощущения различных структур посредством изменения амплитуды и частоты блока 122 формирования тактильных ощущений и побуждать блок 122 формирования тактильных ощущений к вибрации в соответствии с различными структурами.

Процессор 101 CPU может управлять тактильным ощущением на основании позиции касания, обнаруженной на сенсорной панели 120, и усилия нажатия, обнаруженного посредством блока 121 обнаружения усилия. Например, предположим, что в соответствии с операцией касания операционного средства процессор 101 CPU обнаруживает позицию касания, соответствующую пиктограмме кнопки, отображаемой на устройстве 105 отображения, и блок 121 обнаружения усилия обнаруживает усилие нажатия заданного значения или более. В этом случае процессор 101 CPU формирует вибрации перед и после периода времени. Таким образом, пользователь может воспринимать тактильное ощущение, подобное ощущению щелчка, которое воспринимается при нажатии механической кнопки.

Кроме того, предположим, что процессор 101 CPU выполняет функцию пиктограммы кнопки только в случае, когда усилие нажатия заданного значения или более обнаруживается в состоянии обнаружения касания позиции пиктограммы кнопки. То есть, когда обнаруживается слабое усилие нажатия подобно случаю простого касания пиктограммы кнопки, процессор 101 CPU не выполняет функцию пиктограммы кнопки. В результате пользователь может работать с ощущением аналогично случаю отжима механической кнопки.

Блок 121 обнаружения усилия не ограничивается тензометрическим датчиком. В качестве другого примера, блок 121 обнаружения усилия может иметь пьезоэлектрический элемент. В этом случае блок 121 обнаружения усилия обнаруживает усилие на основании напряжения, которое выводится с пьезоэлектрического элемента, в соответствии с усилием нажатия. Кроме того, пьезоэлектрический элемент, служащий в качестве блока 121 обнаружения усилия, в этом случае может являться общим для манометрического элемента, служащего в качестве блока 122 формирования тактильных ощущений.

Блок 122 формирования тактильных ощущений не ограничивается блоком, который формирует вибрацию посредством манометрического элемента. В качестве другого примера, блок 122 формирования тактильных ощущений может формировать электрическое тактильное ощущение. Например, блок 122 формирования тактильных ощущений имеет панель с проводящим слоем и панель с изоляционным материалом. В способе, аналогичном сенсорной панели 120, панель с проводящим слоем и панель с изоляционным материалом накладываются на устройство 105 отображения для формирования плоской формы. Когда пользователь касается панели с изоляционным материалом, положительные заряды поступают в панель с изоляционным материалом. То есть посредством поступления положительных зарядов в панель с изоляционным материалом блок 122 формирования тактильных ощущений может формировать тактильное ощущение в виде электрического стимула. Блок 122 формирования тактильных ощущений может обеспечить такое ощущение (тактильное ощущение), при котором кожа пользователя отталкивается посредством электростатической силы к пользователю.

В качестве другого примера, блок 122 формирования тактильных ощущений может иметь такую панель с проводящим слоем, на которой вне зависимости от того, поступили ли положительные заряды, может быть выбрана любая позиция. Процессор 101 CPU управляет позицией зарядки положительных зарядов. Таким образом, блок 122 формирования тактильных ощущений может обеспечить пользователю различные тактильные ощущения, такие как, например, «ощущение шероховатости», «ощущение зернистости», «ощущение порошкообразного покрытия» и т.п.

Блок 123 формирования вибраций, который также может называться блоком формирования тактильных ощущений совместно с блоком 122 формирования тактильных ощущений, формирует тактильное ощущение посредством возбуждения вибрации всего электронного устройства 100. Блок 123 формирования вибраций имеет, например, эксцентричный двигатель и т.п. и реализует общеизвестную функцию вибрации и т.п. Таким образом, посредством вибрации, которая формируется посредством блока 123 формирования вибраций, электронное устройство 100 может обеспечить тактильное ощущение руке и т.п. пользователя, который держит электронное устройство 100.

В случае ввода команды стирания (процесс редактирования) по отношению к графическому объекту, отображаемому на устройстве 105 отображения, посредством операции касания сенсорной панели 120 электронное устройство 100 согласно варианту осуществления выполняет процесс управления тактильными ощущениями для обеспечения тактильного ощущения пальцу и т.п. пользователя, который осуществляет сенсорный ввод. Начертание и стирание (процесс редактирования) графического объекта реализуется посредством функции рисования, при этом объект, начерченный посредством функции рисования, называется графическим объектом. Графический объект является объектом, отображающим изображение, символ и т.п. Функция рисования будет описана ниже. Функция рисования является функцией для приема варианта выбора типа и цвет пера от пользователя и для начертания изображения.

Фиг. 2 изображает графическое представление, демонстрирующее пример экранного изображения подсказки, которое отображается на устройстве 105 отображения, когда выполняется функция рисования. Как изображено на Фиг. 2, пиктограмма 201, изображающая карандаш, пиктограмма 202, изображающая мелок, пиктограмма 203, изображающая кисть, пиктограмма 204, изображающая стирательную резинку, и холст 209 отображаются на устройстве 105 отображения. Пользователь может выбрать тип пера посредством касания желаемой пиктограммы из пиктограмм 201 - 203. Предположим, что в качестве типов пера может быть задан карандаш, мелок, кисть и т.п. Тип вычерчиваемой линии отличается в зависимости от типа пера. То есть тип пера является примером типа линии.

Когда пользователь касается холста 209 в состоянии, когда был выбран тип пера, процессор 101 CPU чертит (процесс редактирования) линию выбранного типа пера в позиции на устройстве 105 отображения в соответствии с позицией касания, в которой осуществляется сенсорный ввод. Когда пользователь касается холста 209 после того, как он коснулся пиктограммы стирательной резинки, процессор 101 CPU стирает (процесс редактирования) линию (графический объект), начерченную в позиции, на устройстве 105 отображения, соответствующей позиции касания на сенсорной панели 120. Графический объект, начерченный в позиции на устройстве отображения, соответствующей позиции касания, попросту называется графическим объектом, начерченным в позиции касания.

Палитры 205-208, которые используются для выбора цвета, и пиктограмма 210, изображающая фильтр размытия, отображаются на устройстве 105 отображения. Когда пользователь касается палитры цвета, который он желает использовать, процессор 101 CPU изменяет цвет в момент начертания линии с использованием цвета выбранной палитры. Когда пользователь касается холста 209 после того, как он коснулся пиктограммы фильтра размытия, процессор 101 CPU выполняет такой процесс фильтрации, при котором линия, начерченная в позиции касания, размывается.

Процессор 101 CPU сохраняет рукописные данные, отображающие графический объект, сформированный посредством функции рисования, в памяти 102. Рукописные данные имеют информацию о типе пера и цвете для каждого пикселя, входящего в состав холста 209. Информация о цвете выражается в виде комбинации трех цветов R, G и B, а интенсивность цвета изображается посредством диапазона от 0 до 255 для каждого цвета.

Теперь предположим, что верхний левый угол холста 209 задается в качестве исходного, вертикальное направление задается в качестве оси X, а горизонтальное направление задается в качестве оси Y. Посредством указания координаты на оси X и координаты (пикселя) на оси Y процессор 101 CPU может получать доступ к произвольным рукописным данным на холсте 209. В случае отсутствия рукописных данных в указанной координатной позиции информация о типе пера и цвете в указанной координатной позиции не сохраняется в памяти 102. В случае наличия рукописных данных в указанной координатной позиции информация о типе пера и цвете для указанных координат сохраняется в памяти 102.

В случае выбора пиктограммы стирательной резинки и использования функции стирания процессор 101 CPU стирает (процесс редактирования) линию (графический объект), начерченную в координатах позиции касания. Точнее говоря, пикселю в позиции касания процессор 101 CPU задает (процесс редактирования) пиксельное значение цвета, указанного в качестве цвета фона, вместо пиксельного значения графического объекта, посредством чего графический объект стирается.

Фиг. 3 изображает графическое представление алгоритма, демонстрирующее процесс управления тактильными ощущениями, выполняемый посредством электронного устройства 100 в варианте осуществления. Процесс управления тактильными ощущениями выполняется в случае выбора пиктограммы 204 стирательной резинки в функции рисования. Процесс управления тактильными ощущениями повторно выполняется в течение периода времени, в ходе которого сохраняется состояние, в котором выбрана пиктограмма 204 стирательной резинки. Процесс управления тактильными ощущениями завершается по отмене выбора пиктограммы 204 стирательной резинки. Процесс управления тактильными ощущениями реализуется посредством способа, согласно которому процессор 101 CPU считывает и выполняет программу, сохраненную в памяти 102 или энергонезависимой памяти 103.

На этапе S301 процессор 101 CPU распознает, был ли осуществлен жест касания сенсорной панели 120. Если был обнаружен жест касания (положительный результат определения, выполняемого на этапе S301), то процессор 101 CPU переводит процесс обработки на этап S302. Если жест касания обнаружен не был (отрицательный результат определения, выполняемого на этапе S301), то процессор 101 CPU завершает процесс управления тактильными ощущениями.

На этапе S302 процессор 101 CPU определяет информацию координат (далее в настоящем документе будет называться координатами касания) позиции касания панели. Затем, на этапе S303, процессор 101 CPU распознает, существует ли графический объект в позиции на устройстве 105 отображения, в соответствии с координатами касания, определенными на этапе S302.

Если графический объект существует (положительный результат определения, выполняемого на этапе S303), то процессор CPU переводит процесс обработки на этап S304. Если графический объект отсутствует (отрицательный результат определения, выполняемого на этапе S303), то процессор 101 CPU переводит процесс обработки на этап S307.

На этапе S304 процессор 101 CPU стирает графический объект, начерченный в позиции касания (процесс стирания). Затем, на этапе S305, процессор 101 CPU, который также функционирует в качестве блока определения интенсивности тактильных ощущений, добавляет «1» к значению интенсивности тактильного ощущения, чтобы повысить интенсивность тактильного ощущения, которое обеспечивается пользователю. Интенсивность тактильного ощущения является информацией, отображающей интенсивность стимула (тактильного ощущения), который формируется посредством блока 122 формирования тактильных ощущений и может быть воспринят пользователем. Предположим, что интенсивность тактильного ощущения была сохранена в памяти 102. Чем больше интенсивность тактильного ощущения, тем сильнее стимул (тактильное ощущение), который обеспечивается пользователю. На основании интенсивности тактильного ощущения, сохраненной в памяти 102, процессор 101 CPU управляет по меньшей мере одним из амплитуды и частоты пьезоэлектрического элемента, служащего в качестве блока 122 формирования тактильных ощущений. Таким образом, блок 122 формирования тактильных ощущений может формировать стимул (тактильное ощущение) с разной интенсивностью тактильного ощущения.

Затем на этапе S306 процессор 101 CPU управляет блоком 122 формирования тактильных ощущений таким образом, чтобы обеспечить тактильное ощущение с интенсивностью тактильного ощущения, заданной в памяти (процесс управления). Под управлением процессора 101 CPU в позиции касания блок 122 формирования тактильных ощущений формирует вибрацию, соответствующую интенсивности тактильного ощущения, заданной в памяти 102. То есть блок 122 формирования тактильных ощущений обеспечивает стимул (тактильное ощущение) пальцу и т.п., служащему в качестве операционного средства, через сенсорную панель 120, служащую в качестве экранного изображения для ввода данных (процесс формирования тактильных ощущений). В качестве другого примера, процессор 101 CPU может выполнять процесс обработки, выполняемый на этапе S304, после завершения процессов обработки, выполняемых на этапах S305 и S306.

На этапе S307 процессор 101 CPU возвращает значение интенсивности тактильного ощущения в исходное значение «0». Таким образом, интенсивность тактильного ощущения изменяется, чтобы минимизировать тактильное ощущение, которое обеспечивается пользователю. На этапе S308 процессор 101 CPU распознает, был ли осуществлен жест прерывания касания сенсорной панели 120. Если был обнаружен жест прерывания касания (положительный результат определения, выполняемого на этапе S308), то процессор 101 CPU переводит процесс обработки на этап S310. Если жест прерывания касания обнаружен не был (отрицательный результат определения, выполняемого на этапе S308), то процессор 101 CPU переводит процесс обработки на этап S309. Случай, в котором жест прерывания касания не был обнаружен, указывает на случай, в котором сохраняется состояние касания.

На этапе S309 процессор 101 CPU распознает, был ли осуществлен жест перемещения по сенсорной панели 120. Если был обнаружен жест перемещения (положительный результат определения, выполняемого на этапе S309), то процессор 101 CPU переводит процесс обработки на этап S302. То есть процессор 101 CPU продолжает процесс управления тактильными ощущениями. Если жест перемещения обнаружен не был (отрицательный результат определения, выполняемого на этапе S309), то процессор 101 CPU переводит процесс обработки на этап S308. То есть процессор 101 CPU ожидает обнаружение жеста прерывания касания или жеста перемещения. На этапе S310 процессор 101 CPU возвращает значение интенсивности тактильного ощущения в исходное значение «0». Процесс обработки, выполняемый на этапе S310, является процессом возврата к исходным параметрам настройки в отношении удаления пальца пользователя с сенсорной панели 120 в качестве завершения операции стирания. Таким способом выполняется процесс управления тактильными ощущениями.

Как было упомянуто выше, когда графический объект стирается, электронное устройство 100 согласно первому варианту осуществления формирует тактильное ощущение. Таким образом, электронное устройство 100 может обеспечить пользователю возможность интуитивного распознания факта осуществления стирания, а также возможность распознания позиции, в которой было осуществлено стирание. То есть электронное устройство 100 может обеспечить такой механизм, чтобы пользователь мог удостовериться, был ли завершен процесс обработки, соответствующий выполняемой операции.

Кроме того, в повторяющихся процессах обработки, выполняемых на этапах S303 - S309, при каждом обнаружении жеста перемещения интенсивность тактильного ощущения увеличивается на «1». То есть процессор 101 CPU определяет интенсивность тактильного ощущения на основании области (длины линии) осуществления сенсорного ввода. Процессы обработки, выполняемые на этапах S305, S307 и S310, изображаются в качестве примера процесса определения интенсивности тактильного ощущения.

Чем больше объект, служащий в качестве цели стирания, или чем толще линия, служащая в качестве цели стирания, тем больше область сенсорного ввода для стирания. В то же время, чем больше область осуществления сенсорного ввода, тем больше электронное устройство 100 согласно варианту осуществления повышает интенсивность тактильного ощущения. Таким образом, по мере расширения области цели стирания пользователь может получать более сильное тактильное ощущение. В результате электронное устройство 100 согласно варианту осуществления может обеспечить пользователю возможность интуитивного распознания стираемого участка.

В качестве первой модификации первого варианта осуществления процессор 101 CPU может стирать графический объект посредством изменения (процесс редактирования) цвета графического объекта в позиции касания на прозрачный цвет. Например, предположим, что функция рисования имеет функцию, которая может редактировать изображение на множестве отображаемых слоев. В этом случае, поскольку графический объект изменяется на прозрачный цвет, изображение на нижнем отображаемом слое отображается в позиции касания. Если нижний отображаемый слой отсутствует, поскольку графический объект изменяется на прозрачный цвет, то пользовательский интерфейс UI, такой как, например, сенсорные кнопки, меню и т.п., отображается в позиции касания сквозным образом.

В качестве второй модификации на этапе S306 процессор 101 CPU может управлять блоком 123 формирования вибраций вместо блока 122 формирования тактильных ощущений. Точнее говоря, интенсивность тактильного ощущения блока 123 формирования вибраций сохраняется в памяти 102. На этапе S305 процессор 101 CPU добавляет «1» к значению интенсивности тактильного ощущения блока 123 формирования вибраций. На этапе S306 процессор 101 CPU управляет блоком 123 формирования вибраций таким образом, чтобы обеспечить тактильное ощущение с интенсивностью тактильного ощущения, заданной в памяти 102.

В качестве третьей модификации достаточно того, чтобы рукописные данные, отображающие графический объект, являлись информацией, которая может выразить графический объект, и не ограничивается информацией, отображающей тип пера и цвет каждого набора координат. В качестве другого примера, рукописные данные могут являться информацией, имеющей информацию о форме и размерах чертежа, направлении вращения и позиции на изображении и т.п.

В качестве четвертой модификации сенсорная панель 120 может располагаться в позиции, удаленной от устройства 105 отображения. Также в этом случае позиция на сенсорной панели 120 и позиция на устройстве 105 отображения являются соответствующими друг другу. Процессор 101 CPU может принимать команды, вводимые в соответствующей позиции на устройстве 105 отображения, в соответствии с сенсорным вводом в каждой позиции на сенсорной панели 120.

ВТОРОЙ ВАРИАНТ ОСУЩЕСТВЛЕНИЯ

Далее будет описано электронное устройство 100 согласно второму варианту осуществления. В случае стирания графического объекта, начерченного посредством функции рисования, на основании типа пера графического объекта, служащего в качестве цели стирания, электронное устройство 100 согласно второму варианту осуществления управляет типом формируемого тактильного ощущения. Электронное устройство 100 согласно второму варианту осуществления будет описано ниже в отношении частей, отличных от электронного устройства, согласно первому варианту осуществления.

Фиг. 4 изображает графическое представление алгоритма, демонстрирующее процесс управления тактильными ощущениями, выполняемый посредством электронного устройства 100, согласно второму варианту осуществления. В числе процессов обработки в процессе управления тактильными ощущениями, изображенном на Фиг. 4, процессы обработки, аналогичные процессам обработки в процессе управления тактильными ощущениями, согласно первому варианту осуществления обозначаются одинаковыми ссылочными позициями.

На этапе S303 процессор 101 CPU распознает, существует ли графический объект в позиции касания. Если графический объект существует, то процессор 101 CPU переводит процесс обработки на этап S304. Если графический объект отсутствует, то процессор 101 CPU переводит процесс обработки на этап S308. После завершения процесса, выполняемого на этапе S304, процессор 101 CPU, который также функционирует в качестве блока задания типа, переводит процесс обработки на этап S401. На этапе S401 процессор 101 CPU задает тип пера (тип линии) графического объекта, начерченного в позиции касания (процесс задания типа). Точнее говоря, процессор 101 CPU задает тип пера, соответствующий координатам касания, полученным на этапе S302, в памяти 102.

Затем на этапе S402 процессор 101 CPU, который также функционирует в качестве блока определения типа, определяет тип тактильного ощущения, служащий в качестве типа объекта, на основании типа пера, определенного на этапе S401 (процесс определения типа). Точнее говоря, процессор 101 CPU определяет тип тактильного ощущения на основании таблицы соответствия для того, чтобы тип пера соответствовал типу тактильного ощущения. Фиг. 5 изображает графическое представление, демонстрирующее пример таблицы соответствия. В таблице 501 соответствия, изображенной на Фиг. 5, тип тактильного ощущения «шероховатый» соответствует типу пера «карандаш». В таблице 501 соответствия тип тактильного ощущения «зернистый» соответствует типу пера «мелок», и тип тактильного ощущения «порошкообразный» соответствует типу пера «кисть».

Как изображено на Фиг. 4, после завершения процесса обработки, выполняемого на этапе S402, процессор 101 CPU переводит процесс обработки на этап S403. На этапе S403 процессор 101 CPU управляет блоком 122 формирования тактильных ощущений таким образом, чтобы обеспечить тактильное ощущение определенного типа тактильного ощущения (процесс управления). В то же время блок 122 формирования тактильных ощущений формирует тактильное ощущение (вибрацию) определенного типа тактильного ощущения (процесс формирования тактильных ощущений).

Затем на этапе S308, если был обнаружен жест прерывания касания (положительный результат определения, выполняемого на этапе S308), то процессор 101 CPU завершает процесс управления тактильными ощущениями. Если жест прерывания касания обнаружен не был (отрицательный результат определения, выполняемого на этапе S308), то процессор 101 CPU переводит процесс обработки на этап S309.

Другая конструкция и процессы обработки электронного устройства 100 согласно второму варианту осуществления являются аналогичными используемым в электронном устройстве 100 согласно первому варианту осуществления.

Как было упомянуто выше, электронное устройство 100 согласно второму варианту осуществления может изменять тип тактильного ощущения в соответствии с типом пера (типом линии). Таким образом, электронное устройство 100 может обеспечить пользователю возможность интуитивного распознания типа линии цели стирания.

В качестве модификации второго варианта осуществления тип графического объекта, определенный посредством процессора 101 CPU на этапе S401, не ограничивается типом пера. В качестве другого примера, процессор 101 CPU может определить по меньшей мере одно из оттенка, яркости и интенсивности графического объекта в качестве типа графического объекта. В этом случае процессор 101 CPU задает тип тактильного ощущения посредством обращения к таблице соответствия, в которой оттенок и т.п. соответствует типу тактильного ощущения.

Фиг. 6 изображает графическое представление, демонстрирующее пример таблицы соответствия, в соответствии с модификацией второго варианта осуществления. В таблице 601 соответствия, изображенной на Фиг. 6, тип тактильного ощущения «шероховатый» соответствует (R, G, B)=(0, 0, 0) (черному цвету). В таблице 601 соответствия тип тактильного ощущения «зернистый» соответствует (R, G, B)=(255, 0, 0) (красному цвету), и тип тактильного ощущения «порошкообразный» соответствует (R, G, B)=(0, 0, 255) (синему цвету).

В качестве другой модификации второго варианта осуществления процессор 101 CPU может вычислить интенсивность графического объекта, начерченного в позиции касания, а также может увеличить интенсивность тактильного ощущения по мере увеличения интенсивности.

ТРЕТИЙ ВАРИАНТ ОСУЩЕСТВЛЕНИЯ

Далее будет описано электронное устройство 100 согласно третьему варианту осуществления. В случае применения фильтра размытия к графическому объекту электронное устройство 100 согласно третьему варианту осуществления управляет интенсивностью тактильного ощущения на основании степени размытия. Электронное устройство 100 согласно третьему варианту осуществления будет описано ниже в отношении частей, отличных от электронных устройств в соответствии с другими вариантами осуществления.

Фиг. 7 изображает графическое представление алгоритма, демонстрирующее процесс управления тактильными ощущениями, выполняемый посредством электронного устройства 100, согласно третьему варианту осуществления. В числе процессов обработки в процессе управления тактильными ощущениями, изображенном на Фиг. 7, процессы обработки, аналогичные процессам обработки в процессе управления тактильными ощущениями, согласно первому варианту осуществления обозначаются одинаковыми ссылочными позициями.

На этапе S303 процессор 101 CPU распознает, существует ли графический объект в позиции касания. Если графический объект существует, то процессор 101 CPU переводит процесс обработки на этап S701. Если графический объект отсутствует, то процессор 101 CPU переводит процесс обработки на этап S308. На этапе S701 процессор 101 CPU сохраняет рукописные данные графического объекта, которые не подвергаются процессу размытия, в памяти 102. Рукописные данные используются для сравнения с рукописными данными графического объекта, полученными после процесса размытия.

Затем на этапе S702 процессор 101 CPU выполняет процесс размытия применительно к графическому объекту, существующему в позиции касания, а также к соседним графическим объектам. Предположим, что диапазон, служащий в качестве цели процесса размытия, был задан в качестве диапазона, в котором позиция касания задается в середине диапазона, подлежащего размытию.

Затем на этапе S703 процессор 101 CPU сравнивает графические объекты до и после процесса размытия, чтобы вычислить разность между ними. Точнее говоря, процессор 101 CPU вычисляет разность между информацией о цвете графических объектов до и после процесса размытия в отношении каждой компоненты R, G и B. Процессор 101 CPU выполняет такой процесс обработки в отношении всех координат в диапазоне, служащем в качестве цели процесса размытия, и вычисляет сумму результатов обработки в качестве разности. Разность изображается в качестве примера степени изменения между графическими объектами до и после процесса размытия (процесса редактирования) графического объекта.

Затем на этапе S704 процессор 101 CPU определяет интенсивность тактильного ощущения на основании разности, вычисленной на этапе S703 (процесс определения интенсивности тактильного ощущения). Точнее говоря, процессор 101 CPU увеличивает интенсивность тактильного ощущения по мере роста разности. Затем, на этапе S705, процессор 101 CPU управляет (процесс управления) блоком 122 формирования тактильных ощущений таким образом, чтобы обеспечить тактильное ощущение с интенсивностью тактильного ощущения, определенной на этапе S704. Под управлением процессора 101 CPU блок 122 формирования тактильных ощущений формирует вибрацию, соответствующую определенной интенсивности тактильного ощущения, благодаря чему тактильное ощущение обеспечивается операционному средству (процесс формирования тактильных ощущений).

Другая конструкция и процессы обработки электронного устройства 100 согласно третьему варианту осуществления являются аналогичными используемым в электронном устройстве 100 согласно другим вариантам осуществления.

Как было упомянуто выше, электронное устройство 100 согласно третьему варианту осуществления определяет интенсивность тактильного ощущения в соответствии со степенью изменения графических объектов до и после процесса размытия. Таким образом, электронное устройство 100 может обеспечить пользователю возможность интуитивного распознания степени изменения вследствие процесса размытия.

Как правило, если фильтр размытия многократно применяется к одному и тому же участку, то получаемый эффект с каждым разом ослабляется. В то же время электронное устройство 100 согласно варианту осуществления может обеспечить тактильное ощущение в соответствии со степенью изменения. Таким образом, пользователь может интуитивно распознать, является ли эффективным повторное применение фильтра размытия.

В качестве модификации третьего варианта осуществления процесс размытия может быть выполнен посредством блока 104 обработки изображений вместо процессора 101 CPU. В этом случае процессор 101 CPU предписывает процесс размытия блоку 104 обработки изображений. Блок 104 обработки изображений выполняет процесс размытия в ответ на команду процессора 101 CPU.

В качестве другой модификации третьего варианта осуществления в процессе редактирования, отличном от процесса размытия, электронное устройство 100 может управлять интенсивностью тактильного ощущения на основании степени изменения графических объектов до и после процесса редактирования.

При том что пример процесса размытия был описан в вышеупомянутом варианте осуществления в качестве процесса редактирования при выполнении операции для процессов редактирования других различных типов, таких как, например, процесс выделения контуров, процесс преобразования цвета и т.п., тип или интенсивность сформированного тактильного ощущения может изменяться в соответствии с характеристиками изображения, отображаемого на участке касания.

ДРУГИЕ ВАРИАНТЫ ОСУЩЕСТВЛЕНИЯ

Варианты осуществления настоящего изобретения также могут быть реализованы посредством компьютера в системе или устройстве, которое считывает и выполняет машиноисполняемые команды (например, одну или более программ), записанные на носителе (который в более полной форме также может называться «постоянным машиночитаемым носителем»), для осуществления функций одного или более вышеописанных вариантов осуществления и/или которое включает в себя одну или более схем (например, специализированную интегральную схему (ASIC)) для осуществления функций одного или более вышеописанных вариантов осуществления и посредством способа, осуществляемого посредством компьютера системы или устройства при помощи, например, считывания и выполнения машиноисполняемых команд с носителя для осуществления функций одного или более вышеописанных вариантов осуществления, и/или при помощи управления одной или более схемами для осуществления функций одного или более вышеописанных вариантов осуществления. Компьютер может содержать один или более процессоров (например, центральный процессор (CPU), микропроцессор (MPU)) и может включать в себя сеть отдельных компьютеров или отдельных процессоров для считывания и выполнения машиноисполняемых команд. Машиноисполняемые команды могут поступать на компьютер, например, из сети или с носителя. Носитель может включать в себя, например, один или более жестких дисков, блоков оперативной памяти (RAM), блоков постоянной памяти (ROM), хранилищ распределенных вычислительных систем, оптических дисков (таких как, например, компакт-диск (CD), цифровой универсальный диск (DVD) или диск Blu-ray (BD)™), устройств флэш-памяти, карт памяти и т.п.

При том что настоящее изобретение было описано в отношении его вариантов осуществления, следует понимать, что изобретение не ограничено раскрытыми вариантами осуществления. Также следует понимать, что настоящее изобретение было описано выше только в иллюстративных целях и что модификации его деталей могут быть выполнены в пределах объема настоящего изобретения.

Изобретение относится к обработке изображений. Технический результат – эффективная обработка изображений. Устройство обработки изображений, содержащее блок формирования тактильных ощущений, выполненный с возможностью формирования стимула, который может быть воспринят пользователем, касающимся участка блока ввода, причем блок ввода предусмотрен в блоке отображения для отображения графического объекта, и блок управления, выполненный с возможностью управления блоком формирования тактильных ощущений таким образом, чтобы формировать стимул, когда сенсорный ввод осуществляется в позиции, соответствующей графическому объекту, и выполняется процесс редактирования по отношению к графическому объекту, причем процесс редактирования является процессом стирания графического объекта, при этом блок управления выполнен с возможностью распознавания, существует ли графический объект в позиции, в которой осуществляется сенсорный ввод, и, если графический объект существует, стирания графического объекта и управления блоком формирования тактильных ощущений таким образом, чтобы формировать стимул. 3 н. и 14 з.п. ф-лы, 7 ил.

1. Устройство обработки изображений, содержащее:

блок формирования тактильных ощущений, выполненный с возможностью формирования стимула, который может быть воспринят пользователем, касающимся участка блока ввода, причем блок ввода предусмотрен в блоке отображения для отображения графического объекта; и

блок управления, выполненный с возможностью управления блоком формирования тактильных ощущений таким образом, чтобы формировать стимул, когда сенсорный ввод осуществляется в позиции, соответствующей графическому объекту, и выполняется процесс редактирования по отношению к графическому объекту,

причем процесс редактирования является процессом стирания графического объекта; и

при этом блок управления выполнен с возможностью распознавания, существует ли графический объект в позиции, в которой осуществляется сенсорный ввод, и, если графический объект существует, стирания графического объекта и управления блоком формирования тактильных ощущений таким образом, чтобы формировать стимул.

2. Устройство обработки изображений по п. 1, в котором блок управления выполнен с возможностью стирания графического объекта путем изменения цвета графического объекта в позиции, в которой осуществляется сенсорный ввод, на цвет фона.

3. Устройство обработки изображений по п. 1, в котором блок управления выполнен с возможностью стирания графического объекта путем изменения цвета графического объекта в позиции, в которой осуществляется сенсорный ввод, на прозрачный цвет.

4. Устройство обработки изображений по любому из пп. 1-3, дополнительно содержащее блок определения интенсивности тактильного ощущения, выполненный с возможностью определения интенсивности тактильного ощущения, указывающей интенсивность стимула, на основании области осуществления сенсорного ввода, и

при этом блок управления выполнен с возможностью управления блоком формирования тактильных ощущений таким образом, чтобы обеспечить тактильное ощущение с интенсивностью тактильного ощущения, определенной блоком определения интенсивности тактильного ощущения.

5. Устройство обработки изображений по п. 1, дополнительно содержащее

блок задания типа, выполненный с возможностью задания типа графического объекта, начерченного в позиции, в которой осуществляется сенсорный ввод, и

блок определения типа, выполненный с возможностью определения типа стимула на основании типа, заданного посредством блока задания типа, и

при этом блок управления выполнен с возможностью управления блоком формирования тактильных ощущений таким образом, чтобы обеспечить стимул типа, определенного посредством блока определения типа.

6. Устройство обработки изображений по п. 5, в котором блок задания типа выполнен с возможностью задания типа линии графического объекта в качестве типа графического объекта.

7. Устройство обработки изображений по п. 5, в котором блок задания типа выполнен с возможностью задания по меньшей мере одного из оттенка, яркости и интенсивности графического объекта в качестве типа графического объекта.

8. Устройство обработки изображений по п. 1, дополнительно содержащее блок определения интенсивности тактильного ощущения, выполненный с возможностью определения интенсивности тактильного ощущения, указывающей интенсивность стимула, на основании степени изменения графических объектов до и после процесса редактирования, и

при этом блок управления выполнен с возможностью управления блоком формирования тактильных ощущений таким образом, чтобы обеспечить тактильное ощущение с интенсивностью тактильного ощущения, определенной блоком определения интенсивности тактильного ощущения.

9. Способ управления тактильными ощущениями, который выполняется устройством обработки изображений, содержащий:

этап формирования тактильных ощущений, на котором формируют стимул, который может быть воспринят пользователем, касающимся участка блока ввода, причем блок ввода предусмотрен в соответствии с блоком отображения для отображения графического объекта; и

этап управления, на котором управляют этапом формирования тактильных ощущений таким образом, чтобы формировать стимул, когда сенсорный ввод осуществляется в позиции, соответствующей графическому объекту, и выполняется процесс редактирования по отношению к графическому объекту,

причем процесс редактирования является процессом стирания графического объекта; и

при этом этап управления включает в себя этап, на котором распознают, существует ли графический объект в позиции, в которой осуществляется сенсорный ввод, и, если графический объект существует, стирают графический объект и управляют блоком формирования тактильных ощущений таким образом, чтобы формировать стимул.

10. Способ управления тактильными ощущениями по п. 9, в котором этап управления включает в себя этап, на котором стирают графический объект путем изменения цвета графического объекта в позиции, в которой осуществляется сенсорный ввод, на цвет фона.

11. Способ управления тактильными ощущениями по п. 9, в котором этап управления включает в себя этап, на котором стирают графический объект путем изменения цвета графического объекта в позиции, в которой осуществляется сенсорный ввод, на прозрачный цвет.

12. Способ управления тактильными ощущениями по любому из пп. 9-11, дополнительно содержащий этап определения интенсивности тактильного ощущения, на котором определяют интенсивность тактильного ощущения, указывающую на интенсивность стимула, на основании области осуществления сенсорного ввода, и

при этом этап управления включает в себя этап, на котором управляют этапом формирования тактильных ощущений таким образом, чтобы обеспечить тактильное ощущение с интенсивностью тактильного ощущения, определенной на этапе определения интенсивности тактильного ощущения.

13. Способ управления тактильными ощущениями по п. 9, дополнительно содержащий:

этап задания типа графического объекта, на котором задают тип графического объекта, начерченного в позиции, в которой осуществляется сенсорный ввод, и

этап определения типа стимула, на котором определяют тип стимула на основании типа, заданного посредством блока задания типа, и

при этом этап управления включает в себя этап, на котором управляют блоком формирования тактильных ощущений таким образом, чтобы обеспечить стимул типа, определенного на этапе определения типа стимула.

14. Способ управления тактильными ощущениями по п. 13, в котором этап задания типа графического объекта включает в себя этап, на котором задают тип линии графического объекта в качестве типа графического объекта.

15. Способ управления тактильными ощущениями по п. 13, в котором этап задания типа графического объекта включает в себя этап, на котором задают по меньшей мере одно из оттенка, яркости и интенсивности графического объекта в качестве типа графического объекта.

16. Способ управления тактильными ощущениями по п. 9, дополнительно содержащий этап определения интенсивности тактильного ощущения, на котором определяют интенсивность тактильного ощущения, указывающую интенсивность стимула, на основании степени изменения графических объектов до и после процесса редактирования, и

при этом этап управления включает в себя этап, на котором управляют блоком формирования тактильных ощущений таким образом, чтобы обеспечить тактильное ощущение с интенсивностью тактильного ощущения, определенной на этапе определения интенсивности тактильного ощущения.

17. Машиночитаемый носитель, сохраняющий программу, которая при выполнении на устройстве побуждает устройство выполнять способ по п. 9.