СПОСОБ ПРЕОБРАЗОВАНИЯ ИЗОБРАЖЕНИЯ В ЗВУКОВОЙ ОБРАЗ Российский патент 2018 года по МПК G09B21/00 

Изобретение относится к способам преобразования визуальной информации в другие виды с целью ее восприятия инвалидами по зрению (слепыми) или людьми с ослабленным зрением. В настоящем изобретении предлагается преобразование зрительной информации в звуковую форму (воспринимаемую слухом). После обучения восприятию мобильная система на базе данного изобретения должна заменить слепому зрение.

Помимо выше описанного основного применения данное изобретение должно также помочь зрячим людям облегчить задачу визуального мониторинга в таких приложениях, как видеонаблюдение, охрана объектов или восприятие дополнительных видов (например, восприятие водителем автомобиля изображения с камеры заднего вида, не отвлекаясь от основного вида спереди).

Существуют различные способы представления визуальной информации в звуковом виде. Например, способ формирования акустического образа [патент Российской Федерации 2119785, 1998.10.10] требует сложной четырехкомпонентной системы источников аудиосигнала, которая не сможет применяться в мобильном устройстве.

Метод и система для получения аудио образа из графических данных [европейский патент EP 1369839, 2003.12.10] позволяют создать аудиообразы для небольших по размеру изображений, например символов. Однако этот метод в настоящее время не актуален в связи с наличием систем прямого преобразования TTS (text-to-speech = текст-в-речь), которые способны озвучивать символьную информацию после распознавания текста с помощью компьютерной программы, а для представления произвольного изображения данный метод непригоден из-за ограниченной разрешающей способности.

В изобретении [патент Японии JP 2004020869, 2004.01.22] используется панорамная камера (all azimuth imaging apparatus), позволяющая получить звуковой сигнал о том, что данное место вам знакомо.

Способ представления видеоинформации [патент РФ 2223552, 2004.02.10] предназначен для представления цветных изображений в виде комбинации массива выпуклых и плоских точек (тактильное восприятие) и звуковых сигналов (восприятие слухом). Данный способ дает невысокую разрешающую способность и требует довольно большого времени на «ощупывание» изображения.

Устройство идентификации цвета [патент WO 2005085781, 2005.09.15] выделяет лишь один цвет в изображении, и этот цвет преобразует в звуковой сигнал. По этому звуковому сигналу человеком распознается цвет. Очевидно, что данное устройство дает слишком мало информации для ориентации слепому.

Наиболее близким аналогом (прототипом) настоящего изобретения является метод и устройство для визуализации изображений с помощью звука [патент США US 6963656, 2005.11.08]. Данный метод предполагает шифрование пространственной информации в форму полифонической музыкальной последовательности. Ввиду недостаточной разрешающей способности данного метода предполагается разбиение изображения на части с выделением некоторых признаков, которые кодируются по частям.

Недостатком прототипа является то, что этот метод не является универсальным ввиду бесконечного разнообразия возможного разбиения произвольного изображения на отдельные части.

Для последующего рассмотрения настоящего изобретения определим понимание следующих терминов.

Цифровое растровое изображение – совокупность числовых элементов (пикселей, см. ниже), которые с определенной точностью и масштабом представляют некоторое изображение, являющееся или прямым, или косвенным (например, через фантазию художника) отражением материального мира. Эти числовые элементы могут обрабатываться в микропроцессорных системах, таких как компьютер, мобильный телефон, цифровая фото- или видеокамера. Для удобства обработки эта совокупность числовых элементов представляется в виде двумерного массива, так что отдельный элемент изображения имеет два индекса, определяющих координату местоположения данного элемента в прямоугольной области, ограничивающей изображение.

Пиксель (англ. Pixel = Picture Element) – «наименьший элемент поверхности визуализации, которому может быть независимым образом заданы цвет, интенсивность и другие характеристики изображения» (ГОСТ 27459-87). Размер пикселя определяет масштаб изображения, который для цели представления в звуковом виде не является существенным. Поэтому далее в описании будем подразумевать, что каждый отдельный пиксель как элемент изображения характеризуется только цветом и интенсивностью (яркостью).

Итак, информация, воспринимаемая зрением, может быть преобразована в форму цифрового растрового изображения с помощью сканера, фото- или видеокамеры. Полученные цифровые данные с помощью обработки могут быть тем или иным способом преобразованы в форму звуковых колебаний, которые при воспроизведении воспринимаются как звуковые (акустические) образы.

Сущность настоящего изобретения состоит в том, что двумерный массив данных (яркость и цвет для каждого пикселя) растрового изображения с помощью спиралеобразной развертки (начиная из центра изображения к его периферии) представляется в виде одномерного массива, который служит основой для синтеза цифрового массива данных звуковой волны. При этом данные яркости пикселей формируют текущую амплитуду (огибающую) звуковой волны, а данные цветности пикселей формируют величину текущей частоты колебания звуковой волны. Для монохромного изображения звуковой сигнал будет однотонным (сигнал будет меняться только по амплитуде).

Для того чтобы было ясно, какую часть спирали отображает в данный момент звуковой сигнал, после каждого пол-оборота спирали в звуковую последовательность сигналов вставлен один из двух сигналов-разделителей, имеющих частоты ниже и выше всех возможных частот, кодирующих цвета изображения. Например, если спираль начинается с верхнего пикселя начального оборота спирали, то после каждого нечетного пол-оборота вставлен низкочастотный разделитель (в нижней точки спирали), а после каждого четного пол-оборота вставлен высокочастотный разделитель (в верхней точки спирали).

В случае больших изображений (с большим числом пикселей) для получения приемлемой длины звуковой волны изображение на периферии «загрубляется», т.е. данные пикселей объединяются и усредняются. В результате один «виртуальный» пиксель заменяет несколько исходных. Например, четыре расположенные рядом пикселя (квадратом 2х2) заменяются одним эквивалентным пикселем, у которого цвет будет соответствовать частоте, равной среднеарифметическому от частот цвета четырех исходных пикселей, и яркость эквивалентного пикселя будет равна среднеарифметическому значению яркости четырех исходных пикселей. По мере удаления от начальной точки спирали число объединяемых пикселей возрастает. Например, сначала некоторое число оборотов спирали кодирование производится без объединения пикселей, затем несколько оборотов спирали с объединением и усреднением по 4 (2х2) рядом расположенных пикселей, захватывая в 2 раза более широкую полосу пикселей, далее – некоторое число оборотов спирали с объединением и усреднением по 9 (3х3) рядом расположенных пикселей, потом несколько оборотов спирали с объединением и усреднением по 16 (4х4) соседних пикселей и т.д. Таким образом, время, необходимое для воспроизведения части звуковой волны, соответствующей одному обороту спирали на периферии изображения, покрывающему широкую площадь изображения, существенно уменьшается. При этом уменьшается разрешающая способность – информация от периферийных частей изображения представляется в обобщенном виде – так же, как человеческий глаз воспринимает информацию с периферийной части картины, когда взгляд сосредоточен в ее центре.

Центральная точка, с которой первоначально начинается спиралеобразная развертка изображения, служит аналогом «точки взгляда», т.е. места, куда сфокусированы глаза человека, когда он начинает осматривать картинку. Звуковая волна, сформированная на базе спиралеобразной развертки, начиная из некоторой начальной точки изображения, отличной от центральной, будет аналогом «перемещения взгляда» при осмотре картинки глазами. Перемещение начальной точки развертки из центра изображения в иную точку изображения, получение и воспроизведение соответствующих звуковых образов для слуха подобны последовательному осмотру изображения, когда глаза фокусируют взгляд последовательно на разные участки изображения. При этом область, непосредственно примыкающая к начальной точке, там, где объединения и усреднения данных пикселей еще нет, будет иметь наилучшее разрешение. Поэтому эта область будет основой формирования наиболее информативной части звуковой волны. Наличие указательного устройства в системе (мышь, тачпад, сенсорный экран) позволит слепому перемещать виртуальный «взгляд» и многократно формировать звуковые образы для одного и того же растрового изображения, воспринимая которые можно будет опознавать представленный на картинке образ.

На Фиг.1 представлен принцип спиралеобразной развертки данных растрового изображения в одномерный массив для кодирования с целью получения сигнала звуковой волны и варианты его осуществления.

На Фиг.2 представлен принцип кодирования данных пикселей с помощью набора звуковых волн для монохромного и цветного изображения. Для варианта цветного изображения показана вставка разделительных сигналов.

На Фиг.3 представлено объединение пикселей с загрублением разрешающей способности по мере удаления развертки от начальной точки спирали к периферийным участкам изображения для быстрого охвата всего изображения.

На Фиг.4 представлено последовательное формирование нескольких звуковых сигналов для одного растрового изображения посредством изменения начальной точки спиралеобразной развертки для лучшего распознавания образов, присутствующих на изображении.

Реализация изобретения не представляет технических проблем. В качестве источника растрового изображения может использоваться цифровой фотоаппарат или цифровая видеокамера, камера мобильного телефона, web-камера ноутбука, планшета или стационарного компьютера.

Преобразование видеоданных в звуковые данные согласно настоящему способу осуществляется универсальным способом, не зависящим от того, что представлено на изображении. Такое преобразование не связано с распознаванием образов, и, следовательно, оно не потребует больших вычислительных ресурсов, сравнимых с потребностями искусственного интеллекта. Поэтому оно может осуществляться с помощью мобильной компьютерной или микропроцессорной системы в реальном времени. В качестве такой системы может использоваться, например, микропроцессорная система цифрового фотоаппарата, цифровой видеокамеры, мобильного телефона/смартфона, карманного/планшетного компьютера, ноутбука. Если нет требования мобильности, возможно использование и стационарного компьютера.

Практически для всех перечисленных устройств, кроме цифрового фотоаппарата, система воспроизведения звука и указательное устройство (мышь, трекбол, тачпад – сенсорная панель или сенсорный экран) являются стандартными элементами, входящими в комплектацию. Поэтому при наличии программы, реализующей вышеописанный способ преобразования изображения в звуковой образ, данные системы способны стать устройством, получающим технический результат согласно настоящему изобретению.

Изобретение относится к акустике, в частности к способам для преобразования зрительной информации в звуковую форму для ее восприятия слепыми. Способ преобразования цифрового растрового изображения в звуковой образ для произвольного статического изображения или отдельного кадра видеоизображения, представленного в цифровом виде как двумерная матрица пикселей, включает ввод цифровых данных массива пикселей изображения в оперативную память микропроцессорной системы, обработку с помощью микропроцессора, формирующую из данных изображения одномерный массив данных в цифровой форме, последующее воспроизведение полученного сигнала в виде звуковых колебаний с помощью аудиосистемы. При этом двумерный массив пикселей растрового изображения развертывается в одномерный массив пикселей по траектории раскручивающейся спирали из центра изображения к краю, на основе получившегося одномерного массива пикселей формируется массив цифровых данных звуковой волны, в которой амплитуда звуковой волны пропорциональна яркости пикселей, частота звуковой волны кодируется цветом пикселей. Технический результат – сокращение количества вычислительных ресурсов. 3 з.п. ф-лы, 4 ил.

1. Способ преобразования цифрового растрового изображения в звуковой образ для произвольного статического изображения или отдельного кадра видеоизображения, представленного в цифровом виде как двумерная матрица пикселей, включающий:

- ввод цифровых данных массива пикселей изображения в оперативную память микропроцессорной системы;

- обработку с помощью микропроцессора, формирующую из данных изображения одномерный массив данных в цифровой форме;

- последующее воспроизведение полученного сигнала в виде звуковых колебаний с помощью аудиосистемы,

отличающийся тем, что

- двумерный массив пикселей растрового изображения развертывается в одномерный массив пикселей по траектории раскручивающейся спирали из центра изображения к краю,

- на основе получившегося одномерного массива пикселей формируется массив цифровых данных звуковой волны, в которой

- амплитуда звуковой волны пропорциональна яркости пикселей,

- частота звуковой волны кодируется цветом пикселей.

2. Способ преобразования цифрового растрового изображения в звуковой образ по п. 1,

отличающийся тем, что

через каждые пол-оборота и каждый оборот спирали вставляются сигналы-разделители, частота которых больше и меньше значений частоты всех сигналов, которыми кодируются цвета пикселей.

3. Способ преобразования цифрового растрового изображения в звуковой образ по п. 1 или 2,

отличающийся тем, что

- на периферийной части траектории развертки данные яркости и цветности усредняются для нескольких рядом расположенных пикселей, так что одна точка аудиоданных амплитуды/частоты звуковой волны формируется на базе нескольких пикселей исходного изображения, и

- число объединяемых для усреднения пикселей увеличивается по мере удаления от точки начала развертки.

4. Способ преобразования цифрового растрового изображения в звуковой образ по п. 1 или 2,

отличающийся тем, что

- воспроизведение звуковой волны для одного и того же изображения может прерываться слушателем и повторяться несколько раз сначала,

- начало развертки с помощью указательного устройства смещается слушателем в любую точку изображения, отличную от предыдущей начальной точки, и для повторного воспроизведения формируется измененная звуковая волна с новой разверткой, начинающейся с указанной точки.