НЕПОЛНЫЕ ЭТАЛОНЫ Российский патент 2018 года по МПК G06K9/70 G06K9/46 G06T7/11 

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

[0001] Настоящее описание относится к устройству, системе, способу и компьютерному программному обеспечению в области обработки изображений, документов и текстов с помощью оптического распознавания символов.

УРОВЕНЬ ТЕХНИКИ

[0002] Системы оптического распознавания символов (OCR) используются для преобразования изображений или представлений бумажных документов, например файлов документов в формате Portable Document Format (PDF, переносимый формат документов), в машиночитаемые электронные файлы, допускающие возможность их редактирования и поиска на компьютере. Стандартная система оптического распознавания символов (OCR) включает в себя устройство отображения, генерирующее изображение документа, и установленное на компьютере программное обеспечение, которое обрабатывает изображения. Как правило, данное программное обеспечение включает в себя программу OCR, которая может распознавать знаки, буквы, символы, цифры и другие единицы и сохранять их в формате, допускающем возможность редактирования на компьютере, - в закодированном формате.

РАСКРЫТИЕ ИЗОБРЕТЕНИЯ

[0003] Один объект настоящего изобретения относится к способу распознавания символов на изображении, содержащем неполные эталоны. Способ включает в себя получение вычислительным устройством изображения, содержащего символы для распознавания, и анализ полученного изображения для обнаружения представляющей интерес области полученного изображения. Способ дополнительно включает в себя сравнение в полученной интересующей области первой части полученного изображения с набором эталонов для определения первого значения, отображающего точность совпадения, для каждого эталона в наборе эталонов и создание первой серии гипотез по меньшей мере на основе определенных первых значений, отображающих точность совпадения. Способ дополнительно включает в себя сравнение второй части полученного изображения с набором выбранных эталонов для определения значения, отображающего точность совпадения, для каждого эталона во втором наборе выбранных эталонов, где второй набор выбранных эталонов выбирают по меньшей мере на основе значения, отображающего точность совпадения, созданной первой серии гипотез и знания о последовательности символов, и создание второй серии гипотез. В некоторых вариантах реализации изобретения способ включает в себя преобразование полученного изображения в бинаризованное изображение и обрезание и/или изменение размера полученного изображения по границам пикселей в полученном изображении. Способ дополнительно включает в себя расчет значений для каждой гипотезы в созданной первой серии гипотез и созданной второй серии гипотез и присвоение показателей уверенности распознавания каждой гипотезе в созданной первой серии гипотез и созданной второй серии гипотез, где показатели уверенности распознавания по меньшей мере основаны на соответствующих определенных значениях, отображающих точность совпадения. Способ дополнительно включает в себя упорядочение созданной первой серии гипотез на основе показателей уверенности распознавания и упорядочение созданной второй серии гипотез на основе определенной последовательности символов. В некоторых вариантах осуществления изобретения набор выбранных эталонов выбирают на основе упорядочения каждой гипотезы в созданной первой серии гипотез.

[0004] Другой объект настоящего изобретения относится к системе распознавания символов на изображении, содержащем неполные эталоны. Система включает в себя устройство захвата изображений, выполненное с возможностью получения изображения, память, выполненную с возможностью хранения выполняемых процессором инструкций, и процессор, функционально соединенный с памятью. В некоторых вариантах осуществления изобретения процессор выполнен с возможностью анализа полученного изображения для обнаружения представляющей интерес области полученного изображения и сравнения в представляющей интерес области первой части полученного изображения с набором эталонов для определения первого значения, отображающего точность совпадения, для каждого эталона в наборе эталонов. Процессор дополнительно выполнен с возможностью создания первой серии гипотез. Процессор дополнительно выполнен с возможностью сравнения второй части полученного изображения с выбранными эталонами для определения значения, отображающего точность совпадения, для каждого эталона во втором наборе выбранных эталонов, где второй набор выбранных эталонов выбирают по меньшей мере на основе созданной первой серии гипотез, и создания второй серии гипотез распознавания.

[0005] В некоторых вариантах осуществления изобретения устройство захвата изображений соединено с процессором с возможностью сообщения. В некоторых вариантах осуществления процессор выполнен с возможностью преобразования полученного изображения в бинарное изображение. Процессор дополнительно выполнен с возможностью обрезки полученного изображения по границам пикселей полученного изображения. Процессор дополнительно выполнен с возможностью расчета значений для каждой гипотезы в созданной первой серии гипотез и созданной второй серии гипотез. Процессор дополнительно выполнен с возможностью присвоения показателей уверенности распознавания каждой гипотезе в созданной первой серии гипотез и созданной второй серии гипотез, где показатели уверенности распознавания, по меньшей мере, основаны на соответствующих определенных значениях, отображающих точность совпадения. Процессор дополнительно выполнен с возможностью упорядочить созданную первую серию гипотез на основе оценки уверенности распознавания и упорядочить созданную вторую серию гипотез на основе определенной последовательности символов.

[0006] Другой объект настоящего описания относится к машиночитаемому носителю данных с хранящимися в нем машиночитаемыми инструкциями, причем команды выполняются процессором компьютерной системы. Команды включают в себя команды для получения изображения, содержащего символы для распознавания, и команды для анализа полученного изображения для обнаружения представляющей интерес области полученного изображения. Команды дополнительно включают в себя команды для сравнения в обнаруженной представляющей интерес области первой части полученного изображения с набором эталонов для определения первого значения, отображающего точность совпадения, для каждого эталона в наборе эталонов и команды для создания первой серии гипотез, по меньшей мере, на основе определенных первых значений, отображающих точность совпадения. Команды дополнительно включают в себя команды для сравнения второй части полученного изображения с набором выбранных эталонов для определения значения, отображающего точность совпадения, для каждого эталона во втором наборе выбранных эталонов, где второй набор выбранных эталонов выбирают, по меньшей мере, на основе созданной первой серии гипотез, и команды для создания второй серии гипотез распознавания. В некоторых вариантах осуществления изобретения команды включают себя команды для расчета значений для каждой гипотезы в созданной первой серии гипотез и созданной второй серии гипотез. В некоторых вариантах реализации изобретения команды включают в себя команды для присвоения показателя уверенности распознавания каждой гипотезы в созданной первой серии гипотез и созданной второй серии гипотез, где показатели уверенности распознавания по меньшей мере основаны на соответствующих определенных значениях, отображающих точность совпадения. Команды дополнительно включают в себя команды для упорядочения созданной первой серии гипотез на основе показателя уверенности распознавания и упорядочения созданной второй серии гипотез на основе определенной последовательности символов.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0007] Вышеуказанные и другие объекты, аспекты, особенности и преимущества настоящего описания станут более очевидными и более понятными при ознакомлении со следующим описанием, представленным вместе с прилагаемыми чертежами, на которых:

[0008] Фиг.1 иллюстрирует примеры эталонов в соответствии с одним из вариантов реализации изобретения;

[0009] На Фиг.2 показана блок-схема варианта реализации способа распознавания фрагментов символов в полученном изображении;

[0010] Фиг.3 иллюстрирует примеры приборов барабанного типа в соответствии с одним из вариантов реализации изобретения;

[0011] Фиг.4 иллюстрирует пример анализируемого изображения, в котором цифры отображены лишь частично;

[0012] Фиг.5 иллюстрирует пример наложения эталонов на полученное изображение в соответствии с одним из вариантов реализации данного изобретения; и

[0013] Фиг.6 иллюстрирует пример электронного устройства, которое может быть использовано для обработки полученных изображений в соответствии с одним из вариантов реализации данного изобретения.

ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ

[0014] В следующем описании, в целях пояснения, многочисленные конкретные детали приведены для того, чтобы обеспечить полное понимание настоящего изобретения. Однако специалисту в данной области будет очевидно, что настоящее изобретение можно использовать без данных конкретных деталей. Иными словами, конструкции и устройства продемонстрированы только в виде блок-схемы во избежание затруднения понимания настоящего изобретения.

[0015] Упоминание в данном описании фразы «один из способов реализации» или «способ реализации» означает, что определенная особенность, структура или характеристика, описанная в связи с реализацией, включена в состав по меньшей мере одного способа реализации изобретения. Появление фразы «в одном из способов реализации» в различных местах описания необязательно обозначает один и тот же способ реализации или же отдельные или альтернативные способы реализации, взаимоисключающие другие способы реализации. Более того, различные особенности, описанные в настоящем документе, могут проявляться в одних способах реализации, но не проявляться в других способах реализации. Аналогичным образом различные требования, представленные в настоящем описании, могут относиться к некоторым способам реализации, но не относиться к другим способам реализации.

[0016] Одной из текущих проблем оптического распознавания символов (OCR), с которой приходится сталкиваться, является распознавание символов на изображении (или кадре видоискателя), которые отражены, отображены и/или представлены по какой-либо причине не полностью (например, изображение содержит только часть символа). Например, данная ситуация чаще всего возникает при распознавании изображений (кадров), содержащих показатели, полученные с приборов барабанного типа. В качестве примера такого рода прибора может быть приведен счетчик электроэнергии. Таким образом, возникает потребность в распознавании фрагментов символов или, другими словами, «разорванных символов» или неполных эталонов.

[0017] Настоящее описание, по существу, относится к способам и системам, которые включают в себя команды для устройства, операционной системы, микропрограммы и программного обеспечения, отвечающие за оптическое распознавание не полностью отображенных на изображении (или кадре) символов; другими словами, изображение содержит только фрагмент символа или фрагменты нескольких символов. По этой причине данную проблему невозможно решить с помощью стандартного способа распознавания, так как это приведет к большому количеству неправильно распознанных символов. В настоящем описании предлагается использование способа и устройства, представленных ниже.

[0018] Один из методов реализации способа распознавания фрагмента символа может включать в себя применение растрового классификатора. Принцип работы растрового классификатора основан на непосредственном сравнении изображения символа (т.е. графемы) с эталоном. При этом эталон может содержать любые знаки, включая буквы, цифры, иероглифы и т.п. Помимо использования растрового классификатора в способах и системах, представленных в настоящем описании, могут применяться другие известные классификаторы. Примеры эталонов для различных символов, которые можно распознать с помощью способов и систем, представлены на Фиг.1. Различные символы, представленные на Фиг.1, являются только примерами видов эталонов, которые могут использоваться для распознавания символов в полученном изображении.

[0019] Для распознавания символов, не полностью представленных на изображении, можно применять различные типы эталонов. В одном из способов реализации изобретения для распознавания символов, полностью представленных на изображении, можно использовать стандартный набор эталонов, поддерживающих функционирование системы оптического распознавания символов. Данный набор эталонов включает в себя эталоны для «целых» символов (букв, цифр и т.п.). Использование стандартного набора символов делает затруднительный процесс распознавания более эффективным, поскольку нет необходимости в создании эталонов во время стадии обучения классификатора, что значительно сокращает время выполнения алгоритма.

[0020] Эталоны символов могут быть получены одним из известных способов. Согласно основному варианту реализации изобретения могут быть использованы предварительно созданные эталоны символов. Однако в случае отсутствия такого набора эталонов эти эталоны могут быть получены на стадии обучения классификатора. Например, в одном варианте реализации изобретения может быть получено некоторое множество изображений соответствующего вида символа во время выполнения стадии обучения классификатора. Полученные изображения сжимаются и приводятся к некоему стандартному виду, в частности к изображению с размером 14×14 пикселей. После того как изображения сжаты, используется операция усреднения изображений для формирования эталона символа (цифры, буквы и т.д.) из исходного множества изображений символа. Данная процедура выполняется для каждого символа, в результате чего формируется набор эталонов, который затем будет использован для распознавания.

[0021] На Фиг.2 показана блок-схема способа идентификации символов на изображении, содержащем неполные эталоны. Способ может быть реализован на вычислительном устройстве (например, устройстве пользователя). В одном варианте реализации изобретения способ закодирован на машиночитаемом носителе, содержащем команды, которые при выполнении на вычислительном устройстве инициируют осуществление операций описываемого способа. Неполные эталоны, идентифицируемые при выполнении способа, представленного в настоящем описании, могут являться символами, не полностью представленными на изображении (или кадре), например на изображении, полученном на цифровым экране барабанного типа. Такие экраны зачастую используется во всевозможных механических приборах, важными элементами которых является вращающийся барабан с нанесенными на него цифрами и окно, в котором отображаются прокручивающиеся цифры. Наглядным примером описываемого прибора могут служить счетчики (например, электроэнергии), которые изображены на Фиг.3А-3В. Так как при считывании каких-либо показателей (например, потребления электроэнергии) барабан с цифрами прокручивается непрерывно, цифры на барабане также перемещаются непрерывно, и вследствие этого в окне могут быть отражены не полностью (как представлено на Фиг.3А-3В).

[0022] На Фиг.3 представлено несколько примеров приборов барабанного типа в соответствии с вариантом реализации изобретения. Более подробно, как проиллюстрировано на Фиг.3А, в окне 300 показаны часть цифры «4» и часть цифры «5». У пользователя не возникнет трудности определить, какие цифры отображаются в окне считывания показаний прибора. Однако с точки зрения автоматизированного процесса оптического распознавания символов при обработке изображений (или кадров) с числовыми (или буквенными) показаниями инструмента данная проблема является сложной, поскольку цифры на изображении отражены не полностью, на изображении показаны только их фрагменты. В то же время задача распознавания цифр, полностью представленных на изображении, например, как цифра «8» (302) на Фиг.3Б, не представляет собой сложную задачу и может быть осуществлена одним из известных способов оптического распознавания символов (OCR). В данном случае термин «кадр» может трактоваться как изображение, а термин «изображение» - как кадр.

[0023] Как представлено на Фиг.2, способ включает в себя получение изображения, содержащего символы для распознавания. На этапе 201 получено изображение (или кадр), содержащее символы для распознавания. Данное изображение (или кадр) может быть получено электронным устройством с помощью одного из известных способов. В некоторых способах реализации изобретения устройство захвата изображения может передавать изображение по беспроводному соединению на электронное устройство, в частности электронное устройство, показанное на Фиг.6. В других способах реализации изобретения устройство захвата изображения встроено в электронное устройство, в частности электронное устройство, показанное на Фиг.6. В некоторых способах реализации изображения устройство захвата изображения представляет собой камеру, встроенную в электронное устройство, которую можно использовать для получения изображения или видео, содержащего интересующий объект. В настоящем описании интересующий объект представляет собой текст или любые другие данные, содержащие символы. В некоторых вариантах реализации изобретения изображение может быть получено из памяти электронного устройства или из любых других доступных источников.

[0024] В некоторых вариантах реализации анализ изображения (кадра) может выполняться в режиме реального времени. Иными словами, настоящее изобретение может быть использовано для анализа кадра в видоискателе, выводимого, например, на экран электронного устройства. В данном случае отображение изображения в кадре видоискателя на экране устройства может возникать без (предварительной) записи видео- или фотоизображения. Анализ выполняется путем последовательного отслеживания кадров и распознавания отдельно выбранных из последовательности видео потока кадров.

[0025] Как показано на Фиг.2, на этапе 202 полученный кадр подвергается бинаризации при некотором подобранном субоптимальном пороговом значении. Для конвертации анализируемого кадра в бинаризованный кадр может быть применена инвертированная пороговая бинаризация. Для этого устанавливается некое субоптимальное пороговое значение th бинаризации. В некоторых вариантах реализации изобретения для установки субоптимального порогового значения th бинаризации может быть выполнен алгоритм или метод Оцу. В других вариантах реализации изобретения для установки субоптимального порогового значения th бинаризации используются, например, способы, описанные в заявке на патент США №12/269,789 «Способ и система для бинаризации изображения» и заявке на патент США №13/328,239 «Бинаризация изображения», содержание каждой из которых включено в настоящий документ путем ссылки. Пикселям, значение которых больше или равно пороговому значению th, присваивается значение 1, а пикселям, значение которых меньше порогового значения th, присваивается значение 0. Полученное изображение бинаризуется, т.е. каждый пиксель в кадре принимает одно из двух значений (0 или 1). Также можно использовать другие методы бинаризации. Предполагается, что сцена в видоискателе и условия съемки от кадра к кадру меняются незначительно, что позволяет подбирать субоптимальный параметр бинаризации для текущей серии кадров на основе ранее проанализированных кадров.

[0026] В некоторых вариантах реализации изобретения, на этапе 203 происходит анализ полученного изображения или кадра в рамках задачи анализа документов (Document Analysis). В ходе данного этапа на полученном бинаризованном изображении выявляется область или блок, который представляет непосредственный интерес для задачи распознавания символов. Данная область может быть выявлена на основе одного из известных способов анализа сложных сцен. Например, данный блок, содержащий цифры индикатора барабанного типа, отображаемые в окне (как показано на Фиг.3А (300) и на Фиг.4 (401-403)), может быть обнаружен на основе некоторых цветовых решений, заранее заданных признаков и т.д. На Фиг.4 показан пример анализируемого изображения, причем цифры видны лишь частично. После того как блок, содержащий цифры, которые необходимо распознать, обнаружен на бинаризованном изображении (в кадре), происходит поиск центра данного блока или, другими словами, поиск центральной линии пикселей (как показано на Фиг.4 пунктирной линией 404), относительно которой будет осуществлено наложение эталона на изображение.

[0027] Способ может дополнительно включать в себя обрезание полученного изображения. В обнаруженном окне (блоке) изображение (кадр) может быть обрезан по границам черных (или белых, в зависимости от параметров бинаризации) пикселей символов таким образом, чтобы обрезанное изображение содержало единственный ряд символов, расположенных, например, друг над другом (как показано на Фиг.5 (501)). На Фиг.5 показан пример наложения эталонов на полученное изображение в соответствии с вариантом реализации изобретения. Обрезанное изображение (как показано на Фиг.5 (501)) сжимается таким образом, чтобы его параметры (например, ширина) совпадали с параметрами (например, шириной) накладываемых эталонов. Например, как показано на Фиг.5, показатели 502,503, 504, 505 ширины совпадают: х₁=х₂=х₃=х₄.

[0028] В некоторых вариантах реализации изобретения, наложение эталона 204 происходит относительно центра блока. Для сравнения первого эталона с полученным изображением может быть наложен эталон, например (и без ограничений), путем наложения первого эталона на полученное изображение. В качестве центра может быть использована метка в виде стрелки или черты, которые могут присутствовать на изображении. Данная метка может быть обнаружена на этапе 203. Однако вышеупомянутая метка может отсутствовать на изображении. В этом случае наложение эталона может происходить относительно центральной линии, как показано на Фиг.4 (404).

[0029] На этапе 205 сравнение первой части полученного изображения с первым эталоном относительно обнаруженной интересующей области выполняется для определения значения, отображающего точность совпадения. В некоторых вариантах реализации изобретения первой частью полученного изображения может быть верхняя половина символов на полученном изображении. В верхней половине могут содержаться части символов над центральной линией интересующей области полученного изображения. В других вариантах реализации изобретения первой частью полученного изображения может быть нижняя половина символов на полученном изображении. В нижней половине могут содержаться символы под центральной линией. Наложение путем свертки различных эталонов на изображение позволяет рассчитывать точность, с которой эталоны совпадают с растровым изображением. В данном случае эталон накладывается на изображение путем сдвига эталона вверх и вниз относительно центра изображения (404) до достижения максимального совпадения между изображением и эталоном. В некоторых вариантах реализации изобретения указываются области допустимых сдвигов накладываемых эталонов, и определяется значение, определяющее точность совпадения для каждого из возможных сдвигов. Максимальное значение, определяющее точность совпадения, может быть выбрано на основе наибольшего уровня уверенности распознавания для каждого из возможных сдвигов. Одновременно выдвигается гипотеза H_i о том, что данный эталон i полностью совпадает с распознаваемым символом. При этом каждой гипотезе приписывается определенное весовое значение W_i или, другими словами, величина, отображающая точность совпадения изображения с i-м эталоном. В данном описании весовое значение может представлять собой показатель уверенности распознавания. До определенной степени показатель уверенности описывает уровень уверенности распознавания. Чем больше показатель уверенности (то есть весовое значение), тем выше доля совпадения изображения с эталоном.

[0030] В некоторых вариантах реализации изобретения весовое значение вычисляется только на основе анализа области пересечения эталона с изображением символа (графемы) или горизонтальной полосы, содержащей данную область пересечения. В стандартном способе распознавания «целых» символов начисляются штрафы, если существуют части символа (буквы/цифры), которые выходят за пределы области пересечения эталона с изображением. В данном изобретении эти штрафы могут не начисляться, т.к. наложение эталона происходит лишь на фрагмент символа - цифры или буквы и т.д. В соответствии с раскрытым изобретением будут существовать части эталона или изображения, которые могут выходить за пределы пересечения эталона с изображением фрагмента цифры.

[0031] Таким образом, во время процедуры наложения эталона на изображение формируется ряд гипотез H₁, …, H_i, …, H_n. В некоторых вариантах реализации изобретения данный список гипотез упорядочивается, в частности, по возрастанию по соответствующим весовым значениям W₁, …, W_i, …, W_n. Другими словами, верх списка гипотез возглавляют гипотезы с наибольшей уверенностью распознавания и/или показателем уверенности, то есть гипотезы с наибольшим весовым значением.

[0032] На этапе 206 выполняется сравнение второй части полученного изображения со вторым эталоном. Второй эталон может быть выбран по меньшей мере на основе созданной серии гипотез. В некоторых вариантах реализации изобретения второй частью полученного изображения может быть нижняя половина символов на полученном изображении. В нижней половине могут содержаться символы под центральной линией представляющей интерес области полученного изображения. В других вариантах реализации вторым эталоном полученного изображения может быть верхняя половина символов на полученном изображении. В верхней половине могут содержаться символы над центральной линией. После анализа верхней половины изображения символов (цифр) эталоны сопоставляются с нижней половиной изображения или, другими словами, частью под центральной линией представляющей интерес области. Во время данного этапа эталоны накладываются на основе информации относительно свойств последовательности датчика барабанного типа.

[0033] Другими словами, в соответствии с одним вариантом реализации изобретения, представленном в настоящем описании, основная особенность заключается в том, что цифры или символы на датчике барабанного типа отображаются в определенной последовательности. Данная последовательность может быть линейной, например цифры могут появляться в порядке возрастания: «0», «1», «2», «3», …, «9» или буквы могут появляться в алфавитном порядке, например для русского языка (кириллица): «А», «Б», …, «Я»; для английского языка (латиница): «А», «В», …, «Z», и т.п. Однако варианты реализации не ограничиваются конкретным видом последовательности, то есть последовательность может носить любой характер. Причем закономерность расположения символов в последовательности может быть заранее известна, как в счетчиках электроэнергии, либо эта закономерность может быть выявлена заранее в ходе обучения классификатора.

[0034] В некоторых вариантах реализации изобретения данные о виде последовательности символов может использоваться на этапе 206 для упорядочения пар эталонов, используемых при распознавании. Упорядочение эталонов позволяет существенно сократить временные затраты на выполнение алгоритма поиска «парного» эталона для символа. В настоящем описании «парными» эталонами мы можем называть те эталоны, которые согласно последовательности символов следуют друг за другом. Например, «парными» эталонами будут эталоны цифр «1» и «2», «2» и «3», «3» и «4» в последовательности «0», «1», «2», «3», …, «9».

[0035] Последовательность символов, установленную во время процесса обучения, можно использовать для создания соответствующего набора эталонов, расположенных по парам. В некоторых вариантах реализации изобретения соответствующий набор эталонов может быть использован для выбора второго эталона, используемого для сравнения на этапе 206. Таким образом, например, если установлено, что символы на приборе расположены в порядке возрастания «0», «1», «2», «3» …, «9», то набором эталонов могут быть последовательные пары эталонов, и, в частности, набор может включать в себя следующие упорядоченные пары эталонов: «0»-«1», «1»-«2», «2»-«3», «3»-«4», «4»-«5», «5»-«6», «6»-«7», «7»-«8», «8»-«9», «9»-«0». Или, если обнаружено, что символы в инструменте расположены в алфавитном порядке ''А'', ''В'', …, ''Z'', то набор может включать в себя следующие упорядоченные пары эталонов: ''А''-''В'', ''В''-''С'', ''С''-''D'', …, ''W''-''Z'', ''Z''-''A'' и т.п.

[0036] Как представлено на Фиг.2, после того как подходящий эталон для верхней части изображения (для верхнего символа на изображении) найден и известна последовательность расположения символов, будет известно, эталоны какой цифры следует подбирать для нижней части изображения. Однако так как результатом наложения эталонов на верхнюю часть изображения является некоторый список гипотез о соответствии изображения с некоторым набором эталонов H₁, …, H_i, …, H_n, упорядоченный по весовым значениям W₁, …, W_i, …, W_n, то входными данными для дальнейшего распознавания нижнего символа на изображении при помощи растрового классификатора является некоторое ограниченное множество эталонов .

[0037] Так, например, на основе распознавания верхней части изображения (верхнего символа) может быть сформирована гипотеза Н₂ о том, что эталон цифры «2» совпадает с изображением, причем гипотеза Н₂ имеет некоторое весовое значение W₂. Тогда на входе для этапа 206 распознавания нижней части изображения (нижнего символа) эталон цифры «3» будет проверен в первую очередь. То есть будет сформирована гипотеза о том, что эталон цифры «3» совпадает с изображением, с некоторым весовым значением .

[0038] Все гипотезы могут быть проверены на этапе 207. Наложение эталона на нижнюю часть изображения является своего рода проверкой гипотез H₁, …,H_i, …, H_n. Гипотезы могут быть подтверждены или отклонены на основе результатов распознавания символов для нижней части изображения. Таким образом, если гипотеза для эталона цифры «3» имеет наибольшее весовое значение , гипотеза подтверждается.

[0039] На этапе 209 в некоторых вариантах реализации изобретения при подтверждении гипотез символы и/или знаки в полученном изображении могут быть распознаны. Если гипотеза для выбранных эталонов имеет наибольшее весовое значение, в некоторых вариантах реализации изобретения гипотеза является правильной, и символы выбранных эталонов могут быть символами полученного изображения.

[0040] На этапе 208, если последовательность символов неизвестна, распознавание становится более сложной задачей. В некоторых вариантах реализации изобретения способ может включать в себя поиск методом полного перебора и проверку всех эталонов до тех пор, пока совпадение не будет найдено. Поиск методом полного перебора может включать в себя сравнение полученного изображения с эталонами из полного набора таким образом, что эталоны из полного набора эталонов накладываются на полученное изображение. Данный процесс может продолжаться до достижения максимального значения, отображающего точность совпадения, аналогично процессу, выполняемому на этапе 205.

[0041] Общее весовое значение для пары эталонов для верхней и нижней частей изображения может быть посчитано как сумма соответствующих весовых значений гипотез, например в виде W2+ для примера, рассмотренного выше.

[0042] Алгоритм распознавания неполных символов выполняется аналогично алгоритму, выполняемому на этапе 204. В некоторых вариантах реализации изобретения, алгоритм распознавания неполных символов начинается с нижней части изображения (нижнего символа). Соответственно распознавание верхней части изображения (верхнего символа) выполняется на этапах 206 и 208 соответственно. Таким образом, если наложение эталонов начинается снизу от центра изображения (404), то после того, как подходящий эталон найден для нижней части изображения (нижнего символа), то известно, эталоны какого символа следует подбирать для верхней части изображения.

[0043] Помимо стандартного набора эталонов может быть использован набор из эталонов для фрагментов символов. Однако множество эталонов для одного символа будет существенно больше, чем в стандартном наборе эталонов для «целых» символов. При этом увеличивается вероятность ошибочного распознавания.

[0044] В некоторых вариантах реализации изобретения для распознавания можно использовать растровые эталоны, содержащие пару символов. Эти эталоны характеризуются тем, что содержат символы, последовательно идущие друг за другом, т.е. расположенные друг под другом. Например, эталон может содержать два символа одновременно, например «5-6», «6-7», «7-8» и т.д. Данные эталоны содержат эталоны «целых» букв, то есть они не ''разорваны''. Данные эталоны составлены таким образом, что заранее известно расстояние между цифрами на барабане механического устройства, например на барабане счетчика электроэнергии. Обычно расстояние между цифрами фиксировано. Если это расстояние не является стандартным, то могут быть применены другие эталоны, которые могут быть скорректированы.

[0045] В некоторых вариантах реализации изобретения распознавание символов, которые представлены на изображении не полностью, а лишь фрагментарно, влечет за собой повышение точности считывания показаний прибора. В таких вариантах реализации изобретения возможно рассчитать значения не отображаемых в окне прибора самых младших разрядов числовых показаний. В частности, можно определить, что показание на индикаторе счетчика (или любого другого прибора барабанного типа) представляет собой не только значения 65 или 66 (Фиг.4), а, например, значения с точностью до второго или более порядка после запятой. Можно определить, что показание счетчика соответствует значению 65,5. То есть, зная, что цифры прокручиваются в порядке возрастания, можно извлечь дополнительную информацию путем определения, какой процент цифры виден. Таким образом можно повысить точность считываемых данных.

[0046] В некоторых вариантах реализации изобретения при распознавании фрагментов цифр, которые отображены в окне прибора, можно рассчитать расстояние от центра индикатора (404) в окошке датчика (механического барабана) до центра цифры. То есть результаты распознавания могут быть использованы для расчета расстояния h₁ от центра окошка 404 до центра верхней распознанной цифры. Аналогично может быть рассчитано расстояние h₂ от центра окошка 404 до центра нижней распознанной цифры. Затем рассчитывается отношение найденных расстояний. Рассчитанное отношение является числовым значением десятичного разряда, который на изображении не отображен либо отображен не полностью.

[0047] В качестве считывателя информации с прибора могут выступать различные электронные устройства, имеющие видоискатель. В качестве такого устройства может быть использовано мобильное устройство, содержащее устройство захвата изображения, в частности камеру. В данном случае считывание происходит регулярно, например это важно для регулирования безопасности. Это также обеспечивает автоматизацию внешнего контроля приборов с соответствующими индикаторами, например, в составе бортовой аппаратуры самолета. Как следствие, повышается уровень безопасности.

[0048] На Фиг.6 приведен возможный пример электронного устройства, которое может быть использовано для обработки полученных изображений в соответствии с вариантом осуществления изобретения. На Фиг.6 подробно представлена компьютерная платформа 600, которая может быть выполнена как часть электронного устройства, используемого для осуществления описанных выше выполняемых способов. В одном варианте осуществления изобретения компьютерная платформа 600 закодирована на машиночитаемом носителе, который содержит команды, которые при выполнении их вычислительным устройством инициируют осуществление электронным устройством операций способа, представленного на Фиг.2. Компьютерная платформа 600 включает в себя, по крайней мере, один процессор 602, соединенный с памятью 604. Процессор 602 может представлять собой один или более процессоров, может содержать одно, два или более вычислительных ядер или представлять собой чип или другое устройство, выполненное с возможностью выполнения вычисления (например, преобразование Лапласа может быть выполнено оптически). Память 604 может представлять собой оперативную память (ОЗУ), а также содержать любые другие типы и виды памяти, в частности устройства энергонезависимой памяти (например, флэш-накопители) и постоянные запоминающие устройства, например жесткие диски и т.д. Кроме того, может быть выполнена такая конфигурация, при которой память 604 включает в себя средства хранения информации, физически размещенные где-либо еще на компьютерной платформе 600, например кэш-память в процессоре 602, память, используемую в качестве виртуальной памяти и хранимую на внешнем либо внутреннем постоянном запоминающем устройстве 610.

[0049] Компьютерная платформа 600 может содержать некоторое количество портов входа и выхода для передачи информации вовне и получения информации извне. В частности, для взаимодействия с пользователем компьютерная платформа 600 может содержать одно или более устройств ввода (например, клавиатура, мышь, сканер и т.д.) и устройство 608 отображения (например, жидкокристаллический дисплей или сигнальные индикаторы). Компьютерная платформа 600 также может иметь одно или более постоянных запоминающих устройств 610, например привод оптических дисков (CD, DVD или другой), жесткий диск, ленточный накопитель. Кроме того, компьютерная платформа 600 может иметь интерфейс с одной или более сетями 612, обеспечивающими соединение с другими сетями и вычислительными устройствами. В частности, это может быть локальная сеть (LAN) и/или беспроводная сеть Wi-Fi, соединенные со всемирной сетью Интернет или нет. Подразумевается, что компьютерная платформа 600 включает подходящие аналоговые и/или цифровые интерфейсы между процессором 602 и каждым из компонентов 604, 606, 608, 610 и 612.

[0050] В некоторых вариантах реализации изобретения компьютерная платформа 600 работает под управлением операционной системы 614 и выполняет различные приложения, компоненты, программы, объекты, модули и т.д., указанные обобщенно ссылочной позицией 616.

[0051] Программы, исполняемые для реализации способов, соответствующих данному изобретению, могут являться частью операционной системы или представлять собой обособленное приложение, компоненту, программу, динамическую библиотеку, модуль, скрипт либо их комбинацию.

[0052] Настоящее описание излагает основной изобретательский замысел авторов, который не может быть ограничен теми аппаратными устройствами, которые упоминались ранее. Следует отметить, что аппаратные устройства, прежде всего, предназначены для решения узкой задачи. С течением времени и с развитием технического прогресса такая задача усложняется или эволюционирует. Появляются новые средства, которые способны выполнить новые требования. В этом смысле следует рассматривать данные аппаратные устройства с точки зрения класса решаемых ими технических задач, а не чисто технической реализации на некой элементной базе.

Изобретение относится к области обработки изображений, документов и текстов. Технический результат – обеспечение распознавания символов, не полностью представленных на изображении. Способ распознавания символов на изображении включает: получение изображения, содержащего символы для распознавания; анализ полученного изображения для обнаружения интересующей области; сравнение в обнаруженной интересующей области первой части полученного изображения с набором эталонов для установления первого значения, отображающего точность совпадения, для каждого эталона в наборе эталонов; создание первой серии гипотез по меньшей мере на основе установленных первых значений, отображающих точность совпадения; сравнение второй части полученного изображения с набором выбранных эталонов для установления второго значения, отображающего точность совпадения, для каждого эталона в наборе выбранных эталонов, причем набор выбранных эталонов формируется на основе первой серии гипотез; создание второй серии гипотез по меньшей мере на основе установленных вторых значений, отображающих точность совпадения; и распознавание символов в полученном изображении по меньшей мере на основе первой серии гипотез и второй серии гипотез. 3 н. и 24 з.п. ф-лы, 8 ил.

1. Способ распознавания символов на изображении, содержащем неполные эталоны, включающий следующие этапы:

получение вычислительным устройством изображения, содержащего символы для распознавания;

анализ полученного изображения для обнаружения интересующей области в полученном изображении;

сравнение в обнаруженной области интереса первой части полученного изображения с набором эталонов для установления первого значения, отображающего точность совпадения, для каждого эталона в наборе эталонов;

создание первой серии гипотез по меньшей мере на основе установленных первых значений, отображающих точность совпадения;

сравнение второй части полученного изображения с набором выбранных эталонов для установления второго значения, отображающего точность совпадения, для каждого эталона в наборе выбранных эталонов, причем набор выбранных эталонов формируется по меньшей мере на основе созданной первой серии гипотез;

создание второй серии гипотез по меньшей мере на основе установленных вторых значений, отображающих точность совпадения; и

распознавание символов в полученном изображении по меньшей мере на основе первой серии гипотез и второй серии гипотез.

2. Способ по п.1, в котором анализ полученного изображения дополнительно содержит этап преобразования полученного изображения в бинаризованное изображение.

3. Способ по п.1, в котором анализ полученного изображения дополнительно содержит этап обрезки по меньшей мере интересующей области полученного изображения по границам пикселей на полученном изображении.

4. Способ по п.1, в котором анализ полученного изображения дополнительно содержит этап обнаружения центральной линии интересующей области, причем участок интересующей области над центральной линией рассматривается в качестве первой части полученного изображения, а участок интересующей области под центральной линией рассматривается в качестве второй части полученного изображения.

5. Способ по п.1, в котором сравнение первой части полученного изображения дополнительно содержит расчет значений гипотезы для каждой гипотезы распознавания в созданной первой серии гипотез по меньшей мере на основе установленных первых значений, отображающих точность совпадения графемы с эталоном.

6. Способ по п.5, дополнительно содержащий этап упорядочения созданной первой серии гипотез на основе показателя уверенности распознавания.

7. Способ по п.1, в котором сравнение второй части полученного изображения дополнительно содержит расчет значений гипотезы для каждой гипотезы распознавания в созданной второй серии гипотез по меньшей мере на основе установленных вторых значений, отображающих точность совпадения графемы с эталоном.

8. Способ по п.7, дополнительно содержащий этап упорядочения созданной второй серии гипотез на основе показателя уверенности распознавания.

9. Способ по п.5, дополнительно содержащий этап выбора набора эталонов для второй части полученного изображения на основе созданной первой серии гипотез.

10. Способ по п.5, дополнительно содержащий этап выбора набора эталонов для второй части полученного изображения на основе знания о последовательности символов.

11. Система распознавания символов на изображении, содержащем неполные эталоны, включающая:

устройство захвата изображений, выполненное с возможностью получения изображения;

память, выполненную с возможностью хранения выполняемых процессором инструкций; и

процессор, функционально соединенный с памятью, причем процессор выполнен с возможностью:

анализировать полученное изображение для обнаружения интересующей области полученного изображения;

сравнивать в обнаруженной интересующей области первую часть полученного изображения с набором эталонов для установления первого значения, отображающего точность совпадения, для каждого эталона в наборе эталонов;

создавать первую серию гипотез по меньшей мере на основе установленных первых значений, отображающих точность совпадения;

сравнивать вторую часть полученного изображения с набором выбранных эталонов для установления второго значения, отображающего точность совпадения, для каждого эталона в наборе выбранных эталонов, причем набор выбранных эталонов выбирают по меньшей мере на основе созданной первой серии гипотез;

создавать вторую серию гипотез по меньшей мере на основе установленных вторых значений, отображающих точность совпадения; и

распознавать символы в полученном изображении по меньшей мере на основе первой серии гипотез и второй серии гипотез.

12. Система по п.11, в которой устройство захвата изображений соединено с процессором с возможностью сообщения.

13. Система по п.11, в которой процессор выполнен с возможностью преобразования полученного изображения в бинарное изображение.

14. Система по п.11, в которой процессор выполнен с возможностью обрезки по меньшей мере области интереса полученного изображения по границам пикселей на полученном изображении.

15. Система по п.11, в которой процессор выполнен с возможностью обнаружения участка интересующей области над центральной линией, рассматриваемого в качестве первой части полученного изображения, и обнаружения участка интересующей области под центральной линией, рассматриваемого в качестве второй части полученного изображения.

16. Система по п.11, в которой процессор выполнен с возможностью расчета значений гипотез для каждой гипотезы распознавания в созданной первой серии гипотез по меньшей мере на основе установленных первых значений, отображающих точность совпадения графемы с эталоном.

17. Система по п.16, в которой процессор выполнен с возможностью упорядочивать созданную первую серию гипотез на основе показателя уверенности распознавания.

18. Система по п.11, в которой процессор выполнен с возможностью расчета значений гипотез для каждой гипотезы распознавания в созданной второй серии гипотез по меньшей мере на основе установленных вторых значений, отображающих точность совпадения графемы с эталоном.

19. Система по п.16, в которой процессор выполнен с возможностью выбора набора эталонов для второй части полученного изображения на основе созданной первой серии гипотез.

20. Система по п.16, в которой процессор выполнен с возможностью выбора набора эталонов для второй части полученного изображения на основе знания о последовательности символов.

21. Машиночитаемый носитель данных, содержащий хранящиеся в нем машиночитаемые команды, выполняемые процессором вычислительной системы, причем команды содержат:

команды для получения изображения, содержащего символы для распознавания;

команды для анализа полученного изображения для обнаружения интересующей области полученного изображения;

команды для сравнения в обнаруженной интересующей области первой части полученного изображения с набором эталонов для определения первого значения, отображающего точность совпадения, для каждого эталона в наборе эталонов;

команды для создания первой серии гипотез по меньшей мере на основе установленных значений, отображающих точность совпадения;

команды для сравнения второй части полученного изображения с набором выбранных эталонов для установления второго значения, отображающего точность совпадения, для каждого эталона в наборе выбранных эталонов, причем набор выбранных эталонов выбирают по меньшей мере на основе созданной первой серии гипотез;

команды для создания второй серии гипотез по меньшей мере на основе установленных вторых значений, отображающих точность совпадения; и

команды для распознавания символов в полученном изображении по меньшей мере на основе первой серии гипотез и второй серии гипотез.

22. Машиночитаемый носитель данных по п.21, дополнительно содержащий команды для обнаружения участка интересующей области над центральной линией, рассматриваемого в качестве первой части полученного изображения, и участка интересующей области под центральной линией, рассматриваемого в качестве второй части полученного изображения.

23. Машиночитаемый носитель данных по п.21, дополнительно содержащий команды для расчета значений гипотез для каждой гипотезы распознавания в созданной первой серии гипотез по меньшей мере на основе установленных первых значений, отображающих точность совпадения графемы с эталоном.

24. Машиночитаемый носитель данных по п.23, дополнительно содержащий команды для упорядочения созданной первой серии гипотез на основе показателя уверенности распознавания.

25. Машиночитаемый носитель данных по п.21, дополнительно содержащий команды для расчета значений гипотез для каждой гипотезы распознавания в созданной второй серии гипотез по меньшей мере на основе установленных вторых значений, отображающих точность совпадения графемы с эталоном.

26. Машиночитаемый носитель данных по п.23, дополнительно содержащий команды для выбора набора эталонов для второй части полученного изображения на основе созданной первой серии гипотез.

27. Машиночитаемый носитель данных по п.23, дополнительно содержащий команды для выбора набора эталонов для второй части полученного изображения на основе знания о последовательности символов.