СПОСОБ И СИСТЕМА ПЕРЕВОДА ТЕКСТА В ИЗОБРАЖЕНИИ НА ВЕБ-СТРАНИЦЕ Российский патент 2023 года по МПК G06V30/41 G06F40/58 

Область техники, к которой относится изобретение

Настоящее изобретение относится к области перевода изображений с текстом, в частности, перевода текста на изображениях на веб-страницах.

Уровень техники

С развитием информационных технологий и, в особенности, сети Интернет стало возможным просматривать разнообразные страницы в сети, в том числе и на иностранных языках. Современные средства просмотра (браузеры) позволяют пользователю выполнять перевод содержимого с таких страниц на необходимый язык с использованием различных решений, как собственных, так и сторонних. Перевод текста на веб-странице уже становится обычным явлением, однако, перевод текста на изображениях представляет собой трудоемкую задачу, поскольку требует такой обработки изображения, как распознавание текста.

На сегодняшний день существуют разные методики перевода текста на изображениях на веб-страницах, отображаемых в браузере.

Из уровня техники известно решение US20070070443A1, которое нацелено на работу с текстом: извлечение текста из изображения и перевод текста на стороне пользователя. Недостатком данного решения являются ограниченные функциональные возможности перевода, реализуемые только средствами устройства на стороне пользователя, а также предоставление результата перевода только в текстовом виде.

Также, в уровне техники известны решения KR100953627B1, US20210232774A1, CN113011202A, которые на стороне сервера выполняют распознавание текста и его последующий перевод и затем предоставляют результат пользователю. Очевидным преимуществом такого подхода является повышение качества переводимого текста за счет использования мощностей сервера.

В KR100953627B1 получают от пользовательского устройства идентификатор веб-страницы, содержащей изображения с текстом, отправляют этот идентификатор на сервер и на стороне сервера осуществляют распознавание текста, перевод и предоставление пользователю результата перевода в текстовом виде.

В US20210232774A1 на стороне сервера определяют необходимость перевода изображения на основе атрибутов содержимого изображения в зависимости от страны или региона пользователя, который просматривает веб-страницу.

В CN113011202A улучшают операции распознавания и перевода текста за счет применения общей модели обучения на стороне сервера.

Общим недостатком вышеперечисленных решений является предоставление результатов перевода изображений в текстовом виде, что нарушает целостность восприятия содержимого исходной веб-страницы.

Наиболее близким решением является способ, описанный в US10671698B2, согласно которому изображения с веб-страницы автоматически отправляются на сервер, где распознаются, переводятся и распознанный текст накладывается на изначальный фон картинки, и переведенная картинка предоставляется пользователю.

Однако, с дальнейшим развитием графических возможностей и разнообразием дизайнерских идей увеличивается как количество графической информации на веб-страницах, представленной изображениями с текстом, так и сами изображения увеличиваются в размерах. Данное обстоятельство приводит к повышению вычислительной нагрузки на сервер, обусловленной обработкой изображения с текстом, а также увеличению объема трафика за счет передачи объемных по размеру изображений для перевода и изображений с переведенным текстом.

Сущность изобретения

Таким образом, задача, решаемая настоящим изобретением, заключается в оптимизации объема трафика, передаваемого между пользовательским устройством и сервером обработки, а также оптимизации вычислительных ресурсов сервера обработки, при осуществлении перевода текста в изображениях в браузерном приложении.

Технический результат, достигаемый при решении вышеупомянутой задачи, состоит в снижении вычислительной нагрузки на сервер обработки и уменьшении объема передаваемого трафика между клиентом и сервером обработки за счет выполнения графической обработки изображения с текстом на стороне клиента, а именно, предварительной обработки исходного изображения с текстом и формирования конечного изображения с переведенным текстом.

Технический результат достигается за счет разработанного механизма, согласно которому при превышении исходным изображением с текстом заданных размеров и заданного объема браузером выполняется предварительная графическая обработка такого изображения, направленная на снижение размеров и объема изображения, отправка изображения, удовлетворяющего заданным параметрам, на сервер обработки для выполнения распознавания и перевода, получение с сервера обработки переведенного текста и формирование браузером итогового изображения, идентичного исходному, но уже с переведенным текстом.

В соответствии с первым аспектом осуществления изобретения предложен способ перевода текста в изображении на веб-странице. Согласно предложенному способу посредством браузера, функционирующего в клиентском устройстве: обнаруживают изображение с подлежащим переводу текстом на веб-странице; проверяют, удовлетворяет ли обнаруженное изображение параметрам отправки; при превышении одного или более параметров отправки выполняют предварительную обработку обнаруженного изображения для его соответствия этим одному или более параметрам отправки; и отправляют на сервер обработки изображение с указанием языка, на который следует осуществить перевод. Дополнительно согласно предложенному способу посредством сервера обработки, если принятое изображение ранее не переводилось, то осуществляют: определение области, занимаемой текстом, в принятом изображении; определение точек, соответствующих тексту и фону, в области, занимаемой текстом; распознавание текста в изображении и определение языка распознанного текста; выполнение перевода текста с распознанного языка на указанный язык; и отправляют в браузер переведенный текст с информацией об области, занимаемой текстом, информацией о точках, соответствующих тексту и фону в изображении. Кроме того, согласно предложенному способу посредством браузера: на основе принятой информации о точках, соответствующих тексту и фону, определяют исходный цвет текста и цвет фона в соответственных точках исходного изображения; на прозрачном холсте с размерами исходного изображения в области, занимаемой текстом, формируют фон с цветом на основе цвета точек фона в исходном изображении; в области, занимаемой текстом, прорисовывают переведенный текст с цветом на основе цвета точек текста в исходном изображении, так чтобы переведенный текст поместился в упомянутую область; накладывают упомянутый холст с содержащейся в нем сформированной областью с переведенным текстом на исходное изображение; и заменяют на веб-странице исходное изображение на изображение с переведенным текстом.

В соответствии со вторым аспектом осуществления изобретения предложен реализуемый в браузере клиентского устройства способ перевода текста в изображении на веб-странице. Согласно предложенному способу: обнаруживают изображение с подлежащим переводу текстом на веб-странице; проверяют, удовлетворяет ли обнаруженное изображение параметрам отправки; при превышении одного или более параметров отправки выполняют предварительную обработку обнаруженного изображения для его соответствия этим одному или более параметрам отправки; отправляют на сервер обработки изображение с указанием языка, на который следует осуществить перевод; принимают переведенный текст с информацией об области, занимаемой текстом, информацией о точках, соответствующих тексту и фону в изображении; на основе принятой информации о точках, соответствующих тексту и фону, определяют исходный цвет текста и цвет фона в исходном изображении; на прозрачном холсте с размерами исходного изображения в области, занимаемой текстом, формируют фон с цветом на основе цвета точек фона в исходном изображении; в области, занимаемой текстом, прорисовывают переведенный текст с цветом на основе цвета точек текста в исходном изображении, так чтобы переведенный текст поместился в упомянутую область; накладывают упомянутый холст с содержащейся в нем сформированной областью с переведенным текстом на исходное изображение; и заменяют на веб-странице исходное изображение на изображение с переведенным текстом.

В соответствии с третьим аспектом осуществления изобретения предложена распределенная вычислительная система сетевого взаимодействия, сконфигурированная для перевода текста в изображении на веб-странице. Предложенная система содержит клиентское устройство с браузером, выполненным с возможностью: обнаруживать изображение с подлежащим переводу текстом на веб-странице; проверять, удовлетворяет ли обнаруженное изображение параметрам отправки; при превышении одного или более параметров отправки выполнять предварительную обработку обнаруженного изображения для его соответствия этим одному или более параметрам отправки; и отправлять на сервер обработки изображение с указанием языка, на который следует осуществить перевод. Дополнительно, предложенная система содержит сервер обработки, выполненный с возможностью, если принятое изображение ранее не переводилось, то осуществлять: определение области, занимаемой текстом, в принятом изображении; определение точек, соответствующих тексту и фону, в области, занимаемой текстом; распознавание текста в изображении и определение языка распознанного текста; выполнение перевода текста с распознанного языка на указанный язык; и отправлять в браузер переведенный текст с информацией об области, занимаемой текстом, информацией о точках, соответствующих тексту и фону в изображении. Кроме того, браузер дополнительно выполнен с возможностью: на основе принятой информации о точках, соответствующих тексту и фону, определять исходный цвет текста и цвет фона в исходном изображении; на прозрачном холсте с размерами исходного изображения в области, занимаемой текстом, формировать фон с цветом на основе цвета точек фона в исходном изображении; в области, занимаемой текстом, прорисовывать переведенный текст с цветом на основе цвета точек текста в исходном изображении, так чтобы переведенный текст поместился в упомянутую область; и накладывать упомянутый холст с содержащейся в нем сформированной областью с переведенным текстом на исходное изображение, и заменять на веб-странице исходное изображение на изображение с переведенным текстом.

В необязательном варианте осуществления согласно любому из вышеупомянутых аспектов браузер содержит скрипт, который является средством выполнения действий в браузере.

В необязательном варианте осуществления согласно любому из вышеупомянутых аспектов скрипт включает в себя вызывающий скрипт и исполнительный скрипт.

В необязательном варианте осуществления согласно любому из вышеупомянутых аспектов вызывающий скрипт загружает исполнительный скрипт с сервера обработки.

В необязательном варианте осуществления согласно любому из вышеупомянутых аспектов предварительная обработка включает в себя по меньшей мере одно из следующего: преобразование в полутоновое изображение, понижение глубины цвета, понижение разрешения изображения и сжатие изображения.

В необязательном варианте осуществления согласно первому или третьему аспекту сервер обработки содержит кэш переведенных изображений, при этом сервер обработки дополнительно выполнен с возможностью определять то, переводилось ли ранее принятое изображение, посредством проверки сервером обработки принятого от браузера изображения на предмет нахождения его в кэше переведенных изображений, в котором каждое изображение сохранено вместе с переведенным текстом, информацией об области, занимаемой текстом, информацией о точках, соответствующих тексту и фону.

В необязательном варианте осуществления согласно первому или третьему аспекту сервер обработки содержит кэш переведенных изображений, при этом сервер обработки дополнительно выполнен с возможностью, после упомянутого выполнения перевода, сохранять принятое изображение вместе с переведенным текстом, информацией об области, занимаемой текстом, информацией о точках, соответствующих тексту и фону, в кэш переведенных изображений.

В необязательном варианте осуществления согласно первому или третьему аспекту при определении области, занимаемой текстом, в принятом изображении сервер обработки дополнительно выполнен с возможностью определять границу области, занимаемой текстом, в принятом изображении.

В необязательном варианте осуществления согласно первому или третьему аспекту при определении границы области, занимаемой текстом, в принятом изображении сервер обработки дополнительно выполнен с возможностью определять координаты границы области, занимаемой текстом, в принятом изображении.

В необязательном варианте осуществления согласно первому или третьему аспекту при определении точек, соответствующих тексту и фону, в области, занимаемой текстом, сервер обработки дополнительно выполнен с возможностью определять координаты точек, соответствующих тексту и фону, в области, занимаемой текстом.

В необязательном варианте осуществления согласно первому или третьему аспекту определение точек, соответствующих тексту и фону, в области, занимаемой текстом, основано на контрасте цвета текста и цвета фона в области, занимаемой текстом.

В необязательном варианте осуществления согласно первому или третьему аспекту распознавание текста в изображении включает в себя оптическое распознавание символов (OCR).

В необязательном варианте осуществления согласно первому или третьему аспекту сервер обработки содержит модуль распознавания и модуль перевода. При выполнении перевода текста с распознанного языка на указанный язык модуль распознавания выполнен с возможностью отправлять распознанный текст в модуль перевода с указанием исходного языка и языка, на который следует выполнить перевод, и модуль перевода выполнен с возможностью переводить текст с распознанного языка на указанный язык.

В необязательном варианте осуществления согласно первому или третьему аспекту сервер обработки представляет собой распределенный сервер, включающий в себя множество серверов, при этом модуль распознавания представляет собой отдельный сервер распознавания из множества серверов, а модуль перевода представляет собой отдельный сервер перевода из множества серверов.

В необязательном варианте осуществления согласно любому из вышеупомянутых аспектов информация об области, занимаемой текстом, включает в себя границу области, занимаемой текстом.

В необязательном варианте осуществления согласно любому из вышеупомянутых аспектов информация об области, занимаемой текстом, включает в себя координаты границы области, занимаемой текстом.

В необязательном варианте осуществления согласно любому из вышеупомянутых аспектов информация о точках, соответствующих тексту и фону в изображении, включает в себя координаты точек, соответствующих тексту и фону в изображении.

В необязательном варианте осуществления согласно любому из вышеупомянутых аспектов при формировании фона с цветом на основе цвета точек фона в исходном изображении браузер дополнительно выполнен с возможностью формировать фон с усредненным значением цвета на основе значений цвета точек фона в исходном изображении.

В необязательном варианте осуществления согласно любому из вышеупомянутых аспектов при прорисовке переведенного текста с цветом на основе цвета точек текста в исходном изображении браузер дополнительно выполнен с возможностью прорисовывать переведенный текст с усредненным значением цвета на основе значений цвета точек текста в исходном изображении.

В необязательном варианте осуществления согласно любому из вышеупомянутых аспектов, когда переведенный текст не помещается в области, занимаемой текстом, браузер дополнительно выполнен с возможностью уменьшать шрифт прорисовываемого переведенного текста.

В необязательном варианте осуществления согласно любому из вышеупомянутых аспектов, когда переведенный текст не помещается в области, занимаемой текстом, браузер дополнительно выполнен с возможностью использовать уплотненный шрифт для прорисовываемого переведенного текста.

В необязательном варианте осуществления согласно любому из вышеупомянутых аспектов, когда переведенный текст не помещается в области, занимаемой текстом, то по наведению указателя мыши на исходный текст в области, занимаемой текстом, браузер дополнительно выполнен с возможностью формировать всплывающее окно с переведённым текстом в полном объеме.

Дополнительные и/или альтернативные характеристики, аспекты и преимущества вариантов осуществления настоящего технического решения станут очевидными из последующего описания, прилагаемых чертежей и прилагаемой формулы изобретения.

Краткое описание чертежей

На Фиг. 1 показана блок-схема распределенной вычислительной системы сетевого взаимодействия согласно одному варианту осуществления настоящего изобретения.

На Фиг. 2 показана блок-схема последовательности операций способа перевода текста в изображении на веб-странице согласно одному варианту осуществления настоящего изобретения.

Описание осуществления изобретения

Настоящее изобретение применяется при переводе текста, расположенного на изображении, находящегося в содержимом веб-страницы.

В частности, настоящее изобретение применяется к распределенной вычислительной системе 100 сетевого взаимодействия, показанной на Фиг. 1.

Система 100 включает в себя клиентское устройство 110, в котором функционирует браузер 111 с установленным скриптом 112, сервер 120 обработки с содержащимся в нем исполнительным скриптом 121, кэшем 122 переведенных изображений, модулем 123 распознавания и модулем 124 перевода. Кроме того, система 100 включает в себя веб-сервер 130, на котором хранятся веб-страницы 131, содержащие изображения 132 с подлежащим переводу текстом. Взаимодействие клиентского устройства 110, сервера 120 обработки и веб-сервера 130 осуществляется через сеть 140, которая, например, может быть сетью Интернет. В необязательном порядке, сервер 120 обработки представляет собой распределенный сервер, включающий в себя множество серверов, при этом модуль 123 распознавания представляет собой отдельный сервер 125 распознавания из множества серверов, а модуль 124 перевода представляет собой отдельный сервер 126 перевода из множества серверов

Веб-страница 131 представляет собой текстовый файл в формате HTML, который после обработки браузером 111, отображается пользователю. Помимо текстовой информации веб-страница 131 может содержать графические изображения 132 с расположенным в них текстом. Кроме того, в силу всемирного распространения Интернета у пользователя есть возможность доступа к веб-страницам 131 на иностранном языке. Развитие современных информационных технологий позволяет посредством браузера 111 предоставлять пользователю переведенное содержимое таких страниц, в том числе и изображений 132 с текстом.

Браузер 111 представляет собой программу, исполняемую на стороне клиента, для отображения содержимого веб-страницы 131 через обращение к веб-серверу 130, на котором она хранится. Сторона клиента включает в себя пользовательские электронные устройства, мобильные телефоны, планшетные компьютеры, портативные компьютеры, настольные компьютеры и т.п. (клиентские устройства 110). Браузер 111, будучи программным средством, обладает разнообразными средствами обработки содержимого веб-страницы 131, как встроенными в конкретную версию браузера, так и дополнительными программными модулями (расширениями), подключаемыми по требованию пользователя. Кроме того, современные браузеры поддерживают исполнение сценариев (скриптов), которые могут вводиться в HTML-код для придания интерактивности веб-страницам 131. Скрипт 112 представляет собой исполняемый программный код для реализации конкретных функций над содержимым веб-страницы 131. Скрипты в HTML-коде веб-страницы обозначаются особыми тегами, что позволяет браузеру 111 отличать их от подлежащего отображению содержимого веб-страницы 131. Скрипты могут как изначально содержаться в исходной веб-странице 131, например, при создании веб-страницы 131 ее авторами, так и добавляться браузером 111 при обработке веб-страницы 131 перед ее отображением для предоставления пользователю специальных дополнительных функциональных возможностей, которые может реализовывать конкретный браузер 111. Также предусматривается возможность реализации ситуации, при которой один скрипт 112 может посредством обращения к серверу 120 обработки через гиперссылку вызывать и загружать другой скрипт для исполнения (исполнительный скрипт 121), в таком случае скрипт 112 выполняет функцию вызова исполнительного скрипта 121 и считается вызывающим скриптом 112. Такой механизм реализации взаимодействия между скриптами позволяет более динамично предоставлять обновленные функциональные возможности без необходимости обновления версии браузера 111.

В процессе отображения веб-страниц 131 с содержимым на иностранном языке браузер 111 может предоставлять переведенное содержимое посредством отправки исходного содержимого на сервер 126 перевода. Когда содержимое исходной веб-страницы 131 содержит изображение 132 с текстом на иностранном языке, то перед переводом необходимо выполнить оптическое распознавание текста. Для такой операции задействуется сервер 125 распознавания. После перевода сервером 126 перевода распознанного текста необходимо осуществить графическую обработку исходного изображения 132 путем нанесения на него переведенного текста и отправить обратно в браузер 111. При увеличении размеров и объема изображений (обусловленного графической и цветовой детализацией) нагрузка на сервер 125 распознавания, а также и на сеть 140 (каналы связи), увеличивается.

Авторами настоящего изобретения для снижения нагрузки на сервер 125 распознавания, а также уменьшения передаваемого трафика между браузером 111 и сервером 125 распознавания предложен механизм, согласно которому при превышении исходным изображением 132 с текстом заданных размеров и заданного объема браузером 111 выполняется предварительная графическая обработка такого изображения, направленная на снижение размеров и объема изображения 132, отправка изображения 132, удовлетворяющего заданным параметрам, на сервер 125 распознавания и сервер 126 перевода, получение с сервера 126 перевода переведенного текста и формирование браузером итогового изображения, идентичного исходному, но уже с переведенным текстом.

Разработанный согласно настоящему изобретению браузер 111 предоставляет пользователю следующие функциональные возможности для перевода изображения 132 с текстом на веб-странице 131. В настройках браузера 111 пользователь может выбрать выполнение автоматического перевода веб-страниц 131. Перевод может осуществляться на основе запроса от пользователя на перевод как целиком всей веб-страницы 131, так и указанием отдельного изображения 132 с текстом.

Выбор языка для перевода может быть указан пользователем, либо определен браузером 131 на основе эвристического анализа предыдущих действий, предпочтений пользователя, а также на основе анализа географического местоположения клиентского устройства 110. В настоящем изобретении это конкретно никак не ограничено.

Наличие текста в изображении 132 браузер 111 определяет либо по атрибутам самого изображения 132, либо задействуя встроенную в браузер 111 «лёгкую» модель, которая сообщает факт наличия текста в изображении 132. Кроме того, возможна реализация через известные библиотеки, например, OpenCV (https://opencv.org) или через API сторонних продуктов, в том числе машинно-обученных алгоритмов, встраиваемых в браузер 111. В настоящем изобретении это конкретно никак не ограничено.

Функциональные средства браузера 111 могут быть реализованы в качестве встроенных модулей, библиотек, расширений.

В одном варианте осуществления функциональные средства браузера 111 реализуются в качестве скриптов 112, написанных на языке JavaScript. Скрипты 112 могут быть предустановлены в браузер и/или добавляться браузером в HTML-код веб-страницы всякий раз при обработке веб-страницы перед ее отображением пользователю.

В дополнительном варианте осуществления для перевода изображений 132 с текстом используются два скрипта: вызывающий скрипт 112 и исполнительный скрипт 121. Вызывающий скрипт 112 всегда добавляется браузером в HTML-код веб-страницы 131. Вызывающий скрипт 112 реагирует на действия пользователя, проверяет атрибуты и параметры изображения 132, задействуется браузером 111 при автоматическом переводе изображения 132 с текстом на веб-странице 131 и вызывает загрузку браузером 111 с сервера 120 обработки исполнительного скрипта 121. Поскольку исполнительный скрипт 121 хранится на сервере 120 обработки и всякий раз при необходимости загружается браузером 111, то предусмотрена возможность его обновления непосредственно без необходимости обновления версии браузера 111. Это помогает предоставлять улучшенные функциональные возможности исполнительного скрипта 121 для текущей версии браузера 111. Более подробное описание функционирования исполнительного скрипта 121 будет приведено ниже.

Примерный вариант осуществления изобретения

На Фиг.2 показана блок-схема последовательности операций способа 200 перевода текста в изображении на веб-странице согласно одному варианту осуществления настоящего изобретения

На этапе 201 на основе запроса от пользователя или при автоматическом переводе браузером 111 содержимого веб-страницы 131 скрипт 112 обнаруживает изображение 132 с подлежащим переводу текстом на исходной веб-странице 132. Обнаруженное изображение 132 содержит, по меньшей мере, текстовую информацию, которую необходимо перевести на требуемый язык. Текстовая информация имеет отличный от фона изображения цвет и контраст. Изображение 132 может быть цветным или монохромным. Дополнительно к текстовой информации изображение может содержать любые другие графические элементы. В настоящем изобретении это конкретно никак не ограничено.

Затем вызывающий скрипт 112 через гиперссылку обращается к серверу 120 обработки, загружает исполнительный скрипт 121 и передает в исполнительный скрипт 121 некоторые параметры, относящиеся к браузеру 111, например, признак того, из какого клиентского устройства 110 происходит перевод: браузер 111 настольного компьютера, браузер 111 мобильного телефона, браузер 111 планшетного компьютера и т.д.

Далее на этапе 202 исполнительный скрипт 121 проверяет, удовлетворяет ли обнаруженное изображение 132 параметрам отправки. В зависимости от состояния загруженности канала связи от браузера 111 до сервера 120 обработки, вычислительной нагрузки на сервер 120 обработки, а также разрешающей способности модуля 123 распознавания задаются диапазоны значений размера изображения в пикселях по высоте и ширине, а также диапазон значений занимаемого изображением объема памяти в байтах.

При превышении одного или более параметров отправки исполнительный скрипт 121 на этапе 203 выполняет предварительную обработку обнаруженного изображения 132. Предварительная обработка включает в себя по меньшей мере одно из следующего: преобразование в полутоновое изображение, понижение глубины цвета, понижение разрешения и сжатие изображения. Предварительная обработка выполняется до тех пор, пока обнаруженное изображение не будет удовлетворять параметрам отправки.

Далее, на этапе 204 исполнительный скрипт 121 отправляет на сервер 120 обработки удовлетворяющее параметрам отправки изображение с указанием языка, на который следует осуществить перевод.

По приему отправленного изображения сервер 120 обработки на этапе 205 проверяет принятое изображение на нахождение его в кэше 122 переведенных изображений. Если принятое изображение уже распознавалось и переводилось ранее, то способ переходит на этап 210, на котором в браузер 111 сразу отправляется сохраненный перевод текста с изображения с информацией об области, занимаемой текстом, информацией о точках, соответствующих тексту и фону, где информация об области, занимаемой текстом, содержит границы области, занимаемой текстом, указанные посредством координат в изображении с текстом, а информация о точках, соответствующих тексту и фону, содержит координаты соответствующих точек для текста и фона в изображении.

Если принятое изображение 132 отсутствует в кэше 122 ранее переведенных изображений, то на этапе 206 сервер 120 обработки посредством модуля 123 распознавания определяет координаты границы области занимаемого текста в изображении 132. Область занимаемого текста может быть определена как прямоугольная область.

Далее, на этапе 207 на основе контраста цвета текста и цвета фона в области, занимаемой текстом, модуль 123 распознавания определяет координаты соответствующих точек для текста и фона. Определяются координаты для по меньшей мере одной точки для букв и для по меньшей мере одной точки для фона.

Затем на этапе 208 модулем 123 распознавания осуществляется оптическое распознавание символов (OCR) в тексте изображения и определяется язык распознанного текста. Далее на необязательном этапе 217 распознанный текст отправляется в модуль 124 перевода с указанием исходного языка и языка, на который следует выполнить перевод.

На этапе 209 модуль 124 перевода осуществляет перевод текста на указанный язык. Перевод может осуществляться как средствами модуля 124 перевода, так и с привлечением сторонних средств. В настоящем изобретении это конкретно никак не ограничено.

Переведенный текст отправляется обратно в модуль 123 распознавания, где на этапе 216 принятое изображение 132 с переведенным текстом, координатами границы области занимаемого текста, координатами соответствующих точек для текста и фона сохраняется в кэш 122 переведенных изображений.

На этапе 210 сервер 120 обработки отправляет в браузер 111 переведенный текст с информаций о координатах границы области занимаемого текста, и информацией о координатах соответствующих точек для текста и фона в изображении.

В необязательном варианте осуществления, сервер 120 обработки представляет собой распределенный сервер, включающий в себя множество серверов, при этом модуль 123 распознавания представляет собой отдельный сервер 125 распознавания из множества серверов, а модуль 124 перевода представляет собой отдельный сервер 126 перевода из множества серверов.

Приняв результат перевода с соответствующими вышеупомянутыми координатами, браузер 111 формирует изображение с переведенным текстом для отображения пользователю.

На этапе 211 исполнительный скрипт 121 по принятым координатам соответствующих точек для текста и фона определяет исходные значения цвета текста и цвета фона в исходном изображении 132.

На этапе 212 на прозрачном холсте с размерами исходного изображения в границах области, занимаемой текстом, исполнительным скриптом 121 формируется фон с усредненным значением цвета на основе значений цвета точек фона в исходном изображении 132.

Далее, на этапе 213 исполнительный скрипт 213 в границах области, занимаемой текстом, прорисовывает переведенный текст с усредненным значением цвета на основе значений цвета точек текста в исходном изображении 132, так чтобы переведенный текст поместился в упомянутую область, при этом шрифт переведенного текста может быть используемым исполнительным скриптом шрифтом по умолчанию. Для того, чтобы переведенный текст поместился в границах области занимаемого текста исполнительный скрипт 121 может уменьшить размер шрифта и/или подобрать более уплотненный шрифт.

Затем, на этапе 214 исполнительный скрипт 121 накладывает упомянутый холст с содержащимся в нем сформированной областью с переведенным текстом на исходное изображение 132.

Наконец, на этапе 215 исполнительный скрипт 121 заменяет на веб-странице исходное изображение 132 на изображение с переведенным текстом.

В случае, когда после изменения размера шрифта и/или использования уплотненного шрифта переведенный текст по-прежнему не помещается в области занимаемого текста, то по наведению пользователем указателя мыши на исходный текст в области, занимаемой текстом, в исходном изображении 132 исполнительным скриптом 121 формируется всплывающее окно с переведённым текстом в полном объеме. Цвет фона всплывающего окна и цвет шрифта могут соответствовать цвету фона и цвету текста в исходном изображении.

Задействуемые для реализации предложенной технологии вычислительные устройства, такие как клиентское устройство с браузером, сервер обработки, сервер распознавания и сервер перевода, включают в себя широко известные аппаратные средства, такие как процессоры, блоки памяти, устройства ввода/вывода, массовые устройства хранения данных, средства связи (например, коммуникационные интерфейсы) и т.п., и базовые программные средства, такие как операционная система, стеки протоколов, драйверы и т.п., которые могут быть коммерчески доступными или заказными. При этом описанный здесь подход предпочтительно реализуется посредством разработки соответствующего программного обеспечения с использованием известных технологий и сред программирования и развертывания и исполнения его на соответственных компонентах предложенной вычислительной системы.

Следует понимать, что показанные варианты осуществления являются только предпочтительными, но не единственными возможными примерами данного изобретения. Напротив, объем изобретения определяется нижеследующей формулой изобретения и её эквивалентами.

Изобретение относится к вычислительной технике. Технический результат заключается в снижении вычислительной нагрузки на сервер обработки и в уменьшении объема передаваемого трафика между клиентом и сервером обработки. Способ перевода текста в изображении на веб-странице содержит этапы, на которых: обнаруживают изображение с подлежащим переводу текстом на веб-странице; проверяют, удовлетворяет ли обнаруженное изображение параметрам отправки; при превышении параметров отправки выполняют предварительную обработку обнаруженного изображения для его соответствия этим параметрам отправки; отправляют на сервер обработки изображение; если принятое изображение ранее не переводилось, то осуществляют: определение области, занимаемой текстом; определение точек, соответствующих тексту и фону; распознавание текста в изображении и определение языка текста; выполнение перевода текста; отправляют в браузер переведенный текст; определяют исходный цвет текста и цвет фона в соответственных точках исходного изображения; на прозрачном холсте формируют фон на основе цвета точек фона в исходном изображении; прорисовывают переведенный текст с цветом; накладывают холст на исходное изображение и заменяют на веб-странице исходное изображение на изображение с переведенным текстом. 3 н. и 54 з.п. ф-лы, 2 ил.

1. Способ перевода текста в изображении на веб-странице, содержащий этапы, на которых:

посредством браузера, функционирующего в клиентском устройстве:

- обнаруживают изображение с подлежащим переводу текстом на веб-странице;

- проверяют, удовлетворяет ли обнаруженное изображение параметрам отправки;

- при превышении одного или более параметров отправки выполняют предварительную обработку обнаруженного изображения для его соответствия этим одному или более параметрам отправки;

- отправляют на сервер обработки изображение с указанием языка, на который следует осуществить перевод;

посредством сервера обработки:

- если принятое изображение ранее не переводилось, то осуществляют:

- определение области, занимаемой текстом, в принятом изображении;

- определение точек, соответствующих тексту и фону, в области, занимаемой текстом;

- распознавание текста в изображении и определение языка распознанного текста;

- выполнение перевода текста с распознанного языка на указанный язык;

- отправляют в браузер переведенный текст с информацией об области, занимаемой текстом, информацией о точках, соответствующих тексту и фону в изображении;

посредством браузера:

- на основе принятой информации о точках, соответствующих тексту и фону, определяют исходный цвет текста и цвет фона в соответственных точках исходного изображения;

- на прозрачном холсте с размерами исходного изображения в области, занимаемой текстом, формируют фон с цветом на основе цвета точек фона в исходном изображении;

- в области, занимаемой текстом, прорисовывают переведенный текст с цветом на основе цвета точек текста в исходном изображении, так чтобы переведенный текст поместился в упомянутую область;

- накладывают упомянутый холст с содержащейся в нем сформированной областью с переведенным текстом на исходное изображение; и

- заменяют на веб-странице исходное изображение на изображение с переведенным текстом.

2. Способ по п. 1, в котором браузер содержит скрипт, который является средством выполнения этапов в браузере.

3. Способ по п. 2, в котором скрипт включает в себя вызывающий скрипт и исполнительный скрипт.

4. Способ по п. 3, в котором вызывающий скрипт загружает исполнительный скрипт с сервера обработки.

5. Способ по п. 1, в котором предварительная обработка включает в себя по меньшей мере одно из следующего: преобразование в полутоновое изображение, понижение глубины цвета, понижение разрешения изображения и сжатие изображения.

6. Способ по п. 1, в котором сервер обработки содержит кэш переведенных изображений, при этом то, переводилось ли ранее принятое изображение, определяют посредством проверки сервером обработки принятого от браузера изображения на предмет нахождения его в кэше переведенных изображений, в котором каждое изображение сохранено вместе с переведенным текстом, информацией об области, занимаемой текстом, информацией о точках, соответствующих тексту и фону.

7. Способ по п. 1, в котором сервер обработки содержит кэш переведенных изображений, при этом способ дополнительно содержит этап, на котором посредством сервера обработки, после упомянутого выполнения перевода, сохраняют принятое изображение вместе с переведенным текстом, информацией об области, занимаемой текстом, информацией о точках, соответствующих тексту и фону, в кэш переведенных изображений.

8. Способ по п. 1, в котором при определении области, занимаемой текстом, в принятом изображении определяют границу области, занимаемой текстом, в принятом изображении.

9. Способ по п. 8, в котором при определении границы области, занимаемой текстом, в принятом изображении определяют координаты границы области, занимаемой текстом, в принятом изображении.

10. Способ по п. 1, в котором при определении точек, соответствующих тексту и фону, в области, занимаемой текстом, определяют координаты точек, соответствующих тексту и фону, в области, занимаемой текстом.

11. Способ по п. 1 или 10, в котором определение точек, соответствующих тексту и фону, в области, занимаемой текстом, основано на контрасте цвета текста и цвета фона в области, занимаемой текстом.

12. Способ по п. 1, в котором распознавание текста в изображении включает в себя оптическое распознавание символов (OCR).

13. Способ по п. 1, в котором сервер обработки содержит модуль распознавания и модуль перевода, при этом при выполнении перевода текста с распознанного языка на указанный язык способ дополнительно содержит этапы, на которых:

отправляют распознанный текст из модуля распознавания в модуль перевода с указанием исходного языка и языка, на который следует выполнить перевод; и

переводят текст с распознанного языка на указанный язык посредством модуля перевода.

14. Способ по п. 13, в котором сервер обработки представляет собой распределенный сервер, включающий в себя множество серверов, при этом модуль распознавания представляет собой отдельный сервер распознавания из множества серверов, а модуль перевода представляет собой отдельный сервер перевода из множества серверов.

15. Способ по п. 1 или 7, в котором информация об области, занимаемой текстом, включает в себя границу области, занимаемой текстом.

16. Способ по п. 1 или 7, в котором информация об области, занимаемой текстом, включает в себя координаты границы области, занимаемой текстом.

17. Способ по п. 1 или 7, в котором информация о точках, соответствующих тексту и фону в изображении, включает в себя координаты точек, соответствующих тексту и фону в изображении.

18. Способ по п. 1, в котором при формировании фона с цветом на основе цвета точек фона в исходном изображении формируют фон с усредненным значением цвета на основе значений цвета точек фона в исходном изображении.

19. Способ по п. 1, в котором при прорисовке переведенного текста с цветом на основе цвета точек текста в исходном изображении прорисовывают переведенный текст с усредненным значением цвета на основе значений цвета точек текста в исходном изображении.

20. Способ по п. 1, в котором, когда переведенный текст не помещается в области, занимаемой текстом, уменьшают шрифт прорисовываемого переведенного текста.

21. Способ по п. 1 или 20, в котором, когда переведенный текст не помещается в области, занимаемой текстом, используют уплотненный шрифт для прорисовываемого переведенного текста.

22. Способ по п. 1, в котором когда переведенный текст не помещается в области, занимаемой текстом, то по наведению указателя мыши на исходный текст в области, занимаемой текстом, формируют всплывающее окно с переведённым текстом в полном объеме.

23. Реализуемый в браузере клиентского устройства способ перевода текста в изображении на веб-странице, содержащий этапы, на которых:

- обнаруживают изображение с подлежащим переводу текстом на веб-странице;

- проверяют, удовлетворяет ли обнаруженное изображение параметрам отправки;

- при превышении одного или более параметров отправки выполняют предварительную обработку обнаруженного изображения для его соответствия этим одному или более параметрам отправки;

- отправляют на сервер обработки изображение с указанием языка, на который следует осуществить перевод;

- принимают переведенный текст с информацией об области, занимаемой текстом, информацией о точках, соответствующих тексту и фону в изображении;

- на основе принятой информации о точках, соответствующих тексту и фону, определяют исходный цвет текста и цвет фона в исходном изображении;

- на прозрачном холсте с размерами исходного изображения в области, занимаемой текстом, формируют фон с цветом на основе цвета точек фона в исходном изображении;

- в области, занимаемой текстом, прорисовывают переведенный текст с цветом на основе цвета точек текста в исходном изображении, так чтобы переведенный текст поместился в упомянутую область;

- накладывают упомянутый холст с содержащейся в нем сформированной областью с переведенным текстом на исходное изображение; и

- заменяют на веб-странице исходное изображение на изображение с переведенным текстом.

24. Способ по п. 23, в котором браузер содержит скрипт, который является средством выполнения этапов в браузере.

25. Способ по п. 24, в котором скрипт включает в себя вызывающий скрипт и исполнительный скрипт.

26. Способ по п. 25, в котором вызывающий скрипт загружает исполнительный скрипт с сервера обработки.

27. Способ по п. 23, в котором предварительная обработка включает в себя по меньшей мере одно из следующего: преобразование в полутоновое изображение, понижение глубины цвета, понижение разрешения изображения и сжатие изображения.

28. Способ по п. 23, в котором информация об области, занимаемой текстом, включает в себя границу области, занимаемой текстом.

29. Способ по п. 28, в котором информация об области, занимаемой текстом, включает в себя координаты границы области, занимаемой текстом.

30. Способ по п. 23, в котором информация о точках, соответствующих тексту и фону в изображении, включает в себя координаты точек, соответствующих тексту и фону в изображении.

31. Способ по п. 23, в котором при формировании фона с цветом на основе цвета точек фона в исходном изображении формируют фон с усредненным значением цвета на основе значений цвета точек фона в исходном изображении.

32. Способ по п. 23, в котором при прорисовке переведенного текста с цветом на основе цвета точек текста в исходном изображении прорисовывают переведенный текст с усредненным значением цвета на основе значений цвета точек текста в исходном изображении.

33. Способ по п. 23, в котором, когда переведенный текст не помещается в области, занимаемой текстом, уменьшают шрифт прорисовываемого переведенного текста.

34. Способ по п. 23 или 33, в котором, когда переведенный текст не помещается в области, занимаемой текстом, используют уплотненный шрифт для прорисовываемого переведенного текста.

35. Способ по п. 23, в котором когда переведенный текст не помещается в области, занимаемой текстом, то по наведению указателя мыши на исходный текст в области, занимаемой текстом, формируют всплывающее окно с переведённым текстом в полном объеме.

36. Распределенная вычислительная система сетевого взаимодействия, сконфигурированная для перевода текста в изображении на веб-странице, содержащая клиентское устройство с браузером, выполненным с возможностью:

- обнаруживать изображение с подлежащим переводу текстом на веб-странице;

- проверять, удовлетворяет ли обнаруженное изображение параметрам отправки;

- при превышении одного или более параметров отправки выполнять предварительную обработку обнаруженного изображения для его соответствия этим одному или более параметрам отправки;

- отправлять на сервер обработки изображение с указанием языка, на который следует осуществить перевод;

- сервер обработки, выполненный с возможностью:

- если принятое изображение ранее не переводилось, то осуществлять:

- определение области, занимаемой текстом, в принятом изображении;

- определение точек, соответствующих тексту и фону, в области, занимаемой текстом;

- распознавание текста в изображении и определение языка распознанного текста;

- выполнение перевода текста с распознанного языка на указанный язык;

- отправлять в браузер переведенный текст с информацией об области, занимаемой текстом, информацией о точках, соответствующих тексту и фону в изображении;

при этом браузер дополнительно выполнен с возможностью:

- на основе принятой информации о точках, соответствующих тексту и фону, определять исходный цвет текста и цвет фона в исходном изображении;

- на прозрачном холсте с размерами исходного изображения в области, занимаемой текстом, формировать фон с цветом на основе цвета точек фона в исходном изображении;

- в области, занимаемой текстом, прорисовывать переведенный текст с цветом на основе цвета точек текста в исходном изображении, так чтобы переведенный текст поместился в упомянутую область;

- накладывать упомянутый холст с содержащейся в нем сформированной областью с переведенным текстом на исходное изображение и

- заменять на веб-странице исходное изображение на изображение с переведенным текстом.

37. Система по п. 36, в которой браузер содержит скрипт, который является средством выполнения действий в браузере.

38. Система по п. 37, в которой скрипт включает в себя вызывающий скрипт и исполнительный скрипт.

39. Система по п. 38, в которой вызывающий скрипт загружает исполнительный скрипт с сервера обработки.

40. Система по п. 36, в которой предварительная обработка включает в себя по меньшей мере одно из следующего: преобразование в полутоновое изображение, понижение глубины цвета, понижение разрешения изображения и сжатие изображения.

41. Система по п. 36, в которой сервер обработки содержит кэш переведенных изображений, при этом сервер обработки дополнительно выполнен с возможностью определять то, переводилось ли ранее принятое изображение, посредством проверки сервером обработки принятого от браузера изображения на предмет нахождения его в кэше переведенных изображений, в котором каждое изображение сохранено вместе с переведенным текстом, информацией об области, занимаемой текстом, информацией о точках, соответствующих тексту и фону.

42. Система по п. 36, в которой сервер обработки содержит кэш переведенных изображений, при этом сервер обработки дополнительно выполнен с возможностью, после упомянутого выполнения перевода, сохранять принятое изображение вместе с переведенным текстом, информацией об области, занимаемой текстом, информацией о точках, соответствующих тексту и фону, в кэш переведенных изображений.

43. Система по п. 36, в которой при определении области, занимаемой текстом, в принятом изображении сервер обработки дополнительно выполнен с возможностью определять границу области, занимаемой текстом, в принятом изображении.

44. Система по п. 43, в которой при определении границы области, занимаемой текстом, в принятом изображении сервер обработки дополнительно выполнен с возможностью определять координаты границы области, занимаемой текстом, в принятом изображении.

45. Система по п. 36, в которой при определении точек, соответствующих тексту и фону, в области, занимаемой текстом, сервер обработки дополнительно выполнен с возможностью определять координаты точек, соответствующих тексту и фону, в области, занимаемой текстом.

46. Система по п. 36 или 45, в которой определение точек, соответствующих тексту и фону, в области, занимаемой текстом, основано на контрасте цвета текста и цвета фона в области, занимаемой текстом.

47. Система по п. 36, в которой распознавание текста в изображении включает в себя оптическое распознавание символов (OCR).

48. Система по п. 36, в которой сервер обработки содержит модуль распознавания и модуль перевода, при этом при выполнении перевода текста с распознанного языка на указанный язык:

модуль распознавания выполнен с возможностью отправлять распознанный текст в модуль перевода с указанием исходного языка и языка, на который следует выполнить перевод; и

модуль перевода выполнен с возможностью переводить текст с распознанного языка на указанный язык.

49. Система по п. 48, в которой сервер обработки представляет собой распределенный сервер, включающий в себя множество серверов, при этом модуль распознавания представляет собой отдельный сервер распознавания из множества серверов, а модуль перевода представляет собой отдельный сервер перевода из множества серверов.

50. Система по п. 36 или 42, при этом информация об области, занимаемой текстом, включает в себя границу области, занимаемой текстом.

51. Система по п. 36 или 42, при этом информация об области, занимаемой текстом, включает в себя координаты границы области, занимаемой текстом.

52. Система по п. 36 или 42, при этом информация о точках, соответствующих тексту и фону в изображении, включает в себя координаты точек, соответствующих тексту и фону в изображении.

53. Система по п. 36, в которой при формировании фона с цветом на основе цвета точек фона в исходном изображении браузер дополнительно выполнен с возможностью формировать фон с усредненным значением цвета на основе значений цвета точек фона в исходном изображении.

54. Система по п. 36, в которой при прорисовке переведенного текста с цветом на основе цвета точек текста в исходном изображении браузер дополнительно выполнен с возможностью прорисовывать переведенный текст с усредненным значением цвета на основе значений цвета точек текста в исходном изображении.

55. Система по п. 36, в которой, когда переведенный текст не помещается в области, занимаемой текстом, браузер дополнительно выполнен с возможностью уменьшать шрифт прорисовываемого переведенного текста.

56. Система по п. 36 или 55, в которой, когда переведенный текст не помещается в области, занимаемой текстом, браузер дополнительно выполнен с возможностью использовать уплотненный шрифт для прорисовываемого переведенного текста.

57. Система по п. 36, в которой когда переведенный текст не помещается в области, занимаемой текстом, то по наведению указателя мыши на исходный текст в области, занимаемой текстом, браузер дополнительно выполнен с возможностью формировать всплывающее окно с переведённым текстом в полном объеме.