СПОСОБ И УСТРОЙСТВО ОБРАБОТКИ ИЗОБРАЖЕНИЙ И СИСТЕМА ТРЕХМЕРНОЙ ВИЗУАЛИЗАЦИИ Российский патент 2021 года по МПК H04N13/261 

ОБЛАСТЬ ИЗОБРЕТЕНИЯ

[001] Настоящее изобретение относится к области обработки изображений, в частности, к способу и устройству обработки изображений, а также к системе трехмерной визуализации.

УРОВЕНЬ ТЕХНИКИ

[002] Стереоскопическое зрение – это способность человека рассматривать объект обоими глазами, при котором возникает субъективное восприятие толщины наблюдаемых объектов, глубины пространства или расстояния до предметов. Основная причина субъективности заключается в том, что изображения одного и того же просматриваемого объекта формируются на сетчатке обоих глаз не совсем идентично, поскольку левый глаз видит больше с левой стороны объекта, а правый глаз видит больше с правой стороны объекта; при этом стереоскопическое изображение объекта генерируется после обработки визуальной информации, полученной от обоих глаз, главным зрительным центром.

[003] С развитием технологии отображения изображений и цифровых технологий, популярными стали исследования в области имитации стереоскопического зрения человека с помощью электронных приборов. В известном уровне техники пользователи могут просматривать трехмерное изображение, полученное только 3D-камерой. Большинство существующих устройств с 3D-камерой работают, имитируя структуру человеческого глаза, и содержат две камеры, при этом изображение, полученное одной из камер, соответствует изображению, получаемому левым глазом человека, а изображение, полученное с другой камеры, соответствует изображению, получаемому правым глазом человека; и затем изображения с двух камер соединяются средством обработки изображений для формирования трехмерного изображения.

[004] Таким образом, в системе трехмерной визуализации в известном уровне техники с помощью двух камер получают два изображения, имитирующие изображения, получаемые, соответственно, левым и правым глазом, указанные изображения затем отдельно обрабатываются для последующего формирования трехмерного изображения. Однако способ обработки изображения занимает относительно много времени с момента получения изображения до завершения обработки и не подходит для некоторых случаев, когда требуется относительно высокая производительность в реальном времени.

КРАТКОЕ ОПИСАНИЕ НАСТОЯЩЕГО ИЗОБРЕТЕНИЯ

[005] С учетом вышесказанного вариант осуществления настоящего изобретения предоставляет способ и устройство обработки изображения, а также систему трехмерной визуализации, позволяющую обрабатывать изображения с высокой скоростью.

[006] Согласно первому аспекту вариант осуществления настоящего изобретения предоставляет способ обработки изображения, который включает следующие этапы:

[007] получение двумерного изображения, подлежащего обработке;

[008] совмещение двумерного изображения, подлежащего обработке, с макетом сетки, при этом макет сетки используется для формирования на двумерном изображении, подлежащем обработке, разделительных линий макета сетки.

[009] сопоставление двумерного изображения, подлежащего обработке, с таблицей сопоставления сетки для получения первого изображения, при этом таблица сопоставления сетки используется для представления взаимосвязи между ячейками с изображениями;

[0010] зеркальное отображение первого изображения для получения второго изображения, при этом первое изображение является изображением, получаемым левым глазом, а второе изображение является изображением, получаемым правым глазом; или наоборот; первое изображение является изображением, получаемым правым глазом, а второе изображение является изображением, получаемым левым глазом, а также

[0011] соединение первого изображения и второго изображения для получения наложенного изображения.

[0012] Согласно варианту осуществления настоящего изобретения, макет сетки и таблица сопоставления сетки используются для сопоставления двумерного изображения, подлежащего обработке, чтобы имитировать изображения, получаемые левым и правым глазами человека; то есть, согласно способу, сопоставление выполняется на одном двумерном изображении только один раз с формированием изображения, получаемого левым глазом, и изображения, получаемого правым глазом, и, соответственно, сокращаются этапы обработки изображения, что позволяет сократить время обработки и осуществить последующее преобразование наложенного двухмерного изображения в трехмерное изображение в реальном времени. В первом способе реализации первого аспекта, таблица сопоставления сетки содержит номер каждой из ячеек в макете сетки; и информация сопоставленных ячеек с изображениями, соответствующих номерам, сохраняется в таблице сопоставления сетки.

[0013] Согласно варианту осуществления настоящего изобретения каждая из ячеек в макете сетки нумеруется; номера в точности соответствуют информации о сопоставленных ячейках с изображениями, чтобы избежать путаницы с информацией о сопоставленных ячейках с изображениями, возникающей, когда множество ячеек с изображениями обрабатываются параллельно, а также для повышения точности последующего сопоставления.

[0014] Со ссылкой на первый способ реализации первого аспекта, во втором способе реализации первого аспекта сопоставление двумерного изображения, подлежащего обработке, с использованием таблицы сопоставления сетки для получения первого изображения включает следующие шаги:

[0015] разделение обрабатываемого двумерного изображения с помощью макета сетки для формирования множества ячеек с изображениями, подлежащими обработке;

[0016] получение номеров ячеек с изображениями, подлежащих обработке;

[0017] поиск в таблице сопоставления сетки и извлечение из нее информации о ячейках с изображениями, соответствующих номерам;

[0018] обработка ячеек с изображениями, подлежащими обработке, с использованием извлеченной информации о ячейках с изображениями; а также

[0019] соединение обработанных ячеек с изображениями, подлежащими обработке, для получения первого изображения.

[0020] Согласно варианту осуществления настоящего изобретения, соответствующая информация о ячейках с изображениями извлекается из таблицы сопоставления сетки с использованием номеров, соответствующих каждой отдельной ячейке с изображением, подлежащим обработке, для обработки ячеек с изображениями, подлежащими обработке. Таким образом, поскольку каждое обрабатываемое двумерное изображение различается по номеру, может быть реализована одновременная обработка множества ячеек с изображениями, подлежащими обработке, что повышает эффективность обработки изображения.

[0021] Со ссылкой на второй способ реализации первого аспекта, в третьем способе реализации первого аспекта информация о ячейках с изображениями относится к размерам ячеек с изображениями;

[0022] Обработка ячеек с изображениями, подлежащими обработке, с использованием извлеченной информации о ячейках с изображениями, включает в себя:

[0023] масштабирование ячеек с изображениями, подлежащими обработке, в соответствии с извлеченными размерами ячеек с изображениями.

[0024] Согласно варианту осуществления настоящего изобретения, масштабирование выполняется для каждой ячейки с изображением, подлежащим обработке, с использованием размеров сопоставленных ячеек с изображениями, хранящихся в таблице сопоставления сетки, то есть ячейки с изображениями, подлежащими обработке, обрабатываются в соответствии с размером изображения без учитывания разрешения и пикселей изображений и другой информации; что с одной стороны позволяет повысить качество изображения, а с другой стороны, улучшить эффективность обработки.

[0025] Со ссылкой на первый аспект, в четвертом способе реализации первого аспекта соединение первого изображения и второго изображения для получения наложенного изображения включает следующие этапы:

[0026] совмещение одного бокового края первого изображения с одним боковым краем второго изображения, при этом центральная точка бокового края первого изображения совпадает с центральной точкой бокового края второго изображения;

[0027] сдвиг первого изображения или второго изображения по центральным линиям боковых краев для получения наложенного изображения.

[0028] Со ссылкой на первый аспект, в пятом способе реализации первого аспекта двумерное изображение, подлежащее обработке, представляет собой изображение одного кадра при потоковой передаче видео.

[0029] Согласно второму аспекту вариант осуществления изобретения предоставляет устройство обработки изображений, которое содержит:

[0030] модуль получения для получения двумерного изображения, подлежащего обработке;

[0031] модуль совмещения для совмещения двумерного обрабатываемого изображения с макетом сетки, используемой для формирования разделительных линий на двумерном обрабатываемом изображении;

[0032] модуль сопоставления для сопоставления двумерного изображения, подлежащего обработке, с таблицей сопоставления сетки для получения первого изображения, при этом таблица сопоставления сетки используется для представления взаимосвязи между ячейками с изображениями;

[0033] модуль зеркального отображения для зеркального отображения первого изображения с получением второго изображения;

[0034] модуль соединения для соединения первого изображения и второго изображения с получением наложенного изображения.

[0035] В соответствии с вариантом осуществления настоящего изобретения, макет сетки и таблица сопоставления сетки используются для сопоставления двумерного изображения, подлежащего обработке, чтобы имитировать изображение, получаемое левым глазом человека, и изображение, получаемое правым глазом; то есть, согласно способу, сопоставление выполняется на одном двумерном изображении только один раз с формированием изображения, получаемого левым глазом, и изображения, получаемого правым глазом, и, соответственно, сокращаются этапы обработки изображения, что позволяет сократить время обработки и осуществить последующее преобразование наложенного двухмерного изображения в трехмерное изображение в реальном времени.

[0036] Согласно третьему аспекту вариант осуществления изобретения обеспечивает средство обработки изображения, которое содержит:

[0037] память и процессор, при этом память и процессор связаны друг с другом; компьютерные инструкции хранятся в памяти; и процессор, выполняя компьютерные инструкции, реализует способ обработки изображения согласно первому аспекту настоящего изобретения или по любому из способов реализации первого аспекта.

[0038] Согласно четвертому аспекту вариант осуществления настоящего изобретения предоставляет машиночитаемый носитель данных; и компьютерные инструкции хранятся на машиночитаемом носителе данных и используются для предоставления компьютеру возможности реализовать способ обработки изображения в соответствии с первым аспектом настоящего изобретения или по любому из способов реализации первого аспекта.

[0039] Согласно пятому аспекту вариант осуществления настоящего изобретения предоставляет систему трехмерной визуализации, которая содержит:

[0040] устройство получения изображения, содержащее одиночную линзу для получения двумерного изображения, подлежащего обработке;

[0041] устройство обработки изображения в третьем аспекте настоящего изобретения, электрически соединенное с устройством получения изображения и используемое для обработки двумерного изображения, подлежащего обработке.

[0042] устройство отображения изображения, электрически соединенное с устройством обработки изображения и используемое для отображения трехмерного изображения.

[0043] В системе трехмерной визуализации, обеспечиваемой вариантом осуществления настоящего изобретения, устройство получения изображения содержит одиночную линзу и не требует использования двух систем получения изображения, таких как устройства получения изображения с двойной линзой и, таким образом, позволяет уменьшить объем всего устройства получения изображения; кроме того, внешний диаметр однолинзового эндоскопа может быть намного меньше, чем у двухлинзового эндоскопа, так что система трехмерной визуализации может использоваться в относительно небольших органах человека для выполнения трехмерного визуализации органов человека, что расширяет область применения системы трехмерной визуализации.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0044] Далее для более детального пояснения признаков и преимуществ настоящего изобретения приводятся чертежи, которые являются схематическими и не должны рассматриваться как ограничивающие признаки настоящего изобретения. На чертежах:

[0045] Фиг. 1 - блок-схема способа обработки изображения в соответствии с вариантом осуществления настоящего изобретения;

[0046] Фиг. 2 - блок-схема способа обработки изображения в соответствии с вариантом осуществления настоящего изобретения.

[0047] Фиг. 3 - схематическая диаграмма макета сетки с разделениями в соответствии с вариантом осуществления настоящего изобретения;

[0048] Фиг. 4 - схематическая диаграмма, иллюстрирующая принцип преобразования отображения в соответствии с вариантом осуществления настоящего изобретения.

[0049] Фиг.5 - блок-схема способа обработки изображения в соответствии с вариантом осуществления настоящего изобретения;

[0050] Фиг.6 - схематическая диаграмма взаимосвязи между углом конвергенции и расстоянием между изображением, получаемым левым глазом и изображением, получаемым правым глазом, в соответствии с вариантом осуществления настоящего изобретения;

[0051] Фиг.7 - структурная схема устройства обработки изображения в соответствии с вариантом осуществления настоящего изобретения;

[0052] Фиг. 8 - структурная схема устройства обработки изображения в соответствии с вариантом осуществления настоящего изобретения;

[0053] Фиг.9 - структурная схема средства обработки изображения в соответствии с вариантом осуществления настоящего изобретения;

[0054] Фиг.10 - структурная схема системы трехмерной визуализации в соответствии с вариантом осуществления настоящего изобретения.

ДЕТАЛЬНОЕ ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ

[0055] Далее для подробного пояснения объектов, систем и преимуществ вариантов осуществления настоящего изобретения приводится описание систем со ссылками на сопроводительные чертежи в соответствии с вариантами осуществления настоящего изобретения. Следует понимать, что приводится описание лишь некоторых вариантов осуществления настоящего изобретения. Все возможные варианты осуществления, полученные специалистами в данной области техники без внесения творческого вклада на основе указанных вариантов осуществления настоящего изобретения, подпадают под объем защиты настоящего изобретения.

[0056] Способ обработки изображения, согласно настоящему изобретению, используется для имитации изображения, получаемого левым глазом и изображения, получаемого правым глазом человека. В частности, для имитации стереоскопического зрения, на получаемом двумерном изображении, подлежащем обработке, выполняется картирование для выявления бинокулярного параллакса как разницы между изображениями, получаемыми левым глазом и правым глазом. Кроме того, изображение, воспринимаемое левым глазом, и изображение, воспринимаемое правым глазом, объединяются для получения наложенного изображения для установления угла конвергенции. Соответственно, трехмерное изображение может быть сформировано с помощью средства отображения изображения системы трехмерной визуализации в соответствии с настоящим изобретением с помощью бинокулярного параллакса и угла конвергенции.

[0057] Вариант осуществления изобретения обеспечивает способ обработки изображения; и, согласно фиг. 1, способ включает следующие шаги:

[0058] S11. получение двумерного изображения, подлежащего обработке.

[0059] Двумерное изображение, полученное устройством обработки изображений и подлежащее обработке, может представлять собой двухмерное изображение, изображение одного кадра при потоковой передаче видео, а также изображение каждого кадра, извлеченного из видео, полученного в реальном времени, при условии, что устройство обработки изображений может предоставить двумерное изображение, которое может быть обработано.

[0060] S12. совмещение двумерного изображения, подлежащего обработке, с макетом сетки.

[0061] При этом макет сетки используется для формирования на двумерном изображении, подлежащем обработке, разделительных линий макета сетки. В частности, макет сетки используется для корректировки обрабатываемого двумерного изображения, например, масштабирования обрабатываемого двумерного изображения любого размера в равных пропорциях, так что размер масштабированного обрабатываемого двумерного изображения соответствует макету сетки.

[0062] S13. сопоставление двумерного изображения, подлежащего обработке, с таблицей сопоставления сетки для получения первого изображения.

[0063] При этом таблица сопоставления сетки используется для представления взаимосвязи между ячейками с изображениями. Таблица сопоставления сетки может быть проиндексирована номерами ячеек, или может быть заранее указано, что взаимосвязь между ячейками в таблице сопоставления сетки сохраняется слева направо и сверху вниз в соответствии с макетом сетки (то есть порядок хранения соответствующей информации в таблице сопоставления сетки задается заранее), или таблица сопоставления сетки может быть проиндексирована другими способами.

[0064] Устройство обработки изображения использует взаимосвязь согласно таблице сопоставления сетки для сопоставления двумерного изображения, подлежащего обработке. Например, может быть обработано все двумерное изображение, подлежащее обработке, или двумерное обрабатываемое изображение может быть разделено с последующей обработкой разделенных изображений, и т.п. Таким образом, устройство обработки изображения отображает двумерное изображение, подлежащее обработке, для формирования первого изображения. При этом взаимосвязь может заключаться в том, что у преобразованного изображения ближний конец выглядит большим, а дальний конец выглядит маленьким, или перспективное изображение может быть вычислено с помощью формул и т.п.

[0065] S14. зеркальное отображение первого изображения для получения второго изображения.

[0066] При этом первое изображение является изображением, получаемым левым глазом, а второе изображение является изображением, получаемым правым глазом; или наоборот, первое изображение является изображением, получаемым правым глазом, а второе изображение является изображением, получаемым левым глазом.

[0067] Изобретатель настоящего изобретения в ходе многих экспериментов установил, что изображение, формируемое левым глазом, и изображение, формируемое правым глазом человека, являются зеркальными изображениями друг друга, то есть второе изображение может быть получено после зеркального отражения первого изображения, полученного после сопсотавления двумерного изображения.

[0068] S15. соединение первого изображения и второго изображения для получения наложенного изображения.

[0069] Устройство обработки изображения используется для объединения первого изображения и второго изображения для получения наложенного изображения. Объединенные первое изображение и второе изображение могут выводиться на средство отображения изображения для последующего отображения трехмерного изображения. Таким образом, последующее средство отображения изображения может регулировать направления поляризации изображения, получаемого левым глазом, и изображения, получаемого правым глазом, так чтобы направления поляризации двух изображений были перпендикулярны друг другу. При использовании пользователем средства отображения изображения, трехмерное изображение может быть просмотрено им с помощью пары 3D-очков. Регулировка направлений поляризации также может быть реализована другими способами, при условии, что направления поляризации двух изображений, соответственно наблюдаемых двумя глазами человека, перпендикулярны друг другу.

[0070] Согласно варианту осуществления настоящего изобретения, макет сетки и таблица сопоставления сетки используются для сопоставления двумерного изображения, подлежащего обработке, чтобы имитировать изображения, получаемые левым и правым глазами человека; то есть, согласно способу, сопоставление выполняется на одном двумерном изображении только один раз с формированием изображения, получаемого левым глазом, и изображения, получаемого правым глазом, и, соответственно, сокращаются этапы обработки изображения, что позволяет сократить время обработки и осуществить последующее преобразование наложенного двухмерного изображения в трехмерное изображение в реальном времени.

[0071] В варианте осуществления настоящего изобретения дополнительно раскрывается способ обработки изображения; и, согласно фиг. 2, способ включает следующие этапы:

[0072] S21. получение двумерного изображения, подлежащего обработке; данный этап аналогичен этапу S11 в варианте осуществления, показанном на фиг.1 и здесь подробно не раскрывается для избегания повтора.

[0073] S22. совмещение двумерного изображения, подлежащего обработке, с макетом сетки.

[0074] При этом макет сетки используется для формирования на двумерном изображении, подлежащем обработке, разделительных линий макета сетки. Макет сетки может быть разделен на множество ячеек, каждая из которых имеет уникальный идентификационный номер, как показано на фиг.3. Следует отметить, что номера ячеек, сформированных с помощью разделительных линий макета сетки, могут быть заданы специально в зависимости от фактических условий использования и не ограничиваются номерами, показанными на фиг. 3. Помимо этого, способ кодирования ячеек этим не ограничивается, и все методы кодирования, которые могут применяться для распознавания ячеек, подпадают под объем защиты настоящего изобретения.

[0075] S23. сопоставление двумерного изображения, подлежащего обработке, с таблицей сопоставления сетки для получения первого изображения.

[0076] При этом таблица сопоставления сетки используется для представления взаимосвязи между ячейками с изображениями. Согласно варианту осуществления настоящего изобретения таблица сопоставления сетки содержит номер каждой из ячеек в макете сетки; и информация сопоставленных ячеек с изображениями, соответствующих номерам, сохраняется в таблице сопоставления сетки.

[0077] Таблица сопоставления сетки может быть представлена в следующем виде:

Количество 0000 0001 0010 … 1110 1111 Информация о ячейках с изображениями Информация 1 Информация 2 Информация 3 … Информация 15 Информация 16

[0078] В частности, сопоставление включает следующие этапы:

[0079] S231. разделение обрабатываемого двумерного изображения с помощью макета сетки для формирования множества ячеек с изображениями, подлежащими обработке.

[0080] После того, как обрабатываемое двумерное изображение сопоставлено с макетом сетки устройством обработки изображений, обрабатываемое двумерное изображение разделяется посредством разделительных линий макета сетки на множество ячеек с изображениями, подлежащими обработке. Таким образом, что номера разделенных ячеек с изображениями, подлежащими обработке, совпадают с соответствующими номерами ячеек в макете сетки, так что указанные номера могут использоваться для запроса таблицы сопоставления сетки для получения информации о ячейке с изображениями.

[0081] S232. получение номеров ячеек с изображениями, подлежащими обработке.

[0082] После того как обрабатываемое двумерное изображение разделено устройством обработки изображений, ячейки с изображениями, подлежащие обработке, нумеруются в соответствии с номерами ячеек в макете сетки. Как описано выше, номера ячеек с изображениями, подлежащими обработке, совпадают с соответствующими номерами ячеек в макете сетки. Следовательно, устройству обработки изображений нужно только извлекать номера ячеек в соответствующих позициях, и не нужно выполнять вторичную нумерацию ячеек с изображениями, подлежащими обработке, что позволяет сократить время обработки.

[0083] S233. поиск в таблице сопоставления сетки и извлечение из нее информации о ячейках с изображениями, соответствующих номерам.

[0084] Устройство обработки изображений использует номера ячеек с изображениями, подлежащими обработке, для запроса информации о ячейках с изображениями, соответствующих номерам в таблице сопоставления сетки. При этом информация о ячейках с изображениями, может представлять собой размеры сопоставленных ячеек с изображениями или данные координат каждой конечной точки сопоставленных ячеек с изображениями в таблице сопоставления сетки и т.п.

[0085] При необходимости, согласно варианту осуществления, информация о размере сопоставленных ячеек с изображениями сохраняется в таблице сопоставления сетки.

[0086] S234. обработка ячеек с изображениями, подлежащих обработке, с использованием извлеченной информации о ячейках с изображениями;

[0087] Устройство обработки изображений использует извлеченную информацию о размере ячеек с изображениями, подлежащими обработке, для осуществления их последующей обработки. При этом принцип преобразования отображения проиллюстрирован на фиг. 4. Преобразование отображения означает, что, принимая левую сторону исходного изображения в качестве оси вращения, исходное изображение поворачивается внутрь экрана на определенный угол, и поворачивается наружу от экрана на один и тот же угол, чтобы соответственно сформировать центральное и крайнее правое изображения на фиг. 4. Согласно варианту осуществления размер обрабатываемого двумерного изображения линейно масштабируется, так что масштабированное первое изображение и второе изображение достигают эффекта, показанного на фиг. 4. То есть устройство обработки изображений выполняет масштабирование ячеек с изображениями, подлежащими обработке, в соответствии с размерами извлеченных ячеек с изображениями; и, в частности, способ масштабирования может включать в себя следующие этапы:

[0088] 1) построчное сканирование ячеек с изображениями, подлежащими обработке.

[0089] Устройство обработки изображений построчно сканирует ячейки с изображениями, подлежащими обработке, для определения размера каждой строки, включающей ячейки с изображениями, подлежащими обработке.

[0090] 2) последовательное линейное масштабирование каждой строки с изображениями.

[0091] Устройство обработки изображений выполняет линейное масштабирование размеров каждой строки, содержащей ячейки с изображениями, подлежащими обработке, в соответствии с принципом, согласно которому один конец выглядит больше, а другой конец - меньше, и, таким образом, получается масштабированное первое изображение. Последовательное линейное масштабирование каждой строки, содержащей ячейки с изображениями, позволяет уменьшить объем обрабатываемых данных и повысить эффективность обработки изображений.

[0092] S235. объединение обработанных ячеек с изображениями, подлежащими обработке, для получения первого изображения.

[0093] Устройство обработки изображений использует номера ячеек с изображениями, подлежащими обработке, чтобы воссоединить изображения, подвергнутые отображению, чтобы получить первое изображение.

[0094] S24. зеркальное отображение первого изображения для получения второго изображения.

[0095] При этом первое изображение является изображением, получаемым левым глазом, а второе изображение является изображением, получаемым правым глазом; или наоборот, первое изображение является изображением, получаемым правым глазом, а второе изображение является изображением, получаемым левым глазом. Данный этап аналогичен этапу S14 в варианте осуществления, показанном на фиг.1, и здесь подробно не раскрывается для избегания повтора.

[0096] S25. соединение первого изображения и второго изображения для получения наложенного изображения. Данный этап аналогичен этапу S15 в варианте осуществления, показанном на фиг.1, и здесь подробно не раскрывается для избегания повтора.

[0097] По сравнению с вариантом осуществления, показанным на фиг. 1, в данном варианте осуществления используются размеры сопоставленных ячеек с изображениями, хранящихся в таблице сопоставления сетки, для выполнения масштабирования каждой ячейки с изображениями, подлежащими обработке, то есть ячейки с изображениями, подлежащие обработке, обрабатываются с точки зрения размеров изображения без учета разрешения и пикселей изображений и другой информации, что с одной стороны, повышает качество изображения, а с другой стороны улучшает эффективность обработки.

[0098] Вариант осуществления настоящего изобретения дополнительно раскрывает способ обработки изображения; и, как показано на фиг. 5, способ включает следующие этапы:

[0099] S31. получение двумерного изображения, подлежащего обработке; данный этап аналогичен этапу S21 в варианте осуществления, показанном на фиг.2, и здесь подробно не раскрывается для избегания повтора.

[00100] S32. совмещение двумерного изображения, подлежащего обработке, с макетом сетки.

[00101] При этом макет сетки используется для формирования на двумерном обрабатываемом изображении разделительных линий. Данный этап аналогичен этапу S22 в варианте осуществления, показанном на фиг.2, и здесь подробно не раскрывается для избегания повтора.

[00102] S33. сопоставление двумерного изображения, подлежащего обработке, с таблицей сопоставления сетки для получения первого изображения.

[00103] При этом таблица сопоставления сетки используется для представления взаимосвязи между ячейками с изображениями. Данный этап аналогичен этапу S23 в варианте осуществления, показанном на фиг.2 и здесь подробно не раскрывается для избегания повтора.

[00104] S34. зеркальное отображение первого изображения для получения второго изображения, при этом первое изображение является изображением, получаемым левым глазом, а второе изображение является изображением, получаемым правым глазом; или наоборот, первое изображение является изображением, получаемым правым глазом, а второе изображение является изображением, получаемым левым глазом. Данный этап аналогичен этапу S24 в варианте осуществления, показанном на фиг.2 и здесь подробно не раскрывается для избегания повтора.

[00105] S35. соединение первого изображения и второго изображения для получения наложенного изображения

[00106] Устройство обработки изображения регулирует расстояние между изображением, получаемым левым глазом, и изображением, получаемым правым глазом, сформированными после отображения, для определения угла конвергенции. Изобретатель настоящей заявки в ходе многих экспериментов убедился, что при изменении расстояния между изображениями изменяется соответствующий угол конвергенции. Например, на фиг. 6 проиллюстрирована взаимосвязь между углом конвергенции и расстоянием между изображением, получаемым левым глазом, и изображением, получаемым правым глазом. Как показано на фиг. 6а), когда угол конвергенции равен α1, расстояние между изображениями, получаемыми левым и правым глазом, относительно невелико. Как показано на фиг. 6b), когда угол схождения равен α2, расстояние между изображениями, получаемыми левым и правым глазом, относительно велико; то есть, когда расстояние между изображениями, получаемыми левым и правым глазом, изменяется, угол конвергенции соответственно также изменяется. Следовательно, согласно настоящему изобретению, угол конвергенции определяется путем регулирования расстояния между изображением, получаемым левым глазом, и изображением, получаемым правым глазом. Таким образом, расстояние между изображением, получаемым левым глазом, и изображением, получаемым правым глазом, регулируется так, чтобы наложить два изображения друг на друга.

[00107] Соединение изображений, в частности, включает следующие этапы:

[00108] S351. совмещение одного бокового края первого изображения с одним боковым краем второго изображения.

[00109] При этом центральная точка бокового края первого изображения совпадает с центральной точкой бокового края второго изображения.

[00110] Устройство обработки изображений совмещает первое изображение и второе изображение по их боковым краям, так, что центральные точки совмещенных боковых краев первого и второго изображения, соответственно, совпадают.

[00111] S352. сдвиг первого изображения или второго изображения относительно центральных линий боковых краев для получения наложенного изображения.

[00112] Устройство обработки изображений сдвигает первое изображение или второе изображение относительно центральных линий выровненных боковых краев первого изображения и второго изображения. Перемещаться могут как одно первое или второе изображение; так и оба изображения в противоположных направлениях для формирования наложенного изображения.

[00113] По сравнению со способом обработки изображений согласно варианту осуществления, показанному на фиг. 2, данный вариант осуществления изобретения имеет преимущество, которое заключается в наличии определенного расстояния между изображением, получаемым левым глазом, и изображением, получаемым правым глазом, при сдвиге первого изображения или второго изображения для создания угла конвергенции. Соответственно, трехмерное изображение может быть сформировано с помощью средства отображения изображения системы трехмерной визуализации с помощью бинокулярного параллакса и угла конвергенции.

[00114] В варианте осуществления настоящего изобретения также раскрывается устройство обработки изображений; и, как показано на фиг.7, устройство включает:

[00115] модуль получения 41 для получения двумерного изображения, подлежащего обработке;

[00116] модуль совмещения 42 для совмещения двумерного обрабатываемого изображения с макетом сетки, используемой для формирования разделительных линий на двумерном обрабатываемом изображении;

[00117] модуль сопоставления 43 для сопоставления двумерного изображения, подлежащего обработке, с таблицей сопоставления сетки для получения первого изображения, при этом таблица сопоставления сетки используется для представления взаимосвязи между ячейками с изображениями;

[00118] модуль зеркального отображения 44 для зеркального отображения первого изображения с получением второго изображения;

[00119] модуль соединения 45 для соединения первого изображения и второго изображения для получения наложенного изображения.

[00120] В соответствии с устройством обработки изображения, предоставленном в варианте осуществления настоящего изобретения, макет сетки и таблица сопоставления сетки используются для сопоставления двумерного изображения, подлежащего обработке, чтобы имитировать изображение, получаемое левым глазом человека, и изображение, получаемое правым глазом; то есть, согласно способу, сопоставление выполняется на одном двумерном изображении только один раз с формированием изображения, получаемого левым глазом, и изображения, получаемого правым глазом, и, соответственно, сокращаются этапы обработки изображения, что позволяет сократить время обработки и осуществить последующее преобразование наложенного двухмерного изображения в трехмерное изображение в реальном времени.

[00121] В некоторых дополнительных способах реализации варианта осуществления, как показано на фиг. 8, модуль сопоставления 43 содержит

[00122] блок разделения 431 для разделения двумерного обрабатываемого изображения по макету сетки на множество ячеек с изображениями, подлежащими обработке;

[00123] блок сбора данных 432 для получения номеров ячеек с изображениями, подлежащими обработке;

[00124] блок поиска 433 для нахождения в таблице сопоставления сетки и извлечения из нее информации об ячейках с изображениями, соответствующих номерам;

[00125] блок обработки 434 для обработки ячеек с изображениями, подлежащими обработке, с использованием извлеченной информации об ячейках с изображениями;

[00126] блок соединения 435 для соединения ячеек с изображениями, подлежащими обработке, с получением первого изображения.

[00127] В варианте осуществления настоящего изобретения также раскрыты устройства обработки изображения. Как показано на фиг. 9, устройство обработки изображений может содержать процессор 51 и память 52, причем процессор 51 и память 52 могут быть соединены шиной или другими способами. Пример подключения шины показан на фиг.9.

[00128] Процессор 51 может представлять собой центральный процессор (CPU). Процессор 51 также может представлять собой другие процессоры общего назначения, процессоры цифровых сигналов (DSP), специализированные интегральные схемы (ASIC), программируемые логические матрицы (FPGA) или другие программируемые логические устройства, логические элементы на дискретных компонентах или транзисторные логические схемы, микросхемы, такие как дискретные аппаратные средства или комбинации микросхем вышеуказанных типов.

[00129] Как машиночитаемый носитель информации, предназначенный для долговременного хранения информации, память 52 может использоваться для хранения компьютерных исполняемых программ и модулей, таких как программные инструкции/модули, соответствующие способу обработки изображения, раскрываемому в варианте осуществления настоящего изобретения (например, модуль получения 41, модуль совмещения 42, модуль сопоставления 43, модуль зеркального отображения 44 и модуль соединения 45, показанные на фиг. 7). Процессор 51 запускает различные функциональные приложения и выполняет обработку данных с использованием программ, инструкций и модулей, хранящихся в памяти 52, реализуя таким образом способ обработки изображения согласно вышеуказанному варианту осуществления способа.

[00130] Память 52 может содержать область для хранения программ и область для хранения данных. Область для хранения программ может хранить операционную систему и прикладную программу, требуемые, по меньшей мере, для одной функции; и область для хранения данных может хранить данные, созданные процессором 51 и т.п. Кроме того, память 52 может содержать высокоскоростное оперативное запоминающее устройство, а также энергонезависимые запоминающие устройства, такие как, по меньшей мере, одно запоминающее устройство на магнитном диске, флэш-память или другие энергонезависимые твердотельные запоминающие устройства. В некоторых вариантах осуществления память 52 может дополнительно содержать удаленные запоминающие устройства, установленные удаленно по отношению к процессору 51 и подключенные к нему через сеть. Примеры вышеупомянутых сетей включают в себя, не ограничиваясь ими, Интернет, интрасети, локальные сети, сети мобильной связи и их комбинации.

[00131] Один или несколько модулей хранятся в памяти 52, и когда модули выполняются процессором 51, осуществляются способы обработки изображения, предусмотренные вариантами осуществления, показанными на фиг. 1, фиг. 2 и фиг. 5.

[00132] Подробное описание вышеупомянутого средства обработки изображения понятно из вариантов осуществления, показанных на фиг.1, фиг.2 и фиг.5, и здесь подробно не раскрывается для избегания повтора.

[00133] Вариант осуществления настоящего изобретения также раскрывает систему трехмерной визуализации. Как показано на фиг. 10, система содержит устройство получения изображения 61, устройство обработки изображения 62 и устройство отображения изображения 63.

[00134] При этом, в устройстве получения изображения 61 линза для получения изображений представляет собой одиночную линзу и используется для получения двумерного изображения, подлежащего обработке. Устройство обработки изображения 62 электрически соединено с устройством получения изображения 61 и используется для обработки двумерного изображения, подлежащего обработке, на выходе с устройства обработки изображения 61. Устройство отображения изображения 63 электрически соединено с устройством обработки изображения 62 и используется для отображения изображения на выходе с устройства обработки изображения 62.

[00135] ] В системе трехмерной визуализации, обеспечиваемой вариантом осуществления настоящего изобретения, линза в устройстве получения изображения 61 является одиночной линзой, что позволяет уменьшить габариты всего устройства получения изображения 61; и, кроме того, устройству получения изображения с одиночной линзой требуется только одна линия передачи данных для передачи полученного изображения, что позволяет уменьшить внутренний диаметр соединительной линии между устройством получения изображения 61 и устройством обработки изображения 62, и система трехмерной визуализации может использоваться в относительно небольших объектах, таких как человеческие органы, для выполнения трехмерной визуализации человеческих органов; что расширяет область применения системы трехмерной визуализации еще больше.

[00136] Специалистам в данной области техники следует понимать, что все или часть процессов в способах, предусмотренных вышеупомянутыми вариантами осуществления, могут быть реализованы путем указания соответствующего аппаратного обеспечения через компьютерные программы. Программы могут храниться на машиночитаемом носителе данных. В процессе выполнения программ могут быть включены процессы вариантов осуществления, такие как вышеупомянутые способы. При этом носитель данных может представлять собой магнитный диск, оптический диск, постоянное запоминающее устройство (ROM), оперативное запоминающее устройство (RAM), флэш-память, жесткий диск (HDD) или твердотельный накопитель (SSD) и др.; и носитель данных также может включать в себя комбинацию вышеупомянутых типов памяти.

[00137] Несмотря на то, что варианты осуществления настоящего изобретения были описаны вместе с чертежами, специалистами в данной области техники могут быть внесены различные модификации и улучшения без отклонения от сущности и объема настоящего изобретения, определяемой прилагаемой формулой изобретения.

Изобретение относится к способу и устройству для обработки изображений, а также к системе трехмерной визуализации. Техническим результатом является сокращение этапов обработки изображения, что позволяет сократить время обработки и осуществить последующее преобразование наложенного двухмерного изображения в трехмерное изображение в реальном времени. Результат достигается тем, что получают двумерное изображение, подлежащее обработке; совмещают указанное двумерное изображение с макетом сетки; используют таблицу сопоставления сетки для сопоставления указанного двумерного изображения для создания первого изображения, при этом таблица сопоставления сетки используется для выражения взаимосвязи между ячейками с изображениями; зеркальное отображение первого изображения для создания второго изображения; соединение первого изображения со вторым изображением для создания наложенного первого и второго изображений. Настоящее изобретение использует макет сетки и таблицу сопоставления сетки для сопоставления указанного двумерного изображения, чтобы имитировать изображение, получаемое левым глазом, и изображение, получаемое правым глазом человека; сопоставление выполняется на одном двумерном изображении только один раз с формированием изображения, получаемого левым глазом, и изображения, получаемого правым глазом. 5 н. и 5 з.п. ф-лы, 10 ил.

1. Способ обработки изображения, включающий следующие этапы:

получение двумерного изображения, подлежащего обработке;

совмещение двумерного изображения, подлежащего обработке, с макетом сетки, при этом макет сетки используется для формирования разделительных линий на двумерном изображении, подлежащем обработке;

сопоставление двумерного изображения, подлежащего обработке, с таблицей сопоставления сетки для получения первого изображения, при этом таблица сопоставления сетки используется для представления взаимосвязи между ячейками с изображениями;

зеркальное отображение первого изображения для получения второго изображения, при этом первое изображение является изображением, полученным левым глазом, а второе изображение является изображением, полученным правым глазом; или наоборот, первое изображение является изображением, полученным правым глазом, а второе изображение является изображением, полученным левым глазом; а также

соединение первого изображения и второго изображения для получения наложенного изображения первого изображения и второго изображения.

2. Способ по п. 1, в котором таблица сопоставления сетки содержит номера каждой из ячеек в макете сетки; и информация о сопоставленных ячейках с изображениями сохраняется в таблице сопоставления сетки в соответствии с номерами.

3. Способ по п. 2, в котором сопоставление двумерного изображения, подлежащего обработке, с использованием таблицы сопоставления сетки для получения первого изображения, включает:

разделение двумерного изображения, подлежащего обработке, с помощью макета сетки для формирования множества ячеек с изображениями, подлежащими обработке;

получение номеров ячеек с изображениями, подлежащими обработке;

поиск в таблице сопоставления сетки и извлечение из нее информации о ячейках с изображениями, соответствующих номерам;

обработку ячеек с изображениями, подлежащими обработке, с использованием извлеченной информации о ячейках с изображениями; а также

соединение обработанных ячеек с изображениями для получения первого изображения.

4. Способ по п. 3, в котором информация о ячейках с изображениями включает в себя размеры ячеек с изображениями;

при этом обработка ячеек с изображениями, подлежащими обработке, с использованием извлеченной информации о ячейках с изображениями, включает в себя

масштабирование ячеек с изображениями, подлежащими обработке, в соответствии с извлеченной информацией о размерах ячеек с изображениями.

5. Способ по п. 1, в котором соединение первого изображения и второго изображения для получения наложенного изображения первого изображения и второго изображения включает следующие этапы:

совмещение одного бокового края первого изображения с одним боковым краем второго изображения, при этом центральная точка бокового края первого изображения совпадает с центральной точкой бокового края второго изображения; а также

сдвиг первого изображения или второго изображения по центральной линии боковых краев для получения наложенного изображения.

6. Способ по п. 1, в котором двумерное изображение, подлежащее обработке, представляет собой изображение одного кадра при потоковой передаче видео.

7. Устройство обработки изображений, содержащее:

модуль получения для получения двумерного изображения, подлежащего обработке;

модуль совмещения для совмещения двумерного изображения, подлежащего обработке, с макетом сетки, при этом макет сетки используется для формирования разделительных линий на двумерном обрабатываемом изображении;

модуль сопоставления для сопоставления двумерного изображения, подлежащего обработке, с таблицей сопоставления сетки для получения первого изображения, при этом таблица сопоставления сетки используется для представления взаимосвязи между ячейками с изображениями;

модуль зеркального отображения для зеркального отображения первого изображения для получения второго изображения; а также

модуль соединения для соединения первого изображения и второго изображения для получения наложенного изображения первого изображения и второго изображения.

8. Устройство обработки изображения, содержащее:

память и процессор, которые связаны друг с другом, причем компьютерные инструкции хранятся в памяти, а процессор используется для выполнения компьютерных инструкций, чтобы реализовать способ обработки изображения по любому из пп. 1-6.

9. Машиночитаемый носитель данных, в котором компьютерные инструкции хранятся на машиночитаемом носителе данных и используются для обеспечения возможности компьютеру реализовать способ обработки изображения по любому из пп. 1-6.

10. Система трехмерной визуализации, содержащая:

устройство получения изображения, содержащее одиночную линзу в качестве линзы для получения изображений, используемую для получения двумерного изображения, подлежащего обработке;

устройство обработки изображения по п. 8, электрически подключенное к устройству получения изображения и используемое для обработки двумерного изображения, подлежащего обработке; а также

устройство отображения изображения, электрически связанное с устройством обработки изображения и используемое для отображения трехмерного изображения.