ОБРАБОТКА ИЗОБРАЖЕНИЙ ДЛЯ ИЗОБРАЖЕНИЙ С РАСШИРЕННЫМ ДИНАМИЧЕСКИМ ДИАПАЗОНОМ (HDR) Российский патент 2016 года по МПК G06K9/36 G06T5/00 

Описание патента на изобретение RU2580093C2

Часть раскрытия данного патентного документа содержит материал, который является предметом защиты авторского права. Владелец авторских прав не возражает против факсимильного воспроизведения кем-либо указанного патентного документа или раскрытия сущности запатентованного изобретения, как оно фигурирует в патентном фонде и регистрациях Ведомства по регистрации патентов и товарных знаков, однако сохраняет за собой все авторские права.

ПЕРЕКРЕСТНАЯ ССЫЛКА НА РОДСТВЕННЫЕ ЗАЯВКИ

[0001] Данная заявка заявляет приоритет предварительной заявки на патент США №61/681061, поданной 8 августа 2012 г., которая ссылкой полностью включается в настоящее раскрытие.

ОБЛАСТЬ ТЕХНИКИ

[0002] Настоящее изобретение в целом относится к обработке изображений. Конкретнее, один из вариантов осуществления настоящего изобретения относится к обработке изображений с расширенным динамическим диапазоном (HDR).

ПРЕДПОСЫЛКИ

[0003] Некоторые современные или унаследованные цифровые изображения соответствуют 24-битным форматам. Эти изображения включают вплоть до 24 бит для хранения как цветовой информации, так и информации яркости, такой как данные освещенности и цветности, для каждого пиксела на изображении. Указанные форматы сохраняют достаточно информации об изображении для того, чтобы позволить представлять или воспроизводить изображение унаследованными электронными дисплеями, и поэтому считаются стандартами, относящимися к выводу. Унаследованные дисплеи, как правило, имеют динамический диапазон (DR) в три порядка величины. Однако, поскольку нормальное человеческое зрение может различать контрастность до 1:10000 или более, могут восприниматься изображения со значительно более широкими динамическими диапазонами.

[0004] Развитие современной технологии электронных дисплеев допускает представление и воспроизведение изображений с более широким динамическим диапазоном, который значительно превышает DR унаследованных дисплеев. Изображения с расширенным динамическим диапазоном (HDR) более точно отображают сцены реального мира, чем форматы изображений, которые соответствуют стандартам, относящимся к выводу. Так, HDR-изображения можно считать относящимися к сценам. В контексте HDR-изображений и дисплеев, которые способны их представлять, унаследованные или другие изображения и дисплеи с более ограниченным DR можно в данном раскрытии именовать изображениями/дисплеями с узким динамическим диапазоном (LDR).

[0005] Подходы, описываемые в данном разделе, представляют собой подходы, которые могли быть осуществлены, но необязательно являются подходами, которые были созданы или осуществлены ранее. Поэтому, если не указано иное, не следует полагать, что любой из подходов, описываемых в данном разделе, квалифицируется как известный уровень техники единственно в силу его включения в данный раздел. Аналогично, если не указано иное, проблемы, отождествляемые с одним или несколькими подходами, не следует на основе данного раздела полагать признанными в известном уровне техники.

КРАТКОЕ ОПИСАНИЕ ГРАФИЧЕСКИХ МАТЕРИАЛОВ

[0006] Настоящее изобретение иллюстрируется на примере, без ограничения, на фигурах сопроводительных графических материалов, где сходные ссылочные позиции относятся к сходным элементам, и где:

[0007] ФИГ. 1A изображает один из примеров системы локального многомасштабного тонального отображения в соответствии с одним из вариантов осуществления настоящего изобретения;

[0008] ФИГ. 1 В изображает один из примеров процесса кодирования изображения в соответствии с одним из вариантов осуществления настоящего изобретения;

[0009] ФИГ. 2 изображает один из примеров способа локального многомасштабного тонального отображения в соответствии с одним из вариантов осуществления настоящего изобретения;

[0010] ФИГ. 3А и ФИГ. 3B, соответственно, изображают один из примеров блока HCTN и соответствующую многомасштабную фильтрацию в соответствии с одним из вариантов осуществления настоящего изобретения;

[0011] ФИГ. 4A, ФИГ. 4B и ФИГ. 4C, соответственно, изображают один из примеров блока многомасштабных фильтров, соответствующий одному из примеров реализации многомасштабной фильтрации, и пример процесса в соответствии с одним из вариантов осуществления настоящего изобретения;

[0012] ФИГ. 5 изображает один из примеров процессора изображения отношений в соответствии с одним из вариантов осуществления настоящего изобретения;

[0013] ФИГ. 6А и ФИГ. 6 В изображает пример потока данных процесса кодирования для HDR-изображений в соответствии с одним из вариантов осуществления настоящего изобретения;

[0014] ФИГ. 7 изображает один из процессов экспозиции слияния-объединения для демонстрации HDR-изображения в соответствии с одним из вариантов осуществления настоящего изобретения; и

[0015] ФИГ. 8А и ФИГ. 8 В изображают примеры процессов кодирования и декодирования JPEG-HDR, поддерживающих широкую цветовую гамму и несколько цветовых пространств в соответствии с вариантами осуществления изобретения.

ОПИСАНИЕ ИЛЛЮСТРАТИВНЫХ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯ

[0016] В настоящем раскрытии описываются иллюстративные варианты осуществления изобретения, которые относятся к обработке изображений для HDR-изображений. В нижеследующем описании для целей разъяснения излагаются многочисленные конкретные подробности, предназначенные для обеспечения исчерпывающего понимания настоящего изобретения. Однако должно быть ясно, что настоящее изобретение может применяться на практике без указанных конкретных подробностей. В других случаях хорошо известные конструкции и устройства не описываются в исчерпывающих подробностях во избежание излишнего затруднения понимания или запутывания особенностей настоящего изобретения.

ОБЗОР - HDR-ИЗОБРАЖЕНИЯ

[0017] Данный обзор представляет базовое описание некоторых особенностей иллюстративных вариантов осуществления настоящего изобретения. Следует отметить, что данный обзор не является всесторонним и исчерпывающим кратким описанием особенностей возможного варианта осуществления изобретения. Более того, следует отметить, что данный обзор не должен трактоваться как идентифицирующий любые практически важные особенности или элементы возможного варианта осуществления изобретения, как очерчивающий какой-либо объем возможного варианта осуществления изобретения ни в частности, ни в общем. Данный обзор лишь представляет некоторые концепции, которые относятся к примеру возможного варианта осуществления изобретения в сжатой и упрощенной форме, и его следует понимать как лишь абстрактное вступление к нижеследующему более подробному описанию примера одного из вариантов осуществления изобретения.

[0018] Один из иллюстративных вариантов осуществления настоящего изобретения относится к кодированию HDR-изображений. Для логарифмических освещенностей на входном HDR-изображении вычисляется гистограмма, предназначенная для генерирования тонального отображения, наряду с которым вычисляется изображение глобального тонального отображения логарифмической освещенности. Размер изображения глобального тонального отображения логарифмических освещенностей уменьшается. Логарифмические освещенности и изображение глобального тонального отображения логарифмических освещенностей образуют логарифмическое изображение отношений. Многомасштабная фильтрация разрешающей способности логарифмического изображения отношений генерирует логарифмическое многомасштабное изображение отношений. Логарифмическое многомасштабное изображение отношений и логарифмические освещенности образуют второе логарифмическое тонально отображенное изображение, которое нормируется для вывода тонально отображенного изображения на основе изображения глобального тонального отображения логарифмических освещенностей с уменьшенным размера и нормированного изображения. Входное HDR-изображение и выходное тонально отображенное изображение образуют второе изображение отношений, которое квантуется.

[0019] Массив активных устройств (например, транзисторов) располагается в полупроводниковом кристалле. Активные устройства конфигурируются или функционально связываются так, чтобы они действовали как кодер изображения. Кодер содержит первое устройство тонального отображения, предназначенное для вычисления гистограммы логарифмических значений освещенности, которые получаются из каждого пиксела входного изображения с расширенным динамический диапазоном (HDR). Устройство тонального отображения представляет первое изображение отношений вычисленными значениями гистограммы. Многомасштабный фильтр-прореживатель рекуррентно уменьшает размер первого изображения отношений и подвергает каждый его пиксел фильтрации с пропусканием нижних частот в горизонтальном направлении и в вертикальном направлении. В зависимости от размера первого изображения отношений первое изображение отношений прореживается и фильтруется по одному, двум или трем уровням. Таким образом, на каждом из указанных уровней представляется соответствующее изображение отношений. Каждое из соответствующих изображений отношений записывается на носитель данных (например, в память), который является независимым (например, внешним) по отношению к IC-устройству. Усилитель взвешивает на каждом из уровней фильтрованные пикселы каждого из соответствующих изображений отношений с масштабным коэффициентом, который соответствует каждому из уровней, на которых функционирует указанный прореживатель. Устройство билинейной интерполяции увеличивает размер каждого из взвешенных изображений отношений до уровня, который является следующим за каждым из предыдущих уровней. Сумматор на каждом из уровней суммирует каждое из взвешенных изображений отношений с взвешенным изображением отношений из ближайшего предыдущего уровня. Второе устройство тонального отображения тонально отображает базовое изображение и его тонально отображенное изображение отношений, каждое из которых соответствует входному HDR-изображению, но с более узким динамическим диапазоном. Базовое изображение и его базовое изображение отношений квантуются. Квантованные базовое изображение и его базовое изображение отношений могут представлять собой вывод, например, в кодер JPEG для сжатия в формат JPEG.

[0020] Некоторые современные электронные дисплеи по существу выдают относящиеся к сценам HDR-изображения, которые превышают возможности DR унаследованных дисплеев. В контексте возможностей DR дисплеев термины «представлять», «воспроизводить», «восстанавливать», «представлять», «выводить» и «генерировать» могут использоваться в настоящем раскрытии синонимично и/или взаимозаменяемо. Один из вариантов осуществления настоящего изобретения эффективен как с современными дисплеями, так и с унаследованными дисплеями. Один из вариантов осуществления изобретения позволяет современным дисплеям, имеющим такую возможность, представлять HDR-изображения по существу с их полной контрастностью и обратно совместимым образом позволяет унаследованным дисплейным устройствам и дисплейным устройствам с LDR представлять изображение в пределах их собственных, несколько более ограниченных, возможностей воспроизведения DR. Один из вариантов осуществления изобретения поддерживает указанную обратную совместимость с LDR-дисплеями, а также новые дисплейные технологии HDR.

[0021] Один из вариантов осуществления изобретения по существу представляет HDR-изображение с тонально отображенным базовым изображением (как, например, в случае изображения, которое имеет меньший DR, чем у соответствующего HDR-экземпляра изображения) наряду с кодированными метаданными, что обеспечивает дополнительную информацию об изображении. Дополнительная информация включает данные, относящиеся к интенсивности изображения (например, освещенность, сигнал яркости), и/или данные, относящиеся к цвету (например, цветность, насыщенность цвета). Дополнительные данные относятся к разности в DR между HDR-экземпляром изображения и соответствующим экземпляром базового изображения. Таким образом, первый (например, унаследованный) дисплей, который имеет относительно ограниченные возможности воспроизведения DR, может использовать тонально отображенное изображение для представления изображения с нормальным DR, например, в соответствии с существующими, установленными или популярными стандартами сжатия/распаковки (кодек).

[0022] Один из иллюстративных вариантов осуществления изобретения позволяет обрабатывать изображения с нормальным DR в соответствии со стандартом JPEG, разработанным группой экспертов в области фотографии Международного союза телекоммуникаций и Международной электротехнической комиссии, JPEG ISO/IEC 10918-1 ITU-T Rec. T.81, который ссылкой включен в настоящее раскрытие полностью во всей полноте, как изложенный в настоящем раскрытии полностью. Кроме того, второй (например, современный) дисплей с возможностью HDR может обрабатывать тонально отображенное изображение наряду с метаданными изображения с целью эффективного представления HDR-изображения. С одной стороны, тонально отображенное изображение используется для представления изображения с нормальным динамическим диапазоном на унаследованном дисплее. С другой стороны, с тонально отображенным изображением могут использоваться дополнительные метаданные, предназначенные для генерирования, восстановления или представления HDR-изображения (например, HDR-дисплеем). Один из вариантов осуществления изобретения использует оператор тонального отображения (TMO) для создания экземпляров тонально отображенного изображения.

[0023] Для относительно эффективного создания тонально отображенных изображений могут использоваться различные операторы TMO, такие как глобальный фотографический оператор Рейнхарда. Там, где вычислительные затраты несущественны, доступны или иным образом пренебрежимы, для создания относительно высококачественных тонально отображенных изображений может использоваться билатеральный фильтр. Билатеральная фильтрация помогает сохранять такие детали изображения, например в его ярких областях, которые может терять более экономный в вычислительном отношении оператор Рейнхарда. В дополнение, или в альтернативном варианте, могут использоваться операторы TMO корректировки гистограммы и/или операторы ТМО в градиентной области.

[0024] В одном из вариантов осуществления изобретения формат изображения дееспособно и эффективно представляет HDR-изображения как изображения, не обладающие HDR. Варианты осуществления изобретения могут функционировать в формате JPEG и/или в других разнообразных форматах изображений. Например, варианты осуществления изобретения могут функционировать с одним или несколькими из форматов MPEG, AVI, TIFF, BMP, GIF или другими пригодными форматами, которые хорошо знакомы квалифицированным специалистам в областях, относящихся к изображениям. Один из вариантов осуществления изобретения функционирует в соответствии с форматом изображений JPEG-HDR, описанным в публикациях Ward, Greg и Simmons, Maryanne, "Subband Encoding of High Dynamic Range Imagery," in First ACM Symposium on Applied Perception in Graphics and Visualization (APGV), pp.83-90 (2004); Ward, Greg и Simmons, Maryanne, "JPEG-HDR: Backwards-Compatible, High Dynamic Range Extension to JPEG," in Proceedings of the Thirteenth Color Imaging Conference, pp.283-290 (2005); и E. Reinhard, G. Ward, et al. «High Dynamic Range Imaging - Acquisition, Display and Image-Based Lighting», pp.105-108, Elsevier, MA (2010), которые ссылкой включены в настоящее раскрытие во всей полноте, как изложенные в настоящем раскрытии полностью.

[0025] Для отображения изображений на различных устройствах представления изображений операторы тонального отображения (TMO) обрабатывают входные HDR-изображения в тонально отображенные (TM) базовые изображения. Базовые TМ-изображения могут включать изменения цвета (например, изменения цветового тона, отсечения цветов, художественные эффекты и т.д.) относительно входного изображения. Согласно некоторым методикам для реконструкции HDR-изображений, эквивалентных входным HDR-изображениям, базовые ТМ-изображения доставляются в расположенные ниже декодеры изображений наряду с отношениями освещенностей. Однако расположенный ниже декодер изображений может не иметь возможности устранять изменения цвета в реконструированном HDR-изображении, полагаясь на базовое ТМ-изображение и отношения освещенностей шкалы серого. В результате, изменения цвета на реконструированном РВК-изображении могут оставаться заметными.

[0026] Кодеры HDR-изображений согласно одному из вариантов осуществления изобретения, описываемому в настоящем раскрытии, создают не только отношения освещенностей, но также остаточные значения цветов на основе входного HDR-изображения и базового ТМ-изображения. Отношения освещенностей и остаточные значения цветов могут совместно обозначаться как данные о реконструкции HDR. Необязательно и/или в качестве дополнения с целью поддержки относительно широкого диапазона значений освещенностей отношения освещенностей преобразовываются в логарифмическую область. Необязательно и/или в качестве дополнения результирующие логарифмические отношения освещенностей и остаточные значения цветов квантуются. Необязательно и/или в качестве дополнения квантованные логарифмические отношения и остаточные значения цветов сохраняются в остаточном изображении. Квантованные логарифмические отношения и остаточные значения цветов или, в некоторых вариантах осуществления изобретения остаточное изображение, доставляются с базовым ТМ-изображением в расположенный ниже декодер изображений. Необязательно и/или в качестве дополнения параметры, относящиеся к квантованным логарифмическим отношениям и остаточным значениям цветов (например, границы диапазонов и т.д.), также доставляются совместно с базовым ТМ-изображением.

[0027] ТМО согласно одному из вариантов осуществления изобретения, описываемому в настоящем раскрытии, может свободно выполнять отсечение цветов в цветовых каналах для отдельных пикселов с низкими (черные) и высокими (белые) уровнями освещенности. Также ТМО, описываемый в настоящем раскрытии, необязательно поддерживает цветовой тон для каждого пиксела. Согласно методикам, описываемым в настоящем раскрытии, пользователь может выбирать ТМО на основе содержимого изображения (например, фигуры людей, изображение помещения, сцена вне помещения, ночной вид, закат и т.д.) или вариантов применения (например, использование в кинофильме, на плакате, свадебной фотографии, журнале и т.д.). Отсечения или модификации цветов могут преднамеренно и свободно использоваться для создания художественных эффектов на изображении. Кодеры и декодеры HDR-изображений в настоящем раскрытии поддерживают ТМО, реализованные различными типами редактирующего программного обеспечения и производителей фотоаппаратов, которые могут вводить расширенный диапазон возможных изменений цветов. Согласно методикам, описываемым в настоящем раскрытии, кодеры HDR доставляют в декодеры HDR остаточные значения цветов. Указанные декодеры HDR, в свою очередь, используют остаточные значения цветов для предотвращения (или минимизации) присутствия изменений цветов на реконструированных HDR-изображениях.

[0028] Один из вариантов осуществления изобретения может использовать битовые потоки и/или файлы изображений для хранения и доставки базовых ТМ-изображений и их соответствующих данных реконструкции HDR на средства просмотра изображений или декодеры в нисходящем направлении с целью декодирования и/или представления. В одном из иллюстративных вариантов осуществления изобретения формат изображения поддерживает ТМО, который может реализовываться различными редактирующими программными приложениями и/или производителями фотоаппаратов. Иллюстративные варианты осуществления изобретения могут функционировать с различными форматами изображений, в том числе, например, с форматами изображений стандарта JPEG и расширенными, усовершенствованными, дополненными или улучшенными форматами, относящимися к JPEG, такими как JPEG-HDR. В дополнение, в качестве альтернативы или необязательно, один из иллюстративных вариантов осуществления изобретения может использовать формат изображения, который основывается на кодеке/стандарте или используется совместно с ним, который отличается одной или несколькими существенными особенностями, атрибутами, объектами, техническими характеристиками кодирования или рабочими параметрами относительно тех, которые могут использоваться с форматом изображений, относящимся к JPEG. Один из иллюстративных вариантов осуществления изобретения использует формат JPEG-HDR для поддержки сохранения базового ТМ-изображения с отношениями освещенностей и остаточными значениями цветов. В дополнение, в качестве альтернативы или необязательно одно из базового ТМ-изображения и остаточного изображения, хранящегося в файле изображения, или оба могут сжиматься. В одном из иллюстративных вариантов осуществления изобретения сжатие данных изображения выполняется в соответствии со стандартом JPEG. В дополнение, в качестве альтернативы или необязательно один из иллюстративных вариантов осуществления изобретения может выполнять сжатие в соответствии со стандартом, который отличается одной или несколькими существенными особенностями, атрибутами, объектами, техническими характеристиками кодирования или рабочими параметрами в отношении тех, которые могут использоваться в формате изображения, относящемся к JPEG.

[0029] В то время как формат JPEG ограничен LDR-изображениями, JPEG-HDR по существу включает обратно совместимое HDR-расширение для формата JPEG. JPEG-HDR одновременно поддерживает представление HDR-изображений на новых дисплейных устройствах HDR и представление изображений без HDR (например, LDR) на дисплейных устройствах с HDR или без HDR. JPEG-HDR сохраняет тонально отображенное изображение в стандартных положениях (например, в битовом потоке, в формате диска и т. д.), которые определены в JPEG, и сохраняет дополнительные метаданные в новых положениях, которые могут игнорироваться дисплейными устройствами без HDR. Дополнительные метаданные могут использоваться совместно с тонально отображенным изображением для генерирования/восстановления HDR-версии оригинального HDR-изображения.

[0030] В одном из вариантов осуществления изобретения кодер JPEG-HDR реализован в устройстве на основе интегральной микросхемы (IC) или расположен в этом устройстве. В одном из вариантов осуществления изобретения устройства, схемы и/или механизмы, описываемые в настоящем раскрытии, включают компонент в фотоаппарате или другой системе регистрации и представления или демонстрации изображений, сотовом радиотелефоне, личном цифровом помощнике (PDA) или персональном, переносном или бытовом устройстве (например, рассчитанном для изображений, вычислений, кинофильмов, музыки, информации, развлечений, расчетов, голоса).

[0031] Один из вариантов осуществления изобретения может выполнять одну или несколько функций, описанных в патентной заявке №PCT/US2012/033795, поданной 16 апреля 2012 г. согласно Договору о патентном сотрудничестве (PCT), авторами Wenhui Jia, et al., озаглавленной «ENCODING, DECODING, AND REPRESENTING HIGH DYNAMIC RANGE IMAGES», или в технической спецификации Dolby Laboratories «JPEG-HDR Encoder and Decoder Algorithm Specification», которая включена в настоящее раскрытие во всей полноте, копия которой прилагается к данному описанию (при подаче) как Приложение «А».

[0032] Один из вариантов осуществления изобретения может выполнять одну или несколько функций, описанных в патентной заявке №PCT/US2012/027267, поданной 1 марта 2012 г. согласно Договору о патентном сотрудничестве (PCT), автором Gregory John Ward, озаглавленной «LOCAL MULTI-SCALE TONE MAPPING OPERATOR», которая ссылкой включена в настоящее раскрытие во всей полноте.

[0033] Различные модификации предпочтительных вариантов осуществления изобретения, общих принципов и характерных признаков, описываемых в настоящем раскрытии, будут понятны специалистам в данной области. Поэтому данное раскрытие не предназначено для ограничения показанных вариантов осуществления изобретения, но должно соответствовать наиболее широкому объему, соответствующим принципам и характерным признакам, описываемым в настоящем раскрытии.

ПРИМЕР КОДЕРА JPEG HDR

[0034] В одном из вариантов осуществления изобретения кодер JPEG HDR реализован в устройстве на основе интегральной микросхемы (IC), которое общепринято именуется кристаллом. Например, кодер может быть расположен внутри IC-устройства. IC-устройство может быть реализовано как специализированное IC-устройство (ASIC), процессор цифровой обработки сигналов (DSP), программируемая пользователем вентильная матрица (FPGA) и/или графический процессор. IC-устройство может быть реализовано как система на кристалле (SOC) с ASIC или с одним или несколькими конфигурируемыми, или программируемыми, устройствами, такими как микропроцессор, программируемое логическое устройство (PLD), программируемая пользователем вентильная матрица (FPGA) или микроконтроллер.

[0035] IC-устройство содержит массив таких активных компонентов устройства, как транзисторы, которые расположены внутри полупроводникового кристалла. Активные компоненты устройства выстроены в массив, упорядочены, сконфигурированы и/или запрограммированы для функционирования в качестве модулей, регистров, элементов кэш-памяти, логических вентилей, логических и вычислительных элементов (например, арифметических/с плавающей запятой) или для выполнения других операций, которые могут соответствовать кодированию JPEG HDR. Активные компоненты массива взаимосвязаны с, по меньшей мере, частично проводящей трассировочной системой коммутации, такой как сеть трасс/межслойных соединений, решетка адресных линий/числовых шин и т.п., которые располагаются внутри кристалла, допуская электрический/электронный обмен сигналами и данными между активными компонентами устройства и различными функциональными модулями, которые формируются посредством этого. Активные компоненты являются оперативно адресуемыми (например, посредством узлов или участков трассировочной системы коммутации) с, по меньшей мере, частично проводящим интерфейсом, который допускает электрическую, электронную и/или коммуникативную связанность с источниками сигналов, данных или энергии, которые являются внешними по отношению к IC-устройству.

[0036] Один из примеров варианта осуществления кодера JPEG HDR описан в настоящем раскрытии как реализованный посредством ASIC. Для ясности, простоты, краткости и связности пример реализации на основе ASIC, описываемый в настоящем раскрытии, также представляет конфигурируемые и программируемые реализации IC. ФИГ. 1А изображает один из примеров кодера 10 JPEG HDR согласно одному из вариантов осуществления настоящего изобретения.

[0037] Пример кодера 10 реализован при помощи ASIC. Кодер 10 принимает входные изображения через интерфейс развитой высокопроизводительной шины (AHB). Предварительное тональное отображение PRE_TM преобразовывает данные входного изображения в формат, который является пригодным для тонального отображения. PRE_TM выполняет повышающую дискретизацию цветности, например, от формата дискретизации цветности 4:2:2 до формата 4:4:4. PRE_TM преобразовывает цветовое пространство ввода изображения (например, YCbCr) в такое трехцветное цветовое пространство, как RGB. Pre_TM выполняет обратную (инверсную) гамма (γ) коррекцию на изображении, преобразованном в RGB.

[0038] Кодер 10 выполняет функцию тонального отображения, которая генерирует из входного HDR-изображения тонально отображенное базовое изображение. Кодер 10 можно быть реализован для обработки HDR-изображений, которые являются входными во многих форматах, таких, как примеры входных форматов, показанные ниже в Таблице 1.

ТАБЛИЦА 1

ФОРМАТ БИТОВАЯ ГЛУБИНА Линейный RGB 16, 14, 12 Линейный YCbCr 4:2:2 16, 14, 12 Линейный YCbCr 4:4:4 16, 14, 12 RGB с гамма-коррекцией 14, 12, 10 YCbCr 4:2:2 с гамма-коррекцией 14, 12, 10 YCbCr 4:4:4 с гамма-коррекцией 14, 12, 10

[0039] Функция тонального отображения включает оператор многомасштабного тонального отображения с коррекцией гистограммы (HAMS-TMO), который использует адаптивное выравнивание гистограммы с ограниченным контрастом (CLAHE) для выполнения нормировочной функции тонального отображения на входных HDR-изображениях. Нормировочная функция может быть реализована нормировкой тонального отображения гистограммы CLAHE (HCTN) на входных изображениях. HAMS-TMO HCTN выводит нормированное тонально отображенное базовое изображение в линейном 12-битном формате RGB. Ниже (ФИГ. 2 и ФИГ. 3) описаны примеры вариантов осуществления HAMS-TMO HCTN. Процессор изображения отношений RI_Proc может вычислять и обрабатывать одно или несколько изображений отношений, исходя из нормированного тонально отображенного базового изображения.

[0040] В ходе обработки HAMS-TMO HCTN последующее тональное отображение Post_TM восстанавливает гамма-коррекцию по нормированному 12-битному изображению RGB и генерирует из него 8-битное изображение RGB. Post_TM отвечает за отправку тонально отображенного базового изображения в кодер JPEG для сжатия. Post_TM преобразовывает цветовое пространство RGB 8-битного изображения, подвергнутого повторной гамма-коррекции, в изображение YCbCr с цветовым форматом, совместимым с JPEG, (например, 4:2:2 или 4:2:0). Например, Post-TMO может включать следующие операции: гамма-кодирование (где 12-битный ввод RGB переводится в 8-битный ввод, как правило, через определяемую пользователем справочную таблицу), преобразование цветов RGB в YCbCr (например, посредством матричного преобразования цветов 3x3) и преобразование 4:4:4 в 4:2:2 или 4:2:0 посредством соответствующей субдискретизации цветовых плоскостей цветности. Кодер 10 может содержать более одного модуля подблока последующего тонального отображения Post_TM. Например, кодер 10 может реализовываться с тремя (3) подблоками Post_TM.

[0041] ФИГ. 1 В изображает один из примеров процесса 100 кодирования в соответствии с одним из вариантов осуществления настоящего изобретения. В одном из вариантов осуществления изобретения кодер 10 действует так, как описано в отношении процесса 100, при приеме или получении доступа к входному HDR-изображению. На этапе 101 на основе значений логарифмической (log) освещенности пикселов вычисляется гистограмма. На этапе 102 на основе вычисленной гистограммы генерируется кривая тонального отображения. На этапе 103 на основе значений логарифмической освещенности пикселов входного HDR-изображения и кривой тонального отображения вычисляется изображение глобального тонального отображения логарифмических освещенностей.

[0042] На этапе 104 изображение глобального тонального отображения логарифмических освещенностей подвергается понижающей дискретизации (например, прореживается по вертикали и по горизонтали) для вычисления уменьшенного изображения глобального тонального отображения логарифмических освещенностей. На этапе 105 на основе уменьшенного изображения глобального тонального отображения логарифмических освещенностей и значений логарифмической освещенности пикселов входного HDR-изображения вычисляется логарифмическое изображение отношений. На этапе 106 на логарифмическом изображении отношений выполняется многомасштабная фильтрация с целью генерирования логарифмического многомасштабного изображения отношений. Второе логарифмическое тонально отображенное изображение генерируется на этапе 107 на основе логарифмического многомасштабного изображения отношений и логарифмических значений освещенности пикселов входного HDR-изображения.

[0043] На этапе 108 второе логарифмическое тонально отображенное изображение нормируется с целью изменения диапазона значений интенсивности пикселов и достижения выравнивания контрастности, и на его основе, а также на основе уменьшенного изображения глобального тонального отображения логарифмических освещенностей генерируется выходное тонально отображенное изображение. Второе изображение отношений генерируется на этапе 109 на основе выходного тонально отображенного изображения и входного HDR-изображения. На этапе 110 второе изображение отношений квантуется. На этапе 111 выходное тонально отображенное изображение и квантованное второе изображение отношений выводятся в кодер JPEG. На каждом этапе иллюстративного процесса 100 генерируемые изображения, подвергнутые глобальному тональному отображению, и изображения отношений могут записываться во внешнюю память и/или считываться из внешней памяти, например, через интерфейсы примера кодера 10.

[0044] ФИГ. 2 изображает пример устройства 200 многомасштабного тонального отображения с коррекцией гистограммы в соответствии с одним из вариантов осуществления настоящего изобретения. В одном из вариантов осуществления изобретения устройство 200 многомасштабного тонального отображения с коррекцией гистограммы реализует вышеописанную (ФИГ. 1) функцию HAMS-TMO HCTN. HAMS-TMO 200 принимает HDR-изображение в трехцветном (например, RGB) или другом (например, YCbCr) цветовом пространстве. Модуль (201) освещенности вычисляет 16-битные значения Y освещенности по входному HDR-изображению RGB. Модуль LOG (202) логарифмических освещенностей преобразовывает значение Y освещенности из линейной области в логарифмическую область. Модуль LOG 202 реализует преобразование в логарифмы значений освещенности Y по основанию 2, «logY».

[0045] При преобразовании 16-битных значений освещенности модуль LOG сохраняет результирующие значения логарифмов по основанию 2 (log2) logY как данные Q4.12 (например, 4 бита перед смысловой двоичной запятой и 12 бит после). Например, логарифмы включают целочисленную и дробную составляющие. Таким образом, один из вариантов осуществления изобретения разделяет целочисленную составляющую logY и дробную составляющую logY для реализации логарифма по основанию 2, log2Y. Целочисленная часть вычисляется в соответствии с количеством сдвигов влево при нормировании, а дробные 8 бит индексируются в справочную таблицу LUT, например, как показано ниже в примере псевдокода в Таблице 2.

ТАБЛИЦА 2

[0046] Гистограмма HIST (203), которая содержит 512 двоичных значений строится исходя из дробной составляющей logY. Дробные значения логарифмической освещенности обрабатываются как 16-битные целочисленные величины. Так, интервал между двоичными значениями включает 65536/512=128. Затем HAMS-TMO 200 выполняет корректировки CLAHE на гистограмме. Динамический диапазон вычисляется исходя из гистограммы, например, в соответствии с примером псевдокода, показанным ниже в Таблице 3А.

ТАБЛИЦА 3A

[0047] Выходной динамический диапазон (ODR) выполнен с возможностью конфигурирования со значением по умолчанию 3,5 в области натуральных логарифмов (по основанию е), которая переводится в значение пять (5) по основанию 2. Коэффициент отсечения гистограммы «cf» вычисляется, например, согласно

и гистограмма может корректироваться им по нескольким операциям, например, в соответствии с псевдокодом, показанным ниже в Таблице 3 В.

ТАБЛИЦА 3B

Совокупная гистограмма вычисляется исходя из гистограммы, скорректированной и отображенной в 12-битную логарифмическую область в формате данных Q4.12, например, в соответствии с псевдокодом, показанным ниже в Таблице 3С.

ТАБЛИЦА 3C

[0048] Такое выравнивание гистограммы CLAHE генерирует кривую отображения, которая реализуется как оператор глобального тонального отображения для изображения logY. Так как кривая отображения содержит 512 двоичных значений, линейная интерполяция вычисляется по значениям освещенности в каждом из 512 двоичных значений, например, в соответствии с псевдокодом, показанным ниже в Таблице 3D.

ТАБЛИЦА 3D

Вывод отображения CLAHE включает изображение (204) logY в формате Q4.12. В одном из вариантов осуществления изобретения HAMS-TMO 200 реализован с блоком, который выполняет функцию нормирования тонального отображения гистограммы CLAHE (адаптивного выравнивания гистограммы с ограниченным контрастом).

[0049] ФИГ. 3А и ФИГ. 3 В, соответственно, изображают пример блока 30 нормирования тонального отображения гистограммы CLAHE (HCTN) и ход соответствующего иллюстративного процесса 300 HCTN согласно варианту осуществления настоящего изобретения. Блок 30 HCTN может быть реализован для поддержки изображений из 25 и более миллионов пикселов. При получении входного изображения в трехцветном (например, RGB) или другом (например, YCbCr) цветовом пространстве HCTN 30 вычисляет его значение Y освещенности (этап 301 процесса). На этапе 302 значения Y экспортируются в логическую схему совместного использования для вычисления соответствующих им значений логарифмов «logY», которые возвращаются в блок 30 HCTN. На этапе 303 на основе значений logY гистограмма вычисляется и сохраняется в таблице «ht0». После подсчета всех пикселов входного изображения на этапе 304 с целью нормирования значений гистограммы ht0 вычисляется адаптивное выравнивание гистограммы с ограниченным контрастом (CLAHE).

[0050] После подсчета всех пикселов входного изображения на этапе 304 с целью нормирования значений гистограммы ht0 вычисляется адаптивное выравнивание гистограммы с ограниченным контрастом (CLAHE). На этапе 305 буферизованные значения logY интерполируются, и, таким образом, генерируется логарифмическое тонально отображенное изображение «logYtm». Например, кривая тонального отображения реализуется по 512 двоичным значениям гистограммы. Таким образом, для получения logYtm вычисляется линейная интерполяция по значениям освещенности в каждом из 512 двоичных значений. На этапе 306 на основе значений logY и изображения logYtm с использованием функции вычитания, исполняемой в логарифмической области, вычисляется логарифмическое изображение отношений «logRI»: logRI=logYtm - logY. На этапе 307 гистограмма LogY затем отсекается. На этапе 308 после многомасштабной фильтрации тонально отображенные значения logY нормируются по отношению к линейным значениям Y' освещенности. На этапе 309 на линейных тонально отображенных значениях Y' с целью вывода конечного тонально отображенного изображения может применяться необязательная функция кривой.

[0051] ФИГ. 4A, ФИГ. 4B и ФИГ. 4C, соответственно, изображают пример блока 4000 многомасштабного фильтра (MSF) и соответствующие примеры реализации многомасштабной фильтрации и процесса 400 в соответствии с вариантом осуществления настоящего изобретения. Как и блок 30 HCTN (ФИГ. 3A), MSF 4000 может реализовываться для поддержки изображений из 25 и более миллионов пикселов. MSF 4000 прореживает входное логарифмическое изображение отношений IBI посредством предварительно вычисляемого коэффициента (например, 8) в его горизонтальном направлении в его вертикальном направлении. MSF 4000 фильтрует с пропусканием низких частот каждый пиксел, который содержит прореженное изображение по нескольким, например, семи (7), звеньям. Подвергнутое фильтрации с пропусканием нижних частот уменьшенное изображение может затем увеличиваться в размере, например, посредством того же самого предварительно вычисляемого коэффициента, что и коэффициент, посредством которым оно было ранее подвергнуто уменьшению размера.

[0052] MSF 4000 предварительно вычисляет несколько «msn» для ступеней, по которым входное изображение масштабируется на основе его оригинального размера на входе, например, в соответствии с примером, реализующим уравнение: msn=floor(log8min(width, height))+1=floor(log2min(width, height)/3)+1. MSF 4000 может реализовываться для прореживания входного логарифмического изображения отношений IBI на коэффициент восемь (8) в его горизонтальном направлении и в его вертикальном направлении по каждой из четырех (4) ступеней на суммарный коэффициент 64 в каждом направлении.

[0053] Таким образом, в варианте осуществления изобретения, изображенном на ФИГ. 4 В, реализация фильтрации включает четыре (4) ступени 40, 41, 42 и 43. Каждая из ступеней 40-43 подвергает изображение прореживанию в вертикальном направлении и в горизонтальном направлении на коэффициент восемь так, что размер изображения уменьшается на коэффициент 82=64, и, таким образом, MSF 4000 подвергает изображение прореживанию на суммарный коэффициент 64. Таким образом, на каждой ступени логарифмическое изображение отношений подвергается уменьшению размера на коэффициент восемь. Указанное уменьшение размера повторяется на каждом уровне msn (например, на каждой ступени), например, в соответствии с псевдокодом, показанным ниже в Таблице 4.

ТАБЛИЦА 4

[0054] На каждой ступени по каждому пикселу прореженных изображений может выполняться 7-звенная фильтрация с пропусканием нижних частот. Реализуется один вариант осуществления изобретения, где каждое прореженное изображение фильтруется сначала в горизонтальном направлении, которое соответствует его первой ориентации в пространстве, а затем фильтруется в вертикальном направлении, которое перпендикулярно в пространстве относительно первой ориентации. Различные масштабированные изображения выравниваются по их границам, например, путем такого заполнения, как зеркальное растягивание.

[0055] На каждой ступени усилитель применяет к изображению отношений весовой коэффициент «Alpha». Для каждой из ступеней «k», где k является целым числом в диапазоне от нуля до msn минус один (k=0, 1,..., msn-1), вариант осуществления изобретения обеспечивает вычисление весового коэффициента Alpha (А) согласно Ak=2*(k+1)/(msn(msn+1)). Сумма весовых коэффициентов равна единице. Может реализовываться вариант осуществления изобретения, где весовой коэффициент вычисляется как 2*(msn-(k-1)+1/msn*(msn+1)или как 1/msn.

[0056] Увеличение размера по фильтрованным изображениям отношений с уменьшенным размером выполняется (msn-1) раз. На каждой ступени к изображениям увеличенного размера добавляется взвешенное логарифмическое изображение отношений. Для реконструкции блока, подвергнутого повышающей дискретизации, вариант осуществления изобретения реализует увеличение размера путем интерполяции (например, билинейной интерполяции) изображений с меньшей разрешающей способностью с предшествующей ступени, например, с использованием четырех (4) точек на пространственных углах изображения и интерполяции в его горизонтальном и вертикальном направлениях.

[0057] Ступень 401 уменьшает размер и фильтрует входное изображение R0 и пропускает первое изображение отношений R1 на ступень 402. Аналогично ступень 402 и каждая из ступеней 403-407 включительно пропускает изображения отношений, подвергнутые дискретизации с пропусканием нижних частот, которые следуют по порядку за изображением отношений, пропущенным до этой ступени от каждой из соответствующей предыдущей ступени на соответствующую следующую ступень. Взвешенное изображение отношений из каждой ступени суммируется с увеличенным изображением со следующей ступени.

[0058] MSF 4000 генерирует тонально отображенные значения сигнала яркости, освещенности или другие относящиеся к интенсивности тонально отображенные величины, которые записываются конфигурационными регистрами во внешнюю память через интерфейс регистров.

[0059] В варианте осуществления изобретения MSF 4000 и/или реализация 400 действует согласно одному или нескольким этапам примера процесса 400 многомасштабной фильтрации разрешающей способности. Пример процесса 400 описан ниже со ссылкой на ФИГ. 4 В и на схему последовательности операций, изображенную на ФИГ. 4С. Процесс 400 начинается с обработки логарифмического изображения отношений R0 (например, генерируемого на этапе 105 по ФИГ. 1 В) путем прогрессивного уменьшения размера изображения на каждом из уровней 41, 42 и 43. На каждом уровне уменьшения размера изображение прогрессивно прореживается в вертикальном направлении и в горизонтальном направлении.

[0060] На этапе 401 размер логарифмического изображения отношений R0 уменьшается вертикально и горизонтально на коэффициент «N», где N является положительным целым числом, например, восемь (8). Таким образом, генерируется уменьшенное логарифмическое изображение отношений первого уровня R1. Затем на этапе 402 уменьшенное логарифмическое изображение отношений первого уровня R1 прореживается на коэффициент N, генерируя уменьшенное логарифмическое изображение отношений второго уровня R2. Затем на этапе 403 уменьшенное логарифмическое изображение отношений второго уровня R2 прореживается на коэффициент N, что генерирует уменьшенное логарифмическое изображение отношений третьего уровня R3. В иллюстративном варианте осуществления изобретения выходное уменьшенное изображение каждого уровня подвергается фильтрации с пропусканием нижних частот. В иллюстративном варианте осуществления изобретения использование всех уровней необязательно.

[0061] На этапе 404 значения пикселов уменьшенного логарифмического изображения отношений третьего уровня R3 масштабируются масштабными коэффициентами третьего уровня (например, Alpha[3]) для генерирования взвешенного изображения отношений третьего уровня R'3. На этапе 405 значения пикселов уменьшенного логарифмического изображения отношений второго уровня R2 масштабируются масштабными коэффициентами второго уровня (например, Alpha[2]) для генерирования масштабированного взвешенного изображения отношений второго уровня R'2. На этапе 406 размер взвешенного изображения отношений третьего уровня R'3 увеличивается на коэффициент N и суммируется с масштабированным взвешенным изображением отношений второго уровня R'2 для генерирования увеличенного логарифмического изображения отношений второго уровня Ȓ2.

[0062] На этапе 407 уменьшенное изображение отношений первого уровня R′1 масштабируется масштабными коэффициентами первого уровня (например, Alpha[1]) для генерирования взвешенного логарифмического изображения отношений первого уровня R′1. На этапе 408 размер увеличенного логарифмического изображения отношений второго уровня Ȓ2е увеличивается на коэффициент N и суммируется с масштабированным взвешенным изображением отношений второго уровня R'2 для генерирования увеличенного логарифмического изображения отношений первого уровняȒ1. На этапе 409 логарифмическое изображение отношений R0 масштабируется масштабными коэффициентами нулевого уровня (например, Alpha[0]) для генерирования взвешенного логарифмического изображения отношений нулевого уровня R′0. На этапе 410 размер увеличенного логарифмического изображения отношений Ȓ1 увеличивается на коэффициент N и суммируется с масштабированным взвешенным изображением отношений нулевого уровня R′0 для генерирования логарифмического многомасштабного изображения отношений Ȓ1. Этапы примера процесса 400 могут быть необязательными.

[0063] ФИГ. 5 изображает пример процессора 500 изображений отношений согласно варианту осуществления настоящего изобретения. Варианты осуществления изобретения реализует RI_Proc (ФИГ. 1) с процессором 500 изображений отношений. Процессор 500 изображений отношений принимает входные изображения из ТМО 200 (ФИГ. 2). На основе значений Y освещенностей для оригинального входного HDR-изображения и значений освещенности тонально отображенного изображения вычисляется отношение освещенностей. Для всего изображения вычисляются минимальное и максимальное значения, которые используются для квантования логарифмических значений освещенности logY и значений CbCr цветности DiffCbCr разностного изображения.

[0064] Значения logY и DiffCbCr сохраняются/записываются во внешнюю память, например, через развитой расширяемый интерфейс (AXI) расширенной шинной архитектуры для микроконтроллеров или через интерфейс с аналогичными возможностями. Сохраненные/записанные извне значения считываются/загружаются обратно через AXI для своевременного квантования. Регистр сдвига с линейной обратной связью (LFSR) генерирует случайные численные значения для псевдосмешения цветов по каналу logY в ходе квантования. RI_Proc 500 выводит квантованные значения DiffCbCr и logY в кодер JPEG, который может выводить в формате JPEG изображения, которые соответствует входному изображению.

[0065] ФИГ. 6А и ФИГ. 6 В, соответственно, изображают пример процесса 60 кодирования и пример его временной шкалы 600 потока данных согласно варианту осуществления настоящего изобретения. При приеме (61) входного HDR-изображения на этапе 62 генерируется гистограмма и уменьшенное LogY изображение LogY1. Гистограмма нормируется. В потоке 600 ядро кодера JPEG-HDR (например, кодер 100; ФИГ. 1) считывает все входное HDR-изображение. Кодер генерирует гистограмму на основе значений LogY пикселов входного изображения, выравнивает гистограмму и записывает LogY1 в буфер Buff_Logl уменьшенного изображения. В варианте осуществления изобретения гистограмма выравнивается с использованием CLAHE.

[0066] На этапе 63 выполняется многомасштабная фильтрация, которая генерирует фактический приходящийся на пиксел коэффициент масштабирования, предназначенный для использования в тональном отображении. На этапе 64 приходящийся на пиксел коэффициент масштабирования применяется на каждом пикселе. Тонально отображенное базовое изображение преобразовывается в 8-битное гамма-кодированное изображение YCbCr4:2:2/4:2:0/4:4:4 и может направляться в кодер JPEG, который записывает сжатое базовое изображение во внешнюю память. Оригинальные и тонально отображенные данные RGB обрабатываются для генерирования необработанного предварительно квантованного изображения отношений, которое также записывается во внешнюю память. На этапе 65 необработанное изображение отношений считывается обратно из внешней памяти и квантуется. Квантованное изображение отношений может представлять собой вывод (66) в кодер JPEG, где оно подвергается сжатию.

ПРИМЕР ВЗВЕШЕННОЙ ЭКСПОЗИЦИИ ДЛЯ HDR-ИЗОБРАЖЕНИЙ НА ОСНОВЕ НЕСКОЛЬКИХ ОБЛАСТЕЙ

[0067] Традиционное бытовое дисплейное устройство низкого уровня, такое, как смартфон, компьютерный монитор и т.п., может быть неспособно демонстрировать полный динамический диапазон изображения JPEG-HDR. В этих случаях, дисплей, как правило, будет выводить тонально отображенную версию соответствующего HDR-изображения с узким динамическим диапазоном (LDR). Это тонально отображенное изображение, как правило, автоматически генерируется фотоаппаратом без ввода от пользователя, поэтому оно может не фиксировать замысел фотографа.

[0068] В некоторых вариантах осуществления изобретения пользователь может просматривать HDR-изображение путем прокрутки с использованием пользовательского интерфейса устройства, такого как сенсорный экран, компьютерная мышь, линейки прокрутки и т.д. В этих случаях пользователь может иметь возможность наблюдать часть изображения с полным динамическим диапазоном, но остальное изображения может демонстрироваться как слишком темное или слишком яркое. Однако пользователь может иметь желание просматривать подробности во многих частях изображения. Поэтому было бы полезно позволить пользователям корректировать экспозицию HDR-изображения на основе представляющих интерес областей.

[0069] В одном варианте осуществления изобретения экспозиция конечного HDR-изображения может учитывать две или более представляющих интерес областей, выбранных пользователем. Эти области могут быть выбраны либо путем фиксации изображения (например, фотоаппаратом или другим фиксирующим устройством), либо после фиксации изображения (например, при демонстрации соответствующего LDR-изображения). В некоторых вариантах осуществления изобретения с интерфейсом с сенсорным экраном (например, iPhone или iPad) эти области могут представлять пикселы с относительно идентичной освещенностью, окружающие один или несколько пикселов, которых касается пользователь. В других вариантах осуществления изобретения пользователь может использовать для выбора этих областей альтернативные интерфейсы, такие как компьютерная мышь, шаровой манипулятор, клавиатура и т.п. В других вариантах осуществления изобретения эти области могут выбираться автоматически на основе предварительно выбранных предпочтений пользователя (например, лица, животные, текст и т.д.).

[0070] В одном варианте осуществления изобретения область, окружающая первую точку касания, может быть установлена на первую оптимальную гамму экспозиции (например, 18% серого). Затем для второй точки касания вычисляется вторая оптимальная гамма экспозиции. Конечное изображение может демонстрироваться с использованием конечной гаммы экспозиции, взвешенной посредством первой и второй гаммы. Это приводит первую и вторую точки касания в пределы динамического диапазона дисплея с плавным переходом к остальной части изображения. Можно идентифицировать любое количество точек, например 3, 4 или N. Весовые коэффициенты могут быть равно усредненными, средними, серединными, пропорционально взвешенными, линейными, нелинейными и/или имеющими верхний предел (максимум/минимум). В частном варианте осуществления изобретения указанная методика может быть отменена по команде пользователя (например, кнопкой «отменить»).

[0071] Как изображено на ФИГ. 7, в другом варианте осуществления изобретения результирующее изображение может генерироваться с использованием процесса слияния-объединения. В этом процессе для каждой выбранной представляющей интерес точки (710) процесс генерирует соответствующее экспонируемое LDR-изображение (720). При условии N таких экспозиций (или LDR-изображений), создаваемых из оригинального HDR-изображения, вариант осуществления изобретения может создавать слитое изображение путем соответствующего плавного перехода всех N экспозиций в одно выходное изображение (730). Пример указанного процесса слияния может реализовываться с использованием методик, описанных в публикации «Exposure Fusion» авторов T. Mertens et al., 15th Pacific Conference on Computer Graphics and Applications (Pacific Graphics, 2007), at pp. 382-390, которая ссылкой полностью включена в настоящее раскрытие как изложенная в настоящем раскрытии полностью.

ПРИМЕР АДАПТИВНОГО КВАНТОВАНИЯ ИЗОБРАЖЕНИЯ ОТНОШЕНИЙ

[0072] Для данного HDR-изображения освещенностей (Yh) и его тонально отображенного представления (Yt), как описывалось ранее, изображение отношений YR можно выразить как

.

Динамический диапазон изображения отношений можно сжать путем применения к нему обратимой функции, такой как логарифмическая функция или функция квадратного корня. Так, в одном варианте осуществления изобретения, где применяется логарифмическая функция,

.

[0073] Логарифмическое изображение отношений (log(YR)) может в дальнейшем квантоваться, давая 8-битное изображение отношений:

.

И хотя оригинальное изображение отношений содержит значения пикселов, представленные с высокой точностью или расширенным динамическим диапазоном (например, с использованием чисел с плавающей запятой), квантование изображения отношений в 8-битные значения пикселов будет генерировать ошибки округления, которые нельзя восстановить при применении обратной функции квантования. Эта ошибка будет влиять на точность кодирования изображения, и она может ограничивать динамический диапазон изображений, которые кодируются с использованием формата JPEG-HDR.

[0074] Поэтому в варианте осуществления изобретения приведенная выше логарифмическая функция замещается произвольной обратимой функцией «F». Для данной F квантованное 8-битное изображение отношений можно выразить как

.

Это позволяет декодерам восстанавливать оригинальное изображение отношений согласно:

,

где Y'R обозначает восстановленное изображение отношений. В варианту осуществления изобретения минимальное и максимальное значения F(YR) включаются в данные изображения JPEG-HDR как метаданные, которые являются доступными для декодера JPEG.

[0075] В варианте осуществления изобретения функция F может быть выбрана так, чтобы она минимизировала M(YR', YR), где М обозначает метрику, которая измеряет разность между YR' и YR в соответствии с некоторым критерием качества, таким как: среднеквадратическая ошибка, отношение «сигнал-шум» (SNR) или пиковое отношение «сигнал-шум» (PSNR). М (например, среднеквадратичная ошибка (MSE) между двумя изображениями) представляет собой целевую функцию для процесса оптимизации F. F может представлять собой параметрическую функцию или может определяться через справочную таблицу (LUT). При заданной М с целью определения F можно применить такие хорошо известные методики оптимизации, как метод Нельдера-Мида, описанный в публикации «A simplex method for function minimization» авторов J. A Nelder, John и R. Mead, Computer Journal, No. 7, pp. 308-313, 1965.

[0076] В варианте осуществления изобретения заголовок JPEG-HDR может включать LUT декодирования, которая представляет обратную функцию кодирования F-1. Совместимый декодер JPEG-HDR может использовать LUT для преобразования принимаемого изображения отношений из 8-битных данных в данные канала Y с большей точностью (например, с плавающей запятой). LUT содержит 256 элементов, которые отображают 8-битные данные непосредственно в значения с плавающей запятой.

ПРИМЕРЫ СПОСОБОВ НА ОСНОВЕ ВЫРАВНИВАНИЯ ГИСТОГРАММЫ

[0077] Вариант осуществления изобретения относится к вычислительной эффективности, при которой выравнивание гистограммы или выравнивание гистограммы с ограниченным контрастом также предусматривает процесс получения функции F. Процесс выравнивания гистограммы преобразовывает освещенность источника, которая имеет произвольное распределение, в освещенность с единообразной гистограммой так, чтобы изображение отношений можно было кодировать более эффективно. В варианте осуществления изобретения, который использует выравнивание гистограммы, F можно вычислить так, как описывается ниже.

a) Вычислить hist, гистограмму YR. Гистограмма просто обозначает количество экземпляров (например, histi) значения пиксела, встречающихся на изображении отношений;

b) вычислить c_hist, совокупную гистограмму для hist. Например, совокупную гистограмму можно вычислить как

; и

c) определить F путем нормирования и масштабирования c_hist. Например:

,

где переменная scale определяет максимальное значение F, например, 255.

[0078] Кодирующая функция F, вычисленная так, как описано выше, может содержать области с бесконечной производной или наклоном, поэтому F может не обеспечивать однозначное отображение, и обратная функция F-1 не существует. Ограничение наклона или производной F позволяет варианту осуществления изобретения обеспечивать однозначность отображения, предусматриваемого F, и существование F-1.

[0079] Подход выравнивания гистограммы делает точность кодирования пропорциональной частоте появления значения освещенности. Поэтому реже встречающиеся значения освещенности могут квантоваться с большей ошибкой, а часто встречающиеся значения освещенности квантуются с меньшей ошибкой.

ПРИМЕР ПОДДЕРЖКИ ПОЛЬЗОВАТЕЛЬСКОЙ ЦВЕТОВОЙ ГАММЫ В JPEG-HDR

[0080] Типичный формат файла отдельного изображения может использовать для передачи цветовой информации представляющему устройству (например, дисплею) профили ICC (Международный консорциум по цвету) или WCS (Система управления цветом для Windows). Профили ICC и профили WCS требуют представления изображения в специальном цветовом пространстве. Как часть представления, все цвета, которые не могут быть представлены в целевом цветовом пространстве, должны подвергаться отображению цветовой гаммы в цвета, которые могут быть представлены. В результате указанного отображения цветовой гаммы некоторая часть цветовой информации в представляемом изображении может теряться.

[0081] Например, изображение может фиксироваться фотоаппаратом высшего класса с широкой цветовой гаммой или оно может создаваться с использованием компьютерного графического (CG) программного обеспечения. Результирующее изображение затем может представляться в цветовом пространстве sRGB. Цветовое пространство sRGB является наиболее общепризнанным цветовым пространством и поддерживается большинством операционных систем и дисплейных устройств. Однако поскольку цветовое пространство sRGB имеет относительно небольшую цветовую гамму, все цвета изображения, которые не охватываются sRGB, необходимо отображать в цвета sRGB. Если изображение sRGB затем направляется в устройство формирования изображений с более широкой цветовой гаммой, то не существует надежного способа восстановить оригинальные цвета более широкой цветовой гаммы. Таким образом, отображение цветовой гаммы может вызвать необратимую потерю информации и может привести к субоптимальному воспроизведению цветов.

[0082] Другая особенность представления изображений относится к указанию условий просмотра. Например, некоторые домашние и офисные условия просмотра, как правило, отличаются от условий просмотра, используемых в среде цветокоррекции или согласования цветов. Рабочий поток ICC задает точные условия просмотра (VC), делая рабочий поток негибким. WCS допускает некоторую гибкость VC, но поле того, как изображение представляется, изменение практически невозможно обратить.

[0083] Как отображение цветовой гаммы, так и VC определяют набор решений по представлению, который создатель содержимого должен основывать на предположениях о том, каким образом изображение будет просматриваться. В реальной жизни невозможно принимать оптимальные решения по представлению для всех возможных случаев применения и целевых устройств формирования изображения, а также для всех возможных целей.

[0084] В варианте осуществления изобретения формат файла JPEG-HDR допускает два отдельных набора метаданных, относящихся к цветовой гамме: один набор относится к фиксирующему устройству или оригинальным данным HDR, и другой набор относится к целевым унаследованным рабочим потокам, которые используют цветные изображения. Таким образом, унаследованные устройства формирования изображений со стандартной цветовой гаммой и динамическим диапазоном по-прежнему могут демонстрировать изображение, представляемое по умолчанию, на основе общепринятых рабочих потоков ICC и WCS для доставки содержания изображения с точными цветами. В то же время устройства, поддерживающие более широкий динамический диапазон с более широкой цветовой гаммой и/или представление по принципу «строго вовремя», также могут быть способны восстанавливать оригинальные данные изображения для динамического представления, которое учитывает как условия просмотра, так и свойства устройства. Например, приложение может восстанавливать оригинальные данные сцены и представлять их на основе текущих условий просмотра и характеристик целевого дисплейного устройства. Таким образом, базовое изображение может предусматривать обратную совместимость с существующими рабочими потоками управления цветами, в то время как метаданные JPEG-HDR допускают более точное и гибкое представление по принципу «строго вовремя».

[0085] Изображение JPEG-HDR содержит базовое изображение (например, изображение JPEG базового уровня) и метаданные HDR (например, изображение отношений и остаточные цветовые данные). Базовое изображение представляет собой тонально отображенное представляемое изображение с отображенной цветовой гаммой, как правило, представляемое в цветовом пространстве sRGB. Контейнер JPEG может либо указывать цветовое пространство базового изображения, либо он может содержать цветовой профиль ICC/WCS, который позволяет совместимо воспроизводить цвета на разнообразных устройствах формирования изображений.

[0086] Метаданные HDR также могут содержать информацию цветового пространства либо в независящем от устройства пространстве, например первичные цвета XYZ, или в прилагаемом, втором, цветовом профиле ICC/WCS. Метаданные HDR цветового пространства могут отличаться от цветового пространства базового изображения. Цветовая гамма метаданных, как правило, шире цветовой гаммы базового изображения. Например, цветовое пространство метаданных для фотоаппаратов, как правило, совпадает с цветовым пространством датчиков фотоаппаратов. Для изображений CG цветовое пространство метаданных может включать все цвета, представленные на оригинальном изображении. Так, вариант осуществления изобретения предусматривает усиленную поддержку расширенной цветовой гаммы в JPEG-HDR с использованием двух или более дескрипторов, например профилей, цветового пространства. Один профиль определяет цветовое пространство кодирования базового изображения, а второй профиль определяет цветовое пространство кодирования метаданных HDR.

[0087] ФИГ. 8А изображает процесс кодирования, поддерживающий двойные цветовые пространства, согласно иллюстративному варианту осуществления изобретения. Как изображено на ФИГ. 8А, входное HDR-изображение 805, зафиксированное в цветовом пространстве В, может подвергаться тональному отображению в процессе 810 ТМО для генерирования тонально отображенного изображения 815 в цветовом пространстве В. Изображение 815 может дополнительно обрабатываться в процессе 820 отображения цветовой гаммы с целью генерирования базового изображения 825 в цветовом пространстве А. Используя информацию о двух цветовых пространствах, можно создать преобразование цветов TAB, предназначенное для преобразования изображений из цветового пространства А в цветовое пространство В. Преобразование TAB может применяться к базовому изображению 825 на этапе 840 преобразования цветов с целью создания базового изображения 845 в цветовом пространстве В.

[0088] Используя оригинальное HDR-изображение 805 и базовое изображение 845, процесс 830 может генерировать метаданные 835 HDR в соответствии со способами, ранее описанными в данном изобретении. В конечном итоге, изображение 825 (в цветовом пространстве А) и метаданные 835 HDR (в цветовом пространстве В) могут кодироваться и объединяться для генерирования изображения (855) JPEG-HDR. Формат файла изображения 855 JPEG-HDR может включать соответствующие цветовые дескрипторы для двух цветовых пространств. В некоторых вариантах осуществления изобретения этапы 810 и 820 обработки могут объединяться в единый этап, который для заданного HDR-изображения (805) в цветовом пространстве В выводит тонально отображенное изображение в цветовом пространстве (825) А. Использование аддитивных цветовых пространств, таких как матричная TRC (кривая тонального воспроизведения), позволяет объединять этапы 810 и 820 в ходе кодирования, поскольку как отображение цветовой гаммы, так и тональное отображение может осуществляться в оригинальном цветовом пространстве (например, В). Кроме того, преобразования цветов между цветовыми пространствами становятся более точными и вычислительно более эффективными.

[0089] ФИГ. 8 В изображает процесс декодирования, поддерживающий двойные цветовые гаммы, согласно иллюстративному варианту осуществления изобретения. Как изображено на ФИГ. 8 В, для данного входного изображения JPEG-HDR, которое определяет данные в двух цветовых пространствах: базовое изображение в цветовом пространстве А и метаданные HDR в цветовом пространстве В, базовый декодер извлекает базовое изображение 865 в цветовом пространстве А (называемом sRGB). Изображение 865 может использоваться для демонстрации базового изображения на унаследованных дисплейных устройствах со стандартным динамическим диапазоном.

[0090] Используя информацию о двух цветовых пространствах, можно создать преобразование цветов TAB, предназначенное для преобразования изображений из цветового пространства А в цветовое пространство В. Преобразование TAB может применяться к базовому изображению 865 на этапе 870 преобразования цветов для создания базового изображения 875 в цветовом пространстве В. При заданном вводе 865 процесс 890 декодирования метаданных извлекает метаданные 895 HDR в цветовом пространстве В. В конечном итоге, декодер 880 HDR может объединять базовое изображение 875 и метаданные 895 для генерирования HDR-изображения 885 в цветовом пространстве В.

[0091] Если метаданные HDR пребывают в расширенном цветовом пространстве, которое заключает в себе все возможные цвета изображения, значения кодированного изображения всегда будут положительными. Положительные значения позволяют проверять достоверность изображений в ходе ступеней кодирования и декодирования. А именно, если обнаруживаются отрицательные значения, эти значения могут обнуляться и/или может выдаваться сообщение об ошибке. Способы, описываемые в настоящем раскрытии, также могут применяться для кодирования входных изображений со стандартным динамическим диапазоном (SDR) и с более широкой цветовой гаммой, чем у общепринятых SDR-изображений. Для входных SDR-изображений (например, 805) этап (810) обработки ТМО может пропускаться.

[0092] Изображение 885 может последовательно представляться в целевое устройство формирования изображений для специальных и текущих условий просмотра. Примерами целевых устройств формирования изображений являются стандартные дисплеи, HDR-дисплеи, дисплеи с расширенной цветовой гаммой и принтеры. Примерами разных условия просмотра являются тускло освещенные и окрашенные в нейтральные цвета, ярко освещенные и окрашенные в желтый цвет помещения.

[0093] Так, иллюстративный вариант осуществления настоящего изобретения описывается в отношении кодирования HDR-изображений. Для логарифмических освещенностей на входном HDR-изображении вычисляется гистограмма с целью генерирования тонального отображения, наряду с которым вычисляется изображение глобального тонального отображения логарифмических освещенностей. Изображение глобального тонального отображения логарифмических освещенностей уменьшается. Логарифмические освещенности и изображение глобального тонального отображения логарифмических освещенностей образуют логарифмическое изображение отношений. Многомасштабная фильтрация разрешающей способности логарифмического изображения отношений генерирует логарифмическое многомасштабное изображение отношений. Логарифмическое многомасштабное изображение отношений и логарифмические освещенности образуют второе логарифмическое тонально отображенное изображение, которое нормируется для вывода тонально отображенного изображения на основе уменьшенного изображения глобального тонального отображения логарифмических освещенностей и нормированного изображения. Входное HDR-изображение и выходное тонально отображенное изображение образуют второе изображение отношений, которое квантуется. Квантованное базовое изображение и базовое изображение отношений могут представлять собой вывод, например, в кодер JPEG для сжатия в формат JPEG.

ПРИМЕР КОДИРОВАНИЯ JPEG-HDR С ФОРМИРОВАНИЕМ МНОГОМАСШТАБНОГО ИЗОБРАЖЕНИЯ ОТНОШЕНИЙ

[0094] В варианте осуществления изобретения дополнительные метаданные изображения включают локальное многомасштабное изображение отношений шкалы серого, получаемое из оригинального HDR-изображения. Вариант осуществления изобретения использует такую цветовую гамму, как расширенная цветовая гамма YCC, принимаемая вместе с форматом изображения для того, чтобы позволить полностью восстанавливать в каждом пикселе версии HDR оригинальное HDR-изображение, которое генерируется/восстанавливается из тонально отображенного изображения и локального многомасштабного изображения отношений шкалы серого. В варианте осуществления изобретения методики, описываемые в настоящем раскрытии, минимизируют количество полностью черных тонально отображенных значений на тонально отображенном изображении ниже порогового значения (например, 0,01%, 0,1%, 1%, 2% и т.д. от общего количества пикселов на тонально отображенном отношении) для того, чтобы позволить полностью восстанавливать каждый пиксел в HDR-версии оригинального HDR-изображения.

[0095] Согласно методикам настоящего раскрытия вместо использования оператора глобального тонального отображения (ТМ), который сжимает глобальный контраст для соответствия требуемому выходному диапазону значений освещенности и теряет локальный контраст, который имеет значение для зрительного восприятия человека, локальная многомасштабная обработка тонального отображения может использоваться для генерирования тонально отображенного изображения, улучшающего локальный контраст, который мог бы снижаться в операторе глобального ТМ, в то же время оставляя общее отображение как есть. В варианте осуществления изобретения локальная многомасштабная обработка ТМ использует глобальную кривую (например, кривую корректировки гистограммы ТМ) для отображения значений освещенности без потери деталей. В варианте осуществления изобретения локальная многомасштабная обработка ТМ эффективно выполняется без генерирования/внесения в процесс новых артефактов (таких, как ореолы). В частном варианте осуществления изобретения для выполнения локальной многомасштабной обработки, описываемой в настоящем раскрытии, с высокой вычислительной эффективностью реализуется эффективная рекуррентная обработка. В возможном частном варианте осуществления изобретения локальная многомасштабная обработка занимает лишь на 30% больше времени, чем обработка ТМ оператором глобального ТМ.

[0096] Согласно методикам настоящего раскрытия, вместо использования оператора глобального тонального отображения (ТМ), который сжимает глобальный контраст для соответствия требуемому выходному диапазону значений освещенности и теряет локальный контраст, который имеет значение для зрительного восприятия человека, локальная многомасштабная обработка тонального отображения может использоваться для генерирования тонально отображенного изображения, улучшающего локальный контраст, который мог бы снижаться в операторе глобального ТМ, в то же время, оставляя общее отображение как есть. В варианте осуществления изобретения локальная многомасштабная обработка ТМ использует глобальную кривую (например, кривую корректировки гистограммы ТМ) для отображения значений освещенности без потери деталей. В варианте осуществления изобретения локальная многомасштабная обработка ТМ эффективно выполняется без генерирования/внесения в процесс новых артефактов (таких, как ореолы). В частном варианте осуществления изобретения, для выполнения локальной многомасштабной обработки, описываемой в настоящем раскрытии, с высокой вычислительной эффективностью реализуется эффективная рекуррентная обработка. В возможном частном варианте осуществления изобретения, локальная многомасштабная обработка занимает лишь на 30% больше времени, чем обработка ТМ оператором глобального ТМ.

[0097] В варианте осуществления изобретения загружается входное HDR-изображение, и его значения освещенности преобразовываются в логарифмическую область. С целью определения глобального изображения отношений уровней серого вычисляется и применяется к значениям освещенности кривая корректировки гистограммы ТМ. В том смысле, как оно используется в настоящем раскрытии, изображение отношений в целом относится к изображению, содержащему значения отношений между значениями освещенности на изображении перед тональным отображением (например, на входном HDR-изображении или его логарифмическом эквиваленте) и значениями освещенности на изображении после тонального отображения (например, на тонально отображенном изображении или его логарифмическом эквиваленте). В варианте осуществления изобретения изображение отношений логически представляется как изображение перед тональным отображением, деленное на изображение после тонального изображения в местоположении каждого пиксела не в логарифмической области, или эквивалентно как изображение перед тональным отображением минус изображение после тонального изображения в местоположении каждого пиксела в логарифмической области. В другом варианте осуществления изобретения изображение отношений логически представляется как изображение после тонального отображения, деленное на изображение перед тональным отображением в местоположении каждого пиксела не в логарифмической области, или эквивалентно как изображение после тонального отображения минус изображение перед тональным отображением в местоположении каждого пиксела в логарифмической области. Во всех этих вариантах осуществления изобретения следует отметить, что изображение перед тональным отображением (например, изображение, подвергнутое локальному многомасштабному ТМ) может быть получено путем простых алгебраических операций (например, умножений/делений не в логарифмической области; сложений/вычитаний в логарифмической области), если известны изображение отношений (например, локальное многомасштабное ТМ-изображение) и изображение перед тональным отображением (например, входное HDR-изображение).

[0098] В варианте осуществления изобретения в логарифмической области глобальное изображение отношений, которое используется для генерирования других изображений отношений, подлежащих объединению в локальное многомасштабное отношение, эффективно вычисляется путем вычитаний 16-битных целых чисел. В одном из вариантов осуществления изобретения может вычисляться контрольный максимум по тонально отображенному изображению, а тонально отображенное изображение может модифицироваться так, чтобы не более чем небольшое процентное количество пикселов лежало снаружи поддерживаемой цветовой гаммы (например, расширенной цветовой гаммы YCC).

[0099] В варианте осуществления изобретения в логарифмической области глобальное изображение отношений, которое используется для генерирования других изображений отношений, подлежащих объединению в локальное многомасштабное отношение, эффективно вычисляется путем вычитаний с использованием 16-битных целых чисел. В варианте осуществления изобретения может вычисляться контрольный максимум по тонально отображенному изображению, а тонально отображенное изображение может модифицироваться так, чтобы не более чем небольшое процентное количество пикселов лежало снаружи поддерживаемой цветовой гаммы (например, расширенной цветовой гаммы YCC).

ЭКВИВАЛЕНТЫ, РАСШИРЕНИЯ, АЛЬТЕРНАТИВЫ И ДРУГОЕ

[00100] В предшествующем описании со ссылкой на многочисленные конкретные детали, которые могут варьироваться от реализации к реализации, был описан вариант осуществления изобретения. Таким образом, единственным и исключительным указателем того, что представляет собой настоящее изобретение, и того, что предполагается авторами изобретения как являющееся изобретением, является набор пунктов формулы изобретения, которые вытекают из данной заявки, в конкретной форме, в которой указанные пункты формулы изобретения вытекают, включая какую-либо последующую правку. Любые определения, ясно изложенные в настоящем раскрытии для терминов, содержащихся в указанной формуле изобретения, должны определять значения указанных терминов так, как они используются в указанной формуле изобретения. Поэтому ни одно ограничение, элемент, свойство, характерный признак, преимущество или атрибут, который в явном виде не перечисляется в формуле изобретения, никоим образом не должен ограничивать объем указанной формулы изобретения. Указанное описание и графические материалы, соответственно, следует рассматривать в иллюстративном, а не в ограничивающем смысле.

Похожие патенты RU2580093C2

название год авторы номер документа
СПОСОБ И УСТРОЙСТВО ДЛЯ ПРЕОБРАЗОВАНИЯ ДАННЫХ ИЗОБРАЖЕНИЯ 2014
  • Баллестад Андерс
  • Костин Андрей
  • Вард Грегори Джон
RU2582655C2
КОДИРОВАНИЕ, ДЕКОДИРОВАНИЕ И ПРЕДСТАВЛЕНИЕ ИЗОБРАЖЕНИЙ С РАСШИРЕННЫМ ДИНАМИЧЕСКИМ ДИАПАЗОНОМ 2012
  • Цзя Веньхуэй
  • Нинан Аджит
  • Тэн Аркадий
  • Вард Грегори Джон
  • Ван Гавен
RU2640717C1
КОДИРОВАНИЕ, ДЕКОДИРОВАНИЕ И ПРЕДСТАВЛЕНИЕ ИЗОБРАЖЕНИЙ С РАСШИРЕННЫМ ДИНАМИЧЕСКИМ ДИАПАЗОНОМ 2012
  • Цзя Веньхуэй
  • Нинан Аджит
  • Тэн Аркадий
  • Вард Грегори Джон
  • Ван Гавен
RU2589857C2
СПОСОБ И УСТРОЙСТВО ДЛЯ ПРЕОБРАЗОВАНИЯ ДАННЫХ ИЗОБРАЖЕНИЯ 2015
  • Баллестад Андерс
  • Костин Андрей
  • Вард Грегори Джон
RU2592074C1
СПОСОБ И УСТРОЙСТВО ДЛЯ ПРЕОБРАЗОВАНИЯ ДАННЫХ ИЗОБРАЖЕНИЯ 2012
  • Баллестад Андерс
  • Костин Андрей
  • Вард Грегори Джон
RU2554860C2
МНОГОУРОВНЕВОЕ СЖАТИЕ ВИДЕОИЗОБРАЖЕНИЯ С РАСШИРЕННЫМ ДИНАМИЧЕСКИМ ДИАПАЗОНОМ, ВИЗУАЛЬНЫМ ДИНАМИЧЕСКИМ ДИАПАЗОНОМ И ШИРОКОЙ ЦВЕТОВОЙ ГАММОЙ 2010
  • Гиш Уолтер С.
  • Уэбб Ричард В.
  • Ли Чжэнь
  • Тоурапис Александрос
RU2504011C2
УСОВЕРШЕНСТВОВАННЫЕ СПОСОБЫ И УСТРОЙСТВА ДЛЯ КОДИРОВАНИЯ И ДЕКОДИРОВАНИЯ HDR ИЗОБРАЖЕНИЙ 2013
  • Мертенс Марк Йозеф Виллем
RU2652465C2
СПОСОБЫ И УСТРОЙСТВА ДЛЯ КОДИРОВАНИЯ HDR-ИЗОБРАЖЕНИЙ И СПОСОБЫ И УСТРОЙСТВА ДЛЯ ИСПОЛЬЗОВАНИЯ ТАКИХ КОДИРОВАННЫХ ИЗОБРАЖЕНИЙ 2015
  • Ван Дер Влетен Ренатус Йозефус
  • Мертенс Марк Йозеф Виллем
RU2688249C2
СПОСОБ И УСТРОЙСТВО ДЛЯ ТОНАЛЬНОГО ОТОБРАЖЕНИЯ ИЗОБРАЖЕНИЯ ПОСРЕДСТВОМ ИСПОЛЬЗОВАНИЯ ПАРАМЕТРИЧЕСКОЙ ФУНКЦИИ ТОНАЛЬНОЙ РЕГУЛИРОВКИ 2016
  • Лелеаннек, Фабрис
  • Лассерр, Себастьен
  • Пуарье, Танжи
  • Франсуа, Эдуар
RU2726290C2
СПОСОБЫ И УСТРОЙСТВА ДЛЯ КОДИРОВАНИЯ HDR-ИЗОБРАЖЕНИЙ И СПОСОБЫ И УСТРОЙСТВА ДЛЯ ИСПОЛЬЗОВАНИЯ ТАКИХ КОДИРОВАННЫХ ИЗОБРАЖЕНИЙ 2015
  • Ван Дер Влетен Ренатус Йозефус
  • Мертенс Марк Йозеф Виллем
RU2667034C2

Иллюстрации к изобретению RU 2 580 093 C2

Реферат патента 2016 года ОБРАБОТКА ИЗОБРАЖЕНИЙ ДЛЯ ИЗОБРАЖЕНИЙ С РАСШИРЕННЫМ ДИНАМИЧЕСКИМ ДИАПАЗОНОМ (HDR)

Изобретение относится к технологиям обработки данных изображений с расширенным динамическим диапазоном (HDR). Техническим результатом является повышение качества отображаемых HDR изображений. Предложен способ обработки HDR-изображения устройством на основе интегральной микросхемы (IC). Способ включает в себя этап, на котором осуществляют вычисление гистограммы значений логарифмической (log) освещенности пикселов на HDR-изображении. Далее согласно способу осуществляют генерирование тонально отображенной кривой на основе гистограммы. А также вычисляют изображения глобального тонального отображения логарифмических освещенностей на основе значений логарифмической освещенности пикселов на HDR-изображении и тонально отображенной кривой. 4 н. и 79 з.п. ф-лы, 15 ил.

Формула изобретения RU 2 580 093 C2

1. Способ обработки HDR-изображения устройством на основе интегральной микросхемы (IС), где способ включает:
вычисление гистограммы значений логарифмической (log) освещенности пикселов на HDR-изображении;
генерирование тонально отображенной кривой на основе гистограммы;
вычисление изображения глобального тонального отображения логарифмических освещенностей на основе значений логарифмической освещенности пикселов на HDR-изображении и тонально отображенной кривой;
вычисление уменьшенного изображения глобального тонального отображения логарифмических освещенностей;
вычисление логарифмического изображения отношений на основе значений логарифмической освещенности пикселов на HDR-изображении и изображения глобального тонального отображения логарифмических освещенностей;
выполнение многомасштабной фильтрации разрешающей способности на логарифмическом изображении отношений для генерирования логарифмического многомасштабного изображения отношений;
генерирование второго логарифмического тонального отображенного изображения на основе логарифмического многомасштабного изображения отношений и значений логарифмической освещенности пикселов на HDR-изображении;
нормирование второго тонально отображенного изображения для генерирования выходного изображения глобального тонального отображения логарифмических освещенностей и второго логарифмического тонально-отображенного изображения;
генерирование второго изображения отношений на основе входного HDR-изображения и выходного тонально отображенного изображения; и
квантование второго изображения отношений для генерирования квантованного второго изображения отношений.

2. Способ по п. 1, отличающийся тем, что квантованное второе изображение отношений и выходное тонально отображенное изображение доставляют в кодер для генерирования изображения JPEG-HDR.

3. Способ по п. 1, отличающийся тем, что выполнение многомасштабной фильтрации разрешающей способности на логарифмическом изображении отношений дополнительно включает уменьшение логарифмического изображения отношений на коэффициент N для генерирования уменьшенного логарифмического изображения отношений первого уровня, где N является положительным целым числом.

4. Способ по п. 3, отличающийся тем, что выполнение многомасштабной фильтрации разрешающей способности на логарифмическом изображении отношений дополнительно включает уменьшение уменьшенного логарифмического изображения отношений первого уровня на коэффициент N для генерирования уменьшенного логарифмического изображения отношений второго уровня.

5. Способ по п. 4, отличающийся тем, что выполнение многомасштабной фильтрации разрешающей способности на логарифмическом изображении отношений дополнительно включает уменьшение уменьшенного логарифмического изображения отношений второго уровня на коэффициент N для генерирования уменьшенного логарифмического изображения отношений третьего уровня.

6. Способ по п. 5, отличающийся тем, что выполнение многомасштабной фильтрации разрешающей способности на логарифмическом изображении отношений дополнительно включает масштабирование значений пикселов уменьшенного логарифмического изображения отношений третьего уровня масштабными коэффициентами третьего уровня для генерирования взвешенного логарифмического изображения отношений третьего уровня.

7. Способ по п. 6, отличающийся тем, что выполнение многомасштабной фильтрации разрешающей способности на логарифмическом изображении отношений дополнительно включает масштабирование значений пикселов уменьшенного логарифмического изображения отношений второго уровня масштабными коэффициентами второго уровня для генерирования взвешенного логарифмического изображения отношений второго уровня.

8. Способ по п. 7, где выполнение многомасштабной фильтрации разрешающей способности на логарифмическом изображении отношений дополнительно включает увеличение взвешенного логарифмического изображения отношений третьего уровня с коэффициентом N и добавление взвешенного логарифмического изображения отношений второго уровня для генерирования увеличенного логарифмического изображения отношений второго уровня.

9. Способ по п. 8, отличающийся тем, что выполнение многомасштабной фильтрации разрешающей способности на логарифмическом изображении отношений дополнительно включает масштабирование значений пикселов логарифмического изображения отношений первого уровня масштабными коэффициентами первого уровня для генерирования взвешенного логарифмического изображения отношений первого уровня.

10. Способ по п. 9, отличающийся тем, что выполнение многомасштабной фильтрации разрешающей способности на логарифмическом изображении отношений дополнительно включает увеличение увеличенного логарифмического изображения отношений второго уровня на коэффициент N и добавление взвешенного логарифмического изображения отношений первого уровня для генерирования увеличенного логарифмического изображения отношений первого уровня.

11. Способ по п. 10, отличающийся тем, что выполнение многомасштабной фильтрации разрешающей способности на логарифмическом изображении отношений дополнительно включает масштабирование значений пикселов логарифмического изображения отношений масштабными коэффициентами нулевого уровня для генерирования взвешенного логарифмического изображения отношений нулевого уровня.

12. Способ по п. 11, отличающийся тем, что выполнение многомасштабной фильтрации разрешающей способности на логарифмическом изображении отношений дополнительно включает увеличение увеличенного логарифмического изображения отношений первого уровня на коэффициент N и добавление взвешенного логарифмического изображения отношений нулевого уровня для генерирования логарифмического многомасштабного изображения отношений.

13. Способ по п. 3, отличающийся тем, что уменьшение входного логарифмического изображения отношений на коэффициент N включает уменьшение горизонтальной разрешающей способности пикселов и вертикальной разрешающей способности пикселов на коэффициент N.

14. Способ по п. 3, отличающийся тем, что положительное целое число равно восьми (8).

15. Способ по п. 3, отличающийся тем, что дополнительно включает фильтрацию с пропусканием нижних частот вывода после каждого из этапов уменьшения размера.

16. Способ по п. 1, отличающийся тем, что выполнение многомасштабной фильтрации разрешающей способности на логарифмическом изображении отношений дополнительно включает:
уменьшение логарифмического изображения отношений на коэффициент N для генерирования уменьшенного логарифмического изображения отношений первого уровня, где N является положительным целым числом;
уменьшение уменьшенного логарифмического изображения отношений первого уровня на коэффициент N для генерирования уменьшенного логарифмического изображения отношений второго уровня;
уменьшение уменьшенного логарифмического изображения отношений второго уровня на коэффициент N для генерирования уменьшенного логарифмического изображения отношений третьего уровня;
масштабирование значений пикселов уменьшенного логарифмического изображения отношений третьего уровня масштабными коэффициентами третьего уровня для генерирования взвешенного логарифмического изображения отношений третьего уровня;
масштабирование значений пикселов уменьшенного логарифмического изображения отношений второго уровня масштабными коэффициентами второго уровня для генерирования взвешенного логарифмического изображения отношений второго уровня;
увеличение размера взвешенного логарифмического изображения отношений третьего уровня на коэффициент N и добавление взвешенного логарифмического изображения отношений второго уровня для генерирования увеличенного логарифмического изображения отношений второго уровня;
масштабирование значений пикселов уменьшенного логарифмического изображения отношений первого уровня масштабными коэффициентами первого уровня для генерирования взвешенного логарифмического изображения отношений первого уровня;
увеличение увеличенного логарифмического изображения отношений второго уровня на коэффициент N и добавление взвешенного логарифмического изображения отношений первого уровня для генерирования увеличенного логарифмического изображения отношений первого уровня;
масштабирование значений пикселов логарифмического изображения отношений масштабными коэффициентами нулевого уровня для генерирования взвешенного логарифмического изображения отношений нулевого уровня; и
увеличение увеличенного логарифмического изображения отношений первого уровня на коэффициент N и добавление взвешенного логарифмического изображения отношений нулевого уровня для генерирования логарифмического многомасштабного изображения отношений.

17. Способ по п. 16, отличающийся тем, что дополнительно включает фильтрацию с пропусканием нижних частот вывода после каждого из этапов уменьшения размера.

18. Способ по п. 1, отличающийся тем, что дополнительно включает нормирование вычисленной гистограммы.

19. Способ по п. 18, отличающийся тем, что указанная нормировка гистограммы включает адаптивное выравнивание гистограммы с ограниченным контрастом (CLAHE).

20. Способ по п. 19, отличающийся тем, что нормирование гистограммы включает
нормирование тонального отображения гистограммы CLAHE (HCTN).

21. Устройство на основе интегральной микросхемы (IС), предназначенное для обработки HDR-изображения, содержащее:
полупроводниковый кристалл; и
массив активных устройств, расположенных в полупроводниковых кристаллах, которые структурно упорядочены, сконфигурированы и запрограммированы таким образом, что содержат:
устройство тонального отображения, предназначенное для:
вычисления гистограммы значений логарифмической (log) освещенности пикселов на входном изображении с расширенным динамическим диапазоном (HDR);
генерирования тонально отображенной кривой на основе гистограммы;
вычисления изображения глобального тонального отображения логарифмических освещенностей на основе значений логарифмической освещенности пикселов на HDR-изображении и тонально отображенной кривой;
вычисления уменьшенного изображения глобального тонального отображения логарифмических освещенностей на основе изображения глобального тонального отображения логарифмических освещенностей; и
вычисления логарифмического изображения отношений на основе значений логарифмической освещенности пикселов на HDR-изображении и изображения глобального тонального отображения логарифмических освещенностей;
многомасштабный фильтр, предназначенный для:
выполнения многомасштабной фильтрации разрешающей способности на логарифмическом изображении отношений для генерирования логарифмического многомасштабного изображения отношений;
генерирования второго логарифмического тонального отображенного изображения на основе логарифмического многомасштабного изображения отношений и значений логарифмической освещенности пикселов на HDR-изображении;
нормирования второго логарифмического тонально отображенного изображения для генерирования выходного тонально отображенного изображения на основе уменьшенного изображения глобального тонального отображения логарифмических освещенностей и второго логарифмического тонально-отображенного изображения; и
генерирования второго изображения отношений на основе входного HDR-изображения и выходного тонально отображенного изображения; и
квантователь, который квантует второе изображение отношений для генерирования квантованного второго изображения отношений.

22. IC-устройство по п. 21, отличающееся тем, что квантованное второе изображение отношений и выходное тонально отображенное изображение доставлены в кодер для генерирования изображения JPEG-HDR.

23. IC-устройство по п. 21, отличающееся тем, что выполнение многомасштабной фильтрации разрешающей способности на логарифмическом изображении отношений дополнительно включает уменьшение логарифмического изображения отношений на коэффициент N для генерирования уменьшенного логарифмического изображения отношений первого уровня, где N является положительным целым числом.

24. IC-устройство по п. 23, отличающееся тем, что выполнение многомасштабной фильтрации разрешающей способности на логарифмическом изображении отношений дополнительно включает уменьшение уменьшенного логарифмического изображения отношений первого уровня на коэффициент N для генерирования уменьшенного логарифмического изображения отношений второго уровня.

25. IC-устройство по п. 24, отличающееся тем, что выполнение многомасштабной фильтрации разрешающей способности на логарифмическом изображении отношений дополнительно включает уменьшение уменьшенного логарифмического изображения отношений второго уровня на коэффициент N для генерирования уменьшенного логарифмического изображения отношений третьего уровня.

26. IC-устройство по п. 25, отличающееся тем, что выполнение многомасштабной фильтрации разрешающей способности на логарифмическом изображении отношений дополнительно включает масштабирование значений пикселов уменьшенного логарифмического изображения отношений третьего уровня масштабными коэффициентами третьего уровня для генерирования взвешенного логарифмического изображения отношений третьего уровня.

27. IC-устройство по п. 26, отличающееся тем, что выполнение многомасштабной фильтрации разрешающей способности на логарифмическом изображении отношений дополнительно включает масштабирование значений пикселов уменьшенного логарифмического изображения отношений второго уровня масштабными коэффициентами второго уровня для генерирования взвешенного логарифмического изображения отношений второго уровня.

28. IC-устройство по п. 27, отличающееся тем, что выполнение многомасштабной фильтрации разрешающей способности на логарифмическом изображении отношений дополнительно включает увеличение взвешенного логарифмического изображения отношений третьего уровня на коэффициент N и добавление взвешенного логарифмического изображения отношений второго уровня для генерирования увеличенного логарифмического изображения отношений второго уровня.

29. IC-устройство по п. 28, отличающееся тем, что выполнение многомасштабной фильтрации разрешающей способности на логарифмическом изображении отношений дополнительно включает масштабирование значений пикселов уменьшенного логарифмического изображения отношений первого уровня масштабными коэффициентами первого уровня для генерирования взвешенного логарифмического изображения отношений первого уровня.

30. IC-устройство по п. 29, отличающееся тем, что выполнение многомасштабной фильтрации разрешающей способности на логарифмическом изображении отношений дополнительно включает увеличение увеличенного логарифмического изображения отношений второго уровня на коэффициент N и добавление взвешенного логарифмического изображения отношений первого уровня для генерирования увеличенного логарифмического изображения отношений первого уровня.

31. IC-устройство по п. 30, отличающееся тем, что выполнение многомасштабной фильтрации разрешающей способности на логарифмическом изображении отношений дополнительно включает масштабирование значений пикселов логарифмического изображения отношений масштабными коэффициентами нулевого уровня для генерирования взвешенного логарифмического изображения отношений нулевого уровня.

32. IC-устройство по п. 31, отличающееся тем, что выполнение многомасштабной фильтрации разрешающей способности на логарифмическом изображении отношений дополнительно включает увеличение увеличенного логарифмического изображения отношений первого уровня на коэффициент N и добавление взвешенного логарифмического изображения отношений нулевого уровня для генерирования логарифмического многомасштабного изображения отношений.

33. IC-устройство по п. 23, отличающееся тем, что уменьшение входного логарифмического изображения отношений на коэффициент N включает уменьшение горизонтальной разрешающей способности пикселов и вертикальной разрешающей способности пикселов на коэффициент N.

34. IC-устройство по п. 23, отличающееся тем, что положительное целое число равно восьми (8).

35. IC-устройство по п. 32, отличающееся тем, что дополнительно включает фильтрацию с пропусканием нижних частот вывода после каждого из этапов уменьшения размера.

36. IC-устройство по п. 21, отличающееся тем, что выполнение многомасштабной фильтрации разрешающей способности на логарифмическом изображении отношений также включает:
уменьшение логарифмического изображения отношений на коэффициент N для генерирования уменьшенного логарифмического изображения отношений первого уровня, где N является положительным целым числом;
уменьшение уменьшенного логарифмического изображения отношений первого уровня на коэффициент N для генерирования уменьшенного логарифмического изображения отношений второго уровня;
уменьшение уменьшенного логарифмического изображения отношений второго уровня на коэффициент N для генерирования уменьшенного логарифмического изображения отношений третьего уровня;
масштабирование значений пикселов уменьшенного логарифмического изображения отношений третьего уровня масштабными коэффициентами третьего уровня для генерирования взвешенного логарифмического изображения отношений третьего уровня;
масштабирование значений пикселов уменьшенного логарифмического изображения отношений второго уровня масштабными коэффициентами второго уровня для генерирования взвешенного логарифмического изображения отношений второго уровня;
увеличение размера взвешенного логарифмического изображения отношений третьего уровня на коэффициент N и добавление взвешенного логарифмического изображения отношений второго уровня для генерирования увеличенного логарифмического изображения отношений второго уровня;
масштабирование значений пикселов уменьшенного логарифмического изображения отношений первого уровня масштабными коэффициентами первого уровня для генерирования взвешенного логарифмического изображения отношений первого уровня;
увеличение увеличенного логарифмического изображения отношений второго уровня на коэффициент N и добавление взвешенного логарифмического изображения отношений первого уровня для генерирования увеличенного логарифмического изображения отношений первого уровня;
масштабирование значений пикселов логарифмического изображения отношений масштабными коэффициентами нулевого уровня для генерирования взвешенного логарифмического изображения отношений нулевого уровня; и
увеличение увеличенного логарифмического изображения отношений первого уровня на коэффициент N и добавление взвешенного логарифмического изображения отношений нулевого уровня для генерирования логарифмического многомасштабного изображения отношений.

37. IC-устройство по п. 36, отличающееся тем, что дополнительно включает фильтрацию с пропусканием нижних частот вывода после каждого из этапов уменьшения размера.

38. IC-устройство по п. 21, отличающееся тем, что дополнительно включает нормирование вычисленной гистограммы.

39. IC-устройство по п. 38, отличающееся тем, что нормирование гистограммы включает одно или несколько из следующего:
адаптивное выравнивание гистограммы с ограниченным контрастом (CLAHE); или
нормирование тонального отображения гистограммы CLAHE (HCTN).

40. IC-устройство по п. 21, отличающееся тем, что IC-устройство содержит одно или несколько из следующего:
микропроцессор;
специализированную IС (ASIC);
процессор цифровой обработки сигналов (DSP);
программируемое логическое устройство (PLD);
программируемую пользователем вентильную матрицу (FPGA);
микроконтроллер;
систему на микросхеме (SOC);
графический процессор; или
управляющую IС фотоаппарата.

41. Долговременный, читаемый процессором носитель данных, содержащий кодированные команды, хранящиеся в его памяти, которые при исполнении на процессоре вызывают, управляют программируют или конфигурируют процессор для выполнения или управления способом обработки изображения с расширенным динамическим диапазоном (HDR), при этом способ включает следующие этапы:
вычисление гистограммы значений логарифмической (log) освещенности пикселов на HDR-изображении;
генерирование тонально отображенной кривой на основе гистограммы;
вычисление изображения глобального тонального отображения логарифмических освещенностей на основе значений логарифмической освещенности пикселов на HDR-изображении и тонально отображенной кривой;
вычисление уменьшенного изображения глобального тонального отображения логарифмических освещенностей;
вычисление логарифмического изображения отношений на основе значений логарифмической освещенности пикселов на HDR-изображении и изображения глобального тонального отображения логарифмических освещенностей;
выполнение многомасштабной фильтрации разрешающей способности на логарифмическом изображении отношений для генерирования логарифмического многомасштабного изображения отношений;
генерирование второго логарифмического тонального отображенного изображения на основе логарифмического многомасштабного изображения отношений и значений логарифмической освещенности пикселов на HDR-изображении;
нормирование второго тонально отображенного изображения для генерирования выходного тонально отображенного изображения на основе уменьшенного изображения глобального тонального отображения логарифмических освещенностей и второго логарифмического тонально-отображенного изображения;
генерирование второго изображения отношений на основе входного HDR-изображения и выходного тонально отображенного изображения; и
квантование второго изображения отношений для генерирования квантованного второго изображения отношений.

42. Долговременный, читаемый процессором носитель данных по п. 41, отличающийся тем, что квантованное второе изображение отношений и выходное тонально отображенное изображение доставлены в кодер для генерирования изображения JPEG-HDR.

43. Долговременный, читаемый процессором носитель данных по п. 41, отличающийся тем, что выполнение многомасштабной фильтрации разрешающей способности на логарифмическом изображении отношений дополнительно включает уменьшение логарифмического изображения отношений на коэффициент N для генерирования уменьшенного логарифмического изображения отношений первого уровня, где N является положительным целым числом.

44. Долговременный, читаемый процессором носитель данных по п. 43, отличающийся тем, что выполнение многомасштабной фильтрации разрешающей способности на логарифмическом изображении отношений дополнительно включает уменьшение уменьшенного логарифмического изображения отношений первого уровня на коэффициент N для генерирования уменьшенного логарифмического изображения отношений второго уровня.

45. Долговременный, читаемый процессором носитель данных по п. 44, отличающийся тем, что выполнение многомасштабной фильтрации разрешающей способности на логарифмическом изображении отношений дополнительно включает уменьшение уменьшенного логарифмического изображения отношений второго уровня на коэффициент N для генерирования уменьшенного логарифмического изображения отношений третьего уровня.

46. Долговременный, читаемый процессором носитель данных по п. 45, отличающийся тем, что выполнение многомасштабной фильтрации разрешающей способности на логарифмическом изображении отношений дополнительно включает масштабирование значений пикселов уменьшенного логарифмического изображения отношений третьего уровня масштабными коэффициентами третьего уровня для генерирования взвешенного логарифмического изображения отношений третьего уровня.

47. Долговременный, читаемый процессором носитель данных по п. 46, отличающееся тем, что выполнение многомасштабной фильтрации разрешающей способности на логарифмическом изображении отношений дополнительно включает масштабирование значений пикселов уменьшенного логарифмического изображения отношений второго уровня масштабными коэффициентами второго уровня для генерирования взвешенного логарифмического изображения отношений второго уровня.

48. Долговременный, читаемый процессором носитель данных по п. 47, отличающийся тем, что выполнение многомасштабной фильтрации разрешающей способности на логарифмическом изображении отношений дополнительно включает увеличение взвешенного логарифмического изображения отношений третьего уровня на коэффициент N и добавление взвешенного логарифмического изображения отношений второго уровня для генерирования увеличенного логарифмического изображения отношений второго уровня.

49. Долговременный, читаемый процессором носитель данных по п. 48, отличающийся тем, что выполнение многомасштабной фильтрации разрешающей способности на логарифмическом изображении отношений дополнительно включает масштабирование значений пикселов логарифмического изображения отношений первого уровня масштабными коэффициентами первого уровня для генерирования взвешенного логарифмического изображения отношений первого уровня.

50. Долговременный, читаемый процессором носитель данных по п. 49, отличающийся тем, что выполнение многомасштабной фильтрации разрешающей способности на логарифмическом изображении отношений дополнительно включает увеличение увеличенного логарифмического изображения отношений второго уровня на коэффициент N и добавление взвешенного логарифмического изображения отношений первого уровня для генерирования увеличенного логарифмического изображения отношений первого уровня.

51. Долговременный, читаемый процессором носитель данных по п. 50, отличающийся тем, что выполнение многомасштабной фильтрации разрешающей способности на логарифмическом изображении отношений дополнительно включает масштабирование значений пикселов логарифмического изображения отношений масштабными коэффициентами нулевого уровня для генерирования взвешенного логарифмического многомасштабного изображения отношений нулевого уровня.

52. Долговременный, читаемый процессором носитель данных по п. 51, отличающийся тем, что выполнение многомасштабной фильтрации разрешающей способности на логарифмическом изображении отношений дополнительно включает увеличение увеличенного логарифмического изображения отношений первого уровня на коэффициент N и добавление взвешенного логарифмического изображения отношений нулевого уровня для генерирования логарифмического многомасштабного изображения отношений.

53. Долговременный, читаемый процессором носитель данных по п. 43, отличающийся тем, что уменьшение входного логарифмического изображения отношений на коэффициент N включает уменьшение горизонтальной разрешающей способности пикселов и вертикальной разрешающей способности пикселов на коэффициент N.

54. Долговременный, читаемый процессором носитель данных по п. 43, отличающийся тем, что указанное положительное целое число равно восьми (8).

55. Долговременный, читаемый процессором носитель данных по п. 52, отличающийся тем, что дополнительно включает фильтрацию с пропусканием нижних частот вывода после каждого из этапов уменьшения размера.

56. Долговременный, читаемый процессором носитель данных по п. 41, отличающийся тем, что выполнение многомасштабной фильтрации разрешающей способности на логарифмическом изображении отношений дополнительно включает:
уменьшение логарифмического изображения отношений на коэффициент N для генерирования уменьшенного логарифмического изображения отношений первого уровня, где N является положительным целым числом;
уменьшение уменьшенного логарифмического изображения отношений первого уровня на коэффициент N для генерирования уменьшенного логарифмического изображения отношений второго уровня;
уменьшение уменьшенного логарифмического изображения отношений второго уровня на коэффициент N для генерирования уменьшенного логарифмического изображения отношений третьего уровня;
масштабирование значений пикселов уменьшенного логарифмического изображения отношений третьего уровня масштабными коэффициентами третьего уровня для генерирования взвешенного логарифмического изображения отношений третьего уровня;
масштабирование значений пикселов уменьшенного логарифмического изображения отношений второго уровня масштабными коэффициентами второго уровня для генерирования взвешенного логарифмического изображения отношений второго уровня;
увеличение размера взвешенного логарифмического изображения отношений третьего уровня на коэффициент N и добавление взвешенного логарифмического изображения отношений второго уровня для генерирования увеличенного логарифмического изображения отношений второго уровня;
масштабирование значений пикселов уменьшенного логарифмического изображения отношений первого уровня масштабными коэффициентами первого уровня для генерирования взвешенного логарифмического изображения отношений первого уровня;
увеличение увеличенного логарифмического изображения отношений второго уровня на коэффициент N и добавление взвешенного логарифмического изображения отношений первого уровня для генерирования увеличенного логарифмического изображения отношений первого уровня;
масштабирование значений пикселов логарифмического изображения отношений масштабными коэффициентами нулевого уровня для генерирования взвешенного логарифмического изображения отношений нулевого уровня; и
увеличение увеличенного логарифмического изображения отношений первого уровня на коэффициент N и добавление взвешенного логарифмического изображения отношений нулевого уровня для генерирования логарифмического многомасштабного изображения отношений.

57. Долговременный, читаемый процессором носитель данных по п. 56, отличающийся тем, что дополнительно включает фильтрацию с пропусканием нижних частот вывода после каждого из этапов уменьшения размера.

58. Долговременный, читаемый процессором носитель данных по п. 41, отличающийся тем, что дополнительно включает нормирование вычисленной гистограммы.

59. Долговременный, читаемый процессором носитель данных по п. 58, отличающийся тем, что нормирование гистограммы включает адаптивное выравнивание гистограммы с ограниченным контрастом (CLAHE).

60. Долговременный, читаемый процессором носитель данных по п. 59, отличающийся тем, что нормирование гистограммы включает нормирование тонального отображения гистограммы CLAHE (HCTN).

61. Система для обработки HDR-изображения, при этом система содержит:
средства для вычисления гистограммы значений логарифмической (log) освещенности пикселов на HDR-изображении;
средства для генерирования тонально отображенной кривой на основе гистограммы;
средства для вычисления изображения глобального тонального отображения логарифмических освещенностей на основе значений логарифмической освещенности пикселов на HDR-изображении и тонально отображенной кривой;
средства для вычисления уменьшенного изображения глобального тонального отображения логарифмических освещенностей на основе изображения глобального тонального отображения логарифмических освещенностей;
средства для вычисления логарифмического изображения отношений на основе значений логарифмической освещенности пикселов на HDR-изображении и изображения глобального тонального отображения логарифмических освещенностей;
средства для выполнения многомасштабной фильтрации разрешающей способности на логарифмическом изображении отношений для генерирования логарифмического многомасштабного изображения отношений;
средства для генерирования второго логарифмического тонального отображенного изображения на основе логарифмического многомасштабного изображения отношений и значений логарифмической освещенности пикселов на HDR-изображении;
средства для нормирования второго логарифмического тонально отображенного изображения для генерирования выходного тонально отображенного изображения на основе уменьшенного изображения глобального тонального отображения логарифмических освещенностей и второго логарифмического тонально-отображенного изображения;
средства для генерирования второго изображения отношений на основе входного HDR-изображения и выходного тонально отображенного изображения; и
средства для квантования второго изображения отношений для генерирования квантованного второго изображения отношений.

62. Система по п. 61, отличающаяся тем, что квантованное второе изображение отношений и выходное тонально отображенное изображение доставлены в кодер для генерирования изображения JPEG-HDR.

63. Система по п. 61, отличающаяся тем, что средства для выполнения многомасштабной фильтрации разрешающей способности на логарифмическом изображении отношений дополнительно содержат средства для уменьшения логарифмического изображения отношений на коэффициент N для генерирования уменьшенного логарифмического изображения отношений первого уровня, где N является положительным целым числом.

64. Система по п. 63, отличающаяся тем, что средства для выполнения многомасштабной фильтрации разрешающей способности на логарифмическом изображении отношений дополнительно содержат средства для уменьшения уменьшенного логарифмического изображения отношений первого уровня на коэффициент N для генерирования уменьшенного логарифмического изображения отношений второго уровня.

65. Система по п. 64, отличающаяся тем, что средства для выполнения многомасштабной фильтрации разрешающей способности на логарифмическом изображении отношений дополнительно содержат средства для уменьшения уменьшенного логарифмического изображения отношений второго уровня на коэффициент N для генерирования уменьшенного логарифмического изображения отношений третьего уровня.

66. Система по п. 65, отличающаяся тем, что средства для выполнения многомасштабной фильтрации разрешающей способности на логарифмическом изображении отношений дополнительно содержат средства для масштабирования значений пикселов уменьшенного логарифмического изображения отношений третьего уровня масштабными коэффициентами третьего уровня для генерирования взвешенного логарифмического изображения отношений третьего уровня.

67. Система по п. 66, отличающаяся тем, что средства для выполнения многомасштабной фильтрации разрешающей способности на логарифмическом изображении отношений дополнительно содержат средства для масштабирования значений пикселов уменьшенного логарифмического изображения отношений второго уровня масштабными коэффициентами второго уровня для генерирования взвешенного логарифмического изображения отношений второго уровня.

68. Система по п. 67, отличающаяся тем, что средства для выполнения многомасштабной фильтрации разрешающей способности на логарифмическом изображении отношений дополнительно содержат средства для увеличения взвешенного логарифмического изображения отношений третьего уровня на коэффициент N и добавления взвешенного логарифмического изображения отношений второго уровня для генерирования увеличенного логарифмического изображения отношений второго уровня.

69. Система по п. 68, отличающаяся тем, что средства для выполнения многомасштабной фильтрации разрешающей способности на логарифмическом изображении отношений дополнительно содержат средства для масштабирования значений пикселов уменьшенного логарифмического изображения отношений первого уровня масштабными коэффициентами первого уровня для генерирования взвешенного логарифмического изображения отношений первого уровня.

70. Система по п. 69, отличающаяся тем, что средства для выполнения многомасштабной фильтрации разрешающей способности на логарифмическом изображении отношений дополнительно содержат средства для увеличения увеличенного логарифмического изображения отношений второго уровня на коэффициент N и добавления взвешенного логарифмического изображения отношений первого уровня для генерирования увеличенного логарифмического изображения отношений первого уровня.

71. Система по п. 70, отличающаяся тем, что средства для выполнения многомасштабной фильтрации разрешающей способности на логарифмическом изображении отношений дополнительно содержат средства для масштабирования значений пикселов логарифмического изображения отношений масштабными коэффициентами нулевого уровня для генерирования взвешенного логарифмического изображения отношений нулевого уровня.

72. Система по п. 71, отличающаяся тем, что средства для выполнения многомасштабной фильтрации разрешающей способности на логарифмическом изображении отношений дополнительно содержат средства для увеличения увеличенного логарифмического изображения отношений первого уровня на коэффициент N и добавления взвешенного логарифмического изображения отношений нулевого уровня для генерирования логарифмического многомасштабного изображения отношений.

73. Система по п. 61, отличающаяся тем, что средства для уменьшения входного логарифмического изображения отношений на коэффициент N содержат средства для уменьшения горизонтальной разрешающей способности пикселов и вертикальной разрешающей способности пикселов логарифмического изображения на коэффициент N.

74. Система по п. 73, отличающаяся тем, что положительное целое число равно восьми (8).

75. Система по п. 73, отличающаяся тем, что дополнительно содержит средства для фильтрации с пропусканием нижних частот вывода после каждого из этапов уменьшения размера.

76. Система по п. 61, отличающаяся тем, что средства для выполнения многомасштабной фильтрации разрешающей способности на логарифмическом изображении отношений дополнительно содержат:
средства для уменьшения логарифмического изображения отношений на коэффициент N для генерирования уменьшенного логарифмического изображения отношений первого уровня, где N является положительным целым числом;
средства для уменьшения уменьшенного логарифмического изображения отношений первого уровня на коэффициент N для генерирования уменьшенного логарифмического изображения отношений второго уровня;
средства для уменьшения уменьшенного логарифмического изображения отношений второго уровня на коэффициент N для генерирования уменьшенного логарифмического изображения отношений третьего уровня;
средства для масштабирования значений пикселов уменьшенного логарифмического изображения отношений третьего уровня масштабными коэффициентами третьего уровня для генерирования взвешенного логарифмического изображения отношений третьего уровня;
средства для масштабирования значений пикселов уменьшенного логарифмического изображения отношений второго уровня масштабными коэффициентами второго уровня для генерирования взвешенного логарифмического изображения отношений второго уровня;
средства для увеличения размера взвешенного логарифмического изображения отношений третьего уровня на коэффициент N и добавления взвешенного логарифмического изображения отношений второго уровня для генерирования увеличенного логарифмического изображения отношений второго уровня;
средства для масштабирования значений пикселов уменьшенного логарифмического изображения отношений первого уровня масштабными коэффициентами первого уровня для генерирования взвешенного логарифмического изображения отношений первого уровня;
средства для увеличения увеличенного логарифмического изображения отношений второго уровня на коэффициент N и добавления взвешенного логарифмического изображения отношений первого уровня для генерирования увеличенного логарифмического изображения отношений первого уровня;
средства для масштабирования значений пикселов логарифмического изображения отношений масштабными коэффициентами нулевого уровня для генерирования взвешенного логарифмического изображения отношений нулевого уровня; и
средства для увеличения увеличенного логарифмического изображения отношений первого уровня на коэффициент N и добавления взвешенного логарифмического изображения отношений нулевого уровня для генерирования логарифмического многомасштабного изображения отношений.

77. Система по п. 76, отличающаяся тем, что дополнительно содержит средства для фильтрации с пропусканием нижних частот вывода после каждого из этапов уменьшения размера.

78. Система по п. 61, отличающаяся тем, что дополнительно содержит средства для нормирования вычисленной гистограммы.

79. Система по п. 78, отличающаяся тем, что средства нормирования гистограммы содержат средства для выполнения адаптивного выравнивания гистограммы с ограниченным контрастом (CLAHE).

80. Система по п. 79, отличающаяся тем, что средства нормирования гистограммы содержат средства нормирования тонального отображения гистограммы CLAHE (HCTN).

81. Система по п. 61, отличающаяся тем, что система расположена в устройстве на основе интегральной микросхемы (IС).

82. Система по п. 81, отличающаяся тем, что система, расположенная в IC-устройстве, содержит систему на кристалле (SOC).

83. Система по п. 81, отличающаяся тем, что IC-устройство содержит одно или несколько из следующего:
микропроцессор;
специализированную IС (ASIC);
процессор цифровой обработки сигналов (DSP);
программируемое логическое устройство (PLD);
программируемую пользователем вентильную матрицу (FPGA);
микроконтроллер;
графический процессор;
управляющую IС фотоаппарата; или
систему на кристалле (SOC).

Документы, цитированные в отчете о поиске Патент 2016 года RU2580093C2

статья A
BOSCHETTI et al
"High dynamic range images coding: embedded and multiple description", опубликовано 31.12.2011, 28 стр
Устройство для закрепления лыж на раме мотоциклов и велосипедов взамен переднего колеса 1924
  • Шапошников Н.П.
SU2015A1
статья F
BANTERLE et al
"High dynamic range imaging and low dynamic range expansion for

RU 2 580 093 C2

Авторы

Шах Анкур

Нинан Аджит

Цзя Веньхуэй

Тун Хуэймин

Ян Цяоли

Тэн Аркадий

Ван Гавен

Даты

2016-04-10Публикация

2013-07-31Подача