ВИЗУАЛИЗАЦИЯ ВИДЕОИЗОБРАЖЕНИЯ В СУЩЕСТВУЮЩИХ НЕПОДВИЖНЫХ ИЗОБРАЖЕНИЯХ Российский патент 2016 года по МПК G06T11/00 G06K9/60 

УРОВЕНЬ ТЕХНИКИ

[0001] Время, проведенное за вождением, большинством людей обычно считается непродуктивным временем, за немногими исключениями, например, для тех, чьей профессией является управление автомобилями. Такая непродуктивность может ухудшиться из-за раздражения и другой эмоциональной нагрузки, испытываемой водителями, которые "застряли" в сложной дорожной обстановке. По существу, уже давно желательно избегать сложной дорожной обстановки при вождении. Такая потребность удовлетворена огромным количеством информации о движении, доступной людям, чтобы помочь им избежать сложной дорожной обстановки или других воздействий из-за движения транспорта, которых они хотят избежать. Например, многие автомобильные навигационные системы предоставляют теперь некоторый уровень информации о движении в реальном масштабе времени. Аналогичным образом, в качестве другого примера многие сетевые картографические приложения также предоставляют информацию о движении в реальном масштабе времени.

[0002] Часто информация о движении, которая предоставляется, обобщается для более легкого восприятия. Например, информация о движении часто предоставляется с использованием повсеместного красного, желтого и зеленого цветового кодирования, где зеленый цвет используется для указания простой дорожной обстановки, тогда как красный используется для указания сложной дорожной обстановки. В качестве другого примера информация о движении также часто предоставляется в виде средней скорости или количества времени, затраченного для перемещения на предопределенное расстояние, например, между двумя известными перекрестками или другими такими ориентирами. Хотя такую обобщенную информацию о движении пользователю может быть действительно легче воспринимать, например, если пользователь занят управлением автомобиля, в некоторых обстоятельствах она может просто не предоставить достаточной информации.

[0003] Для тех обстоятельств, в которых может быть нужна более подробная информация о движении, информация о движении также может предоставляться в виде изображений движения автомобилей в реальном масштабе времени в конкретном месте, обычно посредством видеокамер, которые коммуникационно соединены с более крупной сетью вычислительных устройств, например, повсеместным Интернетом или в равной степени повсеместной Всемирной паутиной. Традиционно такие придорожные камеры обслуживаются правительственными учреждениями, например Министерством транспорта, и монтируются и устанавливаются таким образом, чтобы обеспечить выгодное положение в конкретном направлении важной дороги или другой магистрали. Обычно доступ к изображениям, предоставленным такими придорожными камерами, можно получить через веб-сайты или другие похожие сетевые интерфейсы в виде каналов необработанных изображений с придорожных камер. Например, веб-сайт может отобразить карту с положениями придорожных камер, указанных посредством подходящих значков или других индикаторов. Выбор таких значков или других индикаторов может привести к воспроизведению канала необработанных изображений с придорожных камер, часто в подокне или другом похожем независимом элементе интерфейса пользователя.

[0004] По соображениям стоимости и полосы пропускания используемые придорожные камеры, как правило, могут быть не способны предоставлять высококачественные изображения. Кроме того, придорожные камеры проектируются для предоставления изображений движения автомобилей и не предоставляют контекстные, или окружающие изображения. Следовательно, пользователи часто испытывают замешательство при обращении к каналам изображений с придорожных камер. Например, пользователям часто трудно определить, в каком направлении обращена придорожная камера. Также пользователям часто трудно идентифицировать точно, какое шоссе изображается, поскольку воспроизведение канала изображений с придорожных камер в виде динамического воспроизведения движущихся изображений в реальном масштабе времени контекстуально очень отличается от отображенной карты, с которой пользователь выбрал придорожную камеру и которая предоставила пиктографический визуальный индикатор местоположения придорожной камеры.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

[0005] В одном варианте осуществления каналы изображений с придорожных камер воспроизводятся пользователям в контексте существующих панорам, содержащих такое же шоссе, показанное в канале изображений с придорожных камер. Такое объединение может дать возможность просмотра движущихся и динамических дорожных изображений, предоставленных придорожной камерой, в более широком визуальном контексте существующих панорам. Существующие панорамы обычно сняты посредством специальных панорамных камер, смонтированных на специальных транспортных средствах, и обычно воспроизводятся пользователям посредством существующих картографических веб-сайтов или других похожих сетецентрических интерфейсов в виде представления уровня улицы выбранной области карты. Знакомство пользователей с такими представлениями уровня улицы, объединенное с контекстной визуальной информацией, предоставленной панорамой, может дать пользователям возможность легче понимать и использовать канал движущихся и динамических изображений с придорожных камер при воспроизведении в такой панораме.

[0006] В другом варианте осуществления канал изображений с придорожных камер может предварительно обрабатываться для определения параметров преобразования, применимых к каналу изображений с придорожных камер, чтобы улучшить его визуальную интеграцию с существующей панорамой. Такая предварительная обработка может содержать идентификацию одной или нескольких подходящих панорам, в которых нужно отображать канал изображений с придорожных камер, и может дополнительно содержать идентификацию тех частей канала изображений с придорожных камер, которые меняются со временем, и тех частей, которые остаются неподвижными со временем.

[0007] В дополнительном варианте осуществления канал изображений с придорожных камер можно интегрировать в одну или несколько существующих панорам, так что движущееся и динамическое видеоизображение с придорожной камеры воспроизводится в более широком визуальном контексте одной или нескольких панорам путем преобразования всего канала изображений с придорожных камер в соответствии с заранее установленными параметрами преобразования, а затем отображения его в существующих панорамах. В качестве альтернативы только движущиеся, или изменяющиеся компоненты канала изображений с придорожных камер могут фильтроваться и отображаться в существующих панорамах. В качестве еще одной альтернативы движущиеся, или изменяющиеся компоненты канала изображений с придорожных камер совместно с шоссе или другими подходящими фоновыми структурами могут фильтроваться и отображаться в существующих панорамах.

[0008] В еще одном дополнительном варианте осуществления алгоритмы совмещения линий могут использоваться для вычисления параметров преобразования. Такие алгоритмы совмещения линий могут пытаться совместить линии подходящих особенностей неподвижной части канала изображений с придорожных камер с похожими особенностями одной или нескольких существующих панорам.

[0009] Данное краткое изложение сущности изобретения предоставляется, чтобы представить подборку идей в упрощенном виде, которые дополнительно описываются ниже в Подробном описании. Данное краткое изложение сущности изобретения не предназначено для определения ключевых признаков или существенных признаков заявленного изобретения и также не предназначено для использования в ограничении объема заявленного изобретения.

[0010] Дополнительные признаки и преимущества станут очевидными из нижеследующего подробного описания, которое выполняется со ссылкой на прилагаемые чертежи.

ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0011] Нижеследующее подробное описание можно лучше всего понять в сочетании с прилагаемыми чертежами, на которых:

[0012] фиг.1 - блок-схема типовой системы для интегрирования канала изображений с придорожных камер в существующие панорамы;

[0013] фиг.2 - блок-схема типового механизма, объединяющего канал изображений с придорожных камер с существующей панорамой;

[0014] фиг.3 - логическая блок-схема типовой предварительной обработки канала изображений с придорожных камер для объединения с существующей панорамой;

[0015] фиг.4 - логическая блок-схема типового механизма для совмещения канала изображений с придорожных камер с существующей панорамой;

[0016] фиг.5 - блок-схема типовых механизмов для отображения канала изображений с придорожных камер в существующей панораме и

[0017] фиг.6 - блок-схема типового вычислительного устройства.

ПОДРОБНОЕ ОПИСАНИЕ

[0018] Нижеследующее описание относится к интеграции данных изображений видеокамеры в реальном масштабе времени, в этом документе называемых "каналом", в существующие изображения, обычно в виде изображений панорамы, чтобы движущееся видеоизображение, поставляемое видеокамерой, отображалось в более широком контексте существующих изображений. Сначала может выполняться предварительная обработка, чтобы вывести параметры преобразования, которые могут использоваться для визуального преобразования канала изображений с видеокамеры так, что он сочетается и соответствует одному или нескольким существующим изображениям панорамы. Потом заранее установленные параметры преобразования могут использоваться для отображения канала изображений с видеокамеры в одном или нескольких существующих изображениях панорамы, например, через интерфейс пользователя, обычно используемый пользователем для доступа к таким изображениям панорамы. В контексте движения транспорта канал изображений с придорожных камер можно полностью преобразовать и интегрировать в одну или несколько существующих панорам, или только некоторые части канала изображений с придорожных камер можно отобразить в панораме, например, только движущиеся транспортные средства или, в качестве альтернативы, только движущиеся транспортные средства и нижележащее шоссе. Одним механизмом для выведения параметров преобразования могут быть алгоритмы совмещения линий, которые могут совместить подходящие линии из неподвижных частей канала изображений с видеокамеры с соответствующими линиями в одном или нескольких изображениях панорамы. Подходящие линии можно идентифицировать посредством использования методик фильтрации, например, путем фильтрации на основе направления движения или фильтрации на основе уже существующих наложенных картографических данных.

[0019] С целью иллюстрации, описанные в этом документе методики ориентированы на каналы изображений с придорожных камер, которые воспроизведены в существующих изображениях панорамы, собранных и воспроизведенных в контексте представления уровня улицы в сетевом картографическом интерфейсе. Однако такие ссылки являются строго типовыми и не предназначены для ограничения описанных механизмов предоставленными характерными примерами. В действительности описанные методики применимы к интеграции любого канала изображений с видеокамеры, содержащего движущиеся и неподвижные части, с существующими неподвижными изображениями, которые обеспечивают более широкий контекст, окружающий один или несколько элементов, ограниченных каналом изображений с видеокамеры. Следовательно, ссылки ниже на "придорожную камеру" нужно понимать широко для обозначения любой видеокамеры, а ссылки на "панораму" нужно понимать широко для применения к любому неподвижному изображению, обеспечивающему более широкий визуальный контекст, поскольку описания ниже в равной степени применимы к таким более общим идеям и никоим образом не ограничиваются однозначно только придорожными камерами или изображениями панорамы.

[0020] Хотя и не требуется, описание ниже будет происходить в общем контексте исполняемых компьютером команд, например, программных модулей, выполняемых вычислительным устройством. Точнее говоря, описание будет ссылаться на действия и символические представления операций, которые выполняются одним или несколькими вычислительными устройствами или периферийным оборудованием, пока не указано иное. По существу, будет подразумеваться, что такие действия и операции, которые иногда называются исполняемыми компьютером, включают в себя манипуляцию электрическими сигналами с помощью некоторого блока обработки, представляющими данные в структурированном виде. Эта манипуляция преобразует данные или сохраняет их по адресам в запоминающем устройстве, что реконфигурирует или иным образом изменяет работу вычислительного устройства или периферийного оборудования способом, понятным специалистам в данной области техники. Структуры данных, где хранятся данные, являются физическими местоположениями, которые обладают конкретными свойствами, заданными форматом тех данных.

[0021] Как правило, программные модули включают в себя процедуры, программы, объекты, компоненты, структуры данных и т.п., которые выполняют конкретные задачи или реализуют конкретные абстрактные типы данных. Кроме того, специалисты в данной области техники поймут, что вычислительные устройства не должны ограничиваться традиционными персональными компьютерами и включают в себя другие вычислительные конфигурации, включая карманные устройства, многопроцессорные системы, микропроцессорную или программируемую бытовую электронику, сетевые ПК, мини-компьютеры, мейнфреймы и т.п. Аналогичным образом вычислительные устройства не должны ограничиваться автономными вычислительными устройствами, так как механизмы также могут применяться на практике в распределенных вычислительных средах, где задачи выполняются устройствами дистанционной обработки, которые связаны по сети связи. В распределенной вычислительной среде программные модули могут размещаться как на локальных, так и на удаленных запоминающих устройствах.

[0022] Обращаясь к фиг.1, показана типовая система 100, содержащая вычислительное устройство 130 клиента, вычислительное устройство 120 картографического сервера и придорожную камеру 110, коммуникационно соединенные друг с другом по сети 180. С целью иллюстрации придорожная камера 110 в типовой системе 100 из фиг.1 показана как установленная на эстакаде 171 над шоссе 170, так что придорожная камера 110 может предоставлять изображения движения транспорта по шоссе 170. Канал 140 изображений с придорожных камер, графически представленный в системе 100 из фиг.1 с помощью отдельных изображений 141, 142, 143, 144 и 145, можно сделать доступным одному или нескольким вычислительным устройствам посредством связей по сети 180. В примере, проиллюстрированном системой 100 из фиг.1, вычислительное устройство 120 картографического сервера может принимать канал 140 изображений с придорожных камер от придорожной камеры 110, как проиллюстрировано связью 149.

[0023] Чтобы дать пользователю, например, пользователю вычислительного устройства 130 клиента, возможность принимать канал 140 изображений с придорожных камер в более содержательном и легче воспринимаемом контексте, вычислительное устройство 120 картографического сервера может объединять канал 140 изображений с придорожных камер с одной или несколькими существующими панорамами 150 карт, чтобы предоставить вычислительному устройству 130 клиента объединенное изображение 160, которое может содержать канал 140 изображений с придорожных камер или его части, наложенный и воспроизведенный в контексте одной или нескольких панорам 150 карт. Как признают специалисты в данной области техники, панорамы 150 карт могут содержать изображения панорамы, которые размещаются и организуются таким образом, что их можно воспроизвести пользователю в картографическом контексте. Например, картографическая информация, которая обычно доступна по сети 180, например, картографические веб-сайты, может содержать один или несколько интерфейсов, которые могут воспроизвести пользователям некоторый вид представления уровня улицы. Такое представление уровня улицы обычно дает пользователю возможность мысленно представить конкретное местоположение, например, выбранное посредством более традиционных методик просмотра карты, как оно выглядело бы при прогулке или езде по выбранной магистрали. Панорамы 150 карт, как признают специалисты в данной области техники, могут использоваться для предоставления такого представления уровня улицы.

[0024] Точнее говоря, панорамы 150 карт обычно можно получить с помощью специальных панорамных камер, смонтированных на специальных транспортных средствах для съемки панорамы, которые ездят по определенным магистралям, для которых желательно иметь возможность воспроизвести пользователям представление уровня улицы. Таким образом, панорамы 150 карт содержат последовательность панорамных изображений, снятых в последовательных точках вдоль таких определенных магистралей, и представление уровня улицы, которое можно воспроизвести пользователям, можно воспроизвести путем последовательного отображения панорам, посредством этого предоставляя пользователю возможность имитировать движение по магистрали, а также предоставляя пользователю возможность имитировать поворот головы или иное изменение направления воспроизводимого представления. С целью иллюстрации такой последовательности панорамных изображений перекресток 159 показан в системе 100 из фиг.1, как он выглядел бы на карте, с помощью последовательности последовательных панорамных изображений 151, 152, 153, 154 и 155, снятых в точках вдоль одной из магистралей перекрестка 159. Панорамы 151, 152, 153, 154 и 155, а также другие панорамы могут быть частью панорам 150 карт, которые могут быть коммуникационно соединены с вычислительным устройством 120 картографического сервера.

[0025] С целью иллюстрации и объяснения перекресток 159 может быть эквивалентен перекрестку нижележащего шоссе 170 и вышележащей эстакады 171, на которой монтируется придорожная камера 110. Следовательно, одна или несколько панорам 151, 152, 153, 154 и 155 могут содержать, по меньшей мере приблизительно, снятую придорожной камерой 110 сцену. Как будет подробнее описываться ниже, вычислительное устройство 120 картографического сервера может идентифицировать одну или несколько панорам 150 карт и может интегрировать канал 140 изображений с придорожных камер в такую панораму, чтобы предоставить вычислительному устройству 130 клиента объединенное изображение 160, как проиллюстрировано связью 169, так что пользователь вычислительного устройства 130 клиента, которому воспроизводится представление уровня улицы посредством панорам 150 карт, может в том представлении уровня улицы также увидеть текущее положение, включая текущее движение транспорта, на шоссе 170, которое представлено придорожной камерой 110 по каналу 140 изображений с придорожных камер. Хотя и сложно проиллюстрировать из-за статичного характера чертежей, объединенное изображение 160 предназначено для представления объединенного изображения, которое содержит движущееся и динамическое видеоизображение, например, которое предоставлено придорожной камерой 110 в виде канала 140 изображений с придорожных камер, наложенным или иным образом интегрированным с существующим изображением таким образом, что существующее изображение обеспечивает более широкий визуальный контекст для движущегося и динамического видеоизображения, и так что видеоизображение отображается в существующем изображении в движущемся и динамическом виде. В результате воспроизведения канала 140 изображений с придорожных камер в контексте существующих панорам пользователю можно обеспечить существенно более широкий визуальный контекст, в котором нужно воспринимать и понимать канал 140 изображений с придорожных камер.

[0026] Более того, как видно из отдельных изображений 141, 142, 143, 144 и 145, придорожная камера 110 в одном варианте осуществления может быть подвижной, так что снятая камерой зона может меняться со временем. Например, изображение 142 может представлять придорожную камеру 110, повернутую вниз после съемки изображения 141. Аналогичным образом изображение 143 может представлять придорожную камеру 110, поворачиваемую вверх после съемки изображения 142, и фактически после съемки изображения 141. Также изображения 144 и 145 могут представлять придорожную камеру 110, поворачиваемую вправо и влево соответственно после съемки изображения 141. Как будет подробнее объясняться ниже, обработка, выполняемая вычислительным устройством 120 картографического сервера, может учитывать такие изменения в ориентации придорожной камеры 110.

[0027] Обращаясь к фиг.2, система 200 подробнее иллюстрирует обработку, с помощью которой канал видеокамеры можно интегрировать с существующей панорамой, так что канал видеокамеры отображается в движущемся и динамическом виде в визуальном контексте существующей панорамы. Сначала, например, в течение этапа предварительной обработки, канал 140 изображений с придорожных камер можно дискретизировать в течение ограниченного количества времени, например, количества времени, которое может устанавливаться заранее, или количества времени, необходимого для получения достаточного объема визуальной информации из канала изображений с придорожных камер. В одном варианте осуществления такое заранее установленное количество времени может учитывать факторы естественного освещения, так что, например, заранее установленное количество времени может выбираться, чтобы избежать включения дневных и ночных изображений, или в качестве другого примера заранее установленное количество времени может выбираться, чтобы избежать включения утренних и вечерних изображений. Если канал 140 изображений с придорожных камер, который дискретизируется, указывает, что придорожная камера, от которой принимается такой канал изображений с придорожных камер, допускает перемещение, так что снятая камерой зона может меняться со временем, то в одном варианте осуществления сначала может выполняться начальная стабилизация изображения, как иллюстрируется системой 200 из фиг.2. Точнее говоря, как показано на фиг.2, последовательность изображений, которые содержат меняющуюся зону, например, изображения 141, 142, 143, 144 и 145, которые были показаны отдельно в системе 100 из фиг.1, можно выровнять, чтобы общие элементы каждого изображения перекрывались. Результирующее комбинированное изображение затем можно использовать, причем последующие перемещения видеокамеры-источника рассматриваются просто как последующие съемки разных частей комбинированного изображения.

[0028] Из такого комбинированного изображения один анализ, указанный действием 225, может идентифицировать области комбинированного изображения, которые показывали движение в течение заранее установленного количества времени, в течение которого дискретизировался канал изображений. Области, которые указали движение, можно идентифицировать в виде маски 220 движения, используя существующие методики анализа изображений, известные специалистам в данной области техники. Аналогичным образом из этого комбинированного изображения другой анализ, указанный действием 235, может идентифицировать области комбинированного изображения, которые оставались неподвижными, или неизменными, в течение заранее установленного количества времени, в течение которого дискретизировался канал изображений. Снова для идентификации таких областей могут использоваться существующие методики анализа изображений, известные специалистам в данной области техники. Например, одна такая методика может усреднять изображения из канала 140 изображений с придорожных камер за часть или все заранее установленное количество времени, в течение которого дискретизируется канал изображений. Такое усреднение может уменьшить или практически исключить элементы, которые двигались по различным кадрам изображения, наряду с выделением тех элементов, которые остаются неподвижными. Результирующее среднее изображение 230 может содержать те части изображений, которые являются частью канала 140 изображений с придорожных камер, которые не изменяются со временем.

[0029] Вместе с каналом 140 изображений с придорожных камер можно получить информацию касательно местоположения 210 придорожной камеры 110, чтобы облегчить выбор одного или нескольких возможных изображений панорамы. Точнее говоря, как показано в системе 200 из фиг.2, местоположение 210 камеры можно сравнить, как указано действием 215, с местоположениями на одной или нескольких панорамах, например, панорамах 151, 152, 153, 154 и 155. Как признают специалисты в данной области техники, когда такие изображения панорамы сначала собираются, также можно записать их точное местоположение, чтобы панорамы можно было подходящим образом отображать и интегрировать с существующими картами, например, как часть представления уровня улицы, предоставляемого в сочетании с предоставлением таких карт. Следовательно, можно легко произвести сравнение между местоположением 210 придорожной камеры 110 и местоположениями, в которых снималась одна или несколько панорам.

[0030] Действие 215 может представлять выбор возможных панорам из существующего набора панорам, который может сообщаться, среди прочих факторов, с помощью вышеуказанных метаданных местоположения. Например, в одном варианте осуществления все панорамы, которые можно снять в пределах заранее установленного расстояния от местоположения 210 придорожной камеры 110, могут выбираться в качестве возможных панорам. В альтернативном варианте осуществления панорамы, которые можно снять вдоль подходящей магистрали, могут выбираться в качестве возможных панорам. В еще одном альтернативном варианте осуществления выбор возможных панорам может сообщаться с помощью нескольких факторов, например, топографии, линии визирования или других факторов, по которым панорамы по меньшей мере в части панорамы, скорее всего, содержат границы изображения, аналогичные снятым придорожной камерой 110, предоставляющей канал 140 изображений с придорожных камер. В типовой системе 200, показанной на фиг.2, с целью иллюстрации и объяснения панорамы 152, 153 и 154 могут выбираться действием 215 в качестве возможных панорам, по меньшей мере частично на основе местоположения 210 придорожной камеры 110, которое вместе с совокупностью панорам предоставляется в качестве входных данных в действие 215.

[0031] Как только выбран набор возможных панорам, подходящую часть одной или нескольких возможных панорам можно совмещать с границами изображения, предоставляемыми каналом 140 изображений с придорожных камер. В одном варианте осуществления выбор подходящей части одной или нескольких возможных панорам может сообщаться с помощью существующих картографических данных, которые могут ассоциироваться с возможными панорамами. Например, как признают специалисты в данной области техники, типичное воспроизведение представления уровня улицы, использующее эти панорамные изображения, также может содержать наложение сформированных компьютером данных изображения карты, например, линий, указывающих конкретные шоссе или другие указанные картой элементы. Такие существующие картографические данные, ассоциированные с возможными панорамами, могут использоваться для сообщения о выборе подходящей части одной или нескольких возможных панорам, которую нужно совместить с границами изображения, предоставляемыми каналом 140 изображений с придорожных камер. Точнее говоря, местоположение 210 камеры вместе другими потенциально доступными метаданными может указывать одну или несколько магистралей, вдоль которых ориентирована придорожная камера 110 и чье движение транспорта регистрируется каналом 140 изображений с придорожных камер. К существующим картографическим данным, которые ассоциируются с возможными панорамами, потом можно обращаться для идентификации тех частей возможных панорам, которые ориентированы в аналогичном направлении или вдоль той же магистрали.

[0032] В типовой системе 200, показанной на фиг.2, части 252, 253 и 254 возможных панорам 152, 153 и 154 соответственно могут выбираться, например, путем обращения к картографическим данным, показанным в виде перекрестка 159, которые могут ассоциироваться с возможными панорамами. Как указывалось ранее, перекресток 159 может быть перекрестком, на котором может располагаться придорожная камера 110, предоставляющая канал 140 изображений с придорожных камер, например, как указано местоположением 210 камеры. Таким образом, части 252, 253 и 254 возможных панорам 152, 153 и 154 соответственно могут быть выбраны путем выбора тех частей возможных панорам, про которые известно путем обращения к картографическим данным, что они ориентированы вдоль одного подходящего шоссе перекрестка 159.

[0033] Выбранную часть 253 из частей 252, 253 и 254 возможных панорам 152, 153 и 154 соответственно можно получить путем совмещения, как указано действием 250, особенностей частей возможных панорам со средним изображением 230, которое может быть сформировано из канала 140 изображений с придорожных камер описанным ранее способом. Например, в одном варианте осуществления действие 250 совмещения может выполняться путем совмещения линий в частях 252, 253 и 254 с эквивалентными линиями в среднем изображении 230. Одним механизмом для выбора линий для совмещения может быть выбор тех линий, которые идут в направлении движения, или то же самое, что в направлении шоссе. Таким образом, по отношению к среднему изображению 230 линии из того изображения, которые можно выбрать для совмещения, могут выбираться с учетом маски 220 движения. Например, линии из среднего изображения 230, которые можно выбрать для совмещения, могут быть теми линиями, которые практически параллельны или включаются в маску 220 движения. Аналогичным образом по отношению к частям 252, 253 и 254 возможных панорам 152, 153 и 154 соответственно линии для совмещения из каждой части могут выбираться с учетом картографических данных, которые ассоциируются с каждой из возможных панорам. Точнее говоря, выбранные линии могут быть теми, которые практически параллельны направлению шоссе, которое считается шоссе, вдоль которого направлена придорожная камера 110, например, что указывалось бы наложенными картографическими данными, ассоциированными с каждой из возможных панорам.

[0034] Для каждой из частей 252, 253 и 254 возможных панорам 152, 153 и 154 соответственно выбранные линии могут совмещаться с выбранными линиями среднего изображения 230, и выбранная часть 253 может выбираться на основе определения, какие линии совместились наиболее точно. Алгоритмы совмещения линий известны специалистам в данной области техники и соответственно не описываются дополнительно. Однако действие 250 совмещения не ограничивается совмещением линий. В других вариантах осуществления точки, сегменты изображения или кластеры данных могут использоваться для совмещения частей 252, 253 и 254 возможных панорам 152, 153 и 154 соответственно со средним изображением 230. При использовании в этом документе термин "совмещение признаков изображения" подразумевается относящимся к таким вариантам осуществления в целом. Более того, хотя система 200 из фиг.2 иллюстрирует выбранную часть 253 только одной панорамы 153, в других вариантах осуществления описанное ниже выведение параметров 260 преобразования может выполняться для нескольких панорам, так что канал 140 изображений с придорожных камер можно было бы интегрировать с несколькими разными панорамами, хотя, как признают специалисты в данной области техники, разные параметры преобразования могут вычисляться и использоваться для каждой такой интеграции канала изображений с придорожных камер в определенную панораму из нескольких разных панорам.

[0035] Как только выбирается выбранная часть 253 панорамы, среднее изображение 230 можно преобразовать и выровнять с выбранной частью, чтобы дать возможность объединения канала 140 изображений с придорожных камер с панорамой 153, из которой была получена выбранная часть 253. Результатом такого преобразования и выравнивания, как представлено действием 265, могут быть параметры 260 преобразования, которые впоследствии могут применяться, как будет дополнительно описываться ниже, к каналу 140 изображений с придорожных камер в реальном масштабе времени, чтобы обеспечить текущее отображение от придорожной камеры 110 в контексте существующей панорамы, например панорамы 153.

[0036] Как и в случае описанного выше совмещения 250, совмещение признаков изображения также может использоваться как часть преобразования и выравнивания 265, чтобы выбрать оптимальные параметры 260 преобразования. В одном варианте осуществления гомография может использоваться для выполнения преобразования и выравнивания 265. Точнее говоря, линии из среднего изображения 230 могут выбираться произвольно, и гомография может использоваться для преобразования среднего изображения 230, так что произвольно выбранные линии совпадают с эквивалентными линиями в выбранной части 253. Потом можно выполнить проверку того, насколько точно соответствуют другие невыбранные линии между преобразованным и выровненным средним изображением 230 и выбранной частью 253. Точность соответствия может оцениваться способом, известным специалистам в данной области техники, и эта оценка может сохраняться вместе с параметрами преобразования, которые использовались. Впоследствии к среднему изображению 230 можно снова обращаться, чтобы еще раз произвольно выбрать другой набор линий и выполнить другую гомографию, чтобы преобразовать среднее изображение 230 так, что новые произвольно выбранные линии совпадают с эквивалентными линиями в выбранной части 253. Оценка этого преобразования потом снова может определяться таким же образом, как и ранее, и может сохраняться вместе с используемыми параметрами преобразования. В конечном счете, параметры преобразования, которые можно выбрать в качестве конечных параметров 260 преобразования, могут быть теми параметрами преобразования, которые привели к наилучшей оценке, свидетельствующей о максимальном соответствии между преобразованным и выровненным средним изображением 230 и выбранной частью 253. В других вариантах осуществления могут использоваться модели подгонки помимо гомографии, например, аффинное отображение или полная проекция.

[0037] Как только параметры 260 преобразования определены, они могут использоваться для преобразования практически в реальном масштабе времени канала 140 изображений с придорожных камер, принимаемого от придорожной камеры 110, и интеграции преобразованного изображения в существующие панорамы карт. Точнее говоря и как показано в типовой системе 200 из фиг.2, канал 140 изображений с придорожных камер, принимаемый в реальном масштабе времени, можно фильтровать и преобразовывать, как указано действием 275, на основе параметров 260 преобразования в маске 220 движения. Маска 220 движения может использоваться для идентификации тех частей канала 140 изображений с придорожных камер, которые нужно интегрировать в существующие панорамы карт. Затем, как только идентифицированы те части и отфильтрована остальная часть канала 140 изображений с придорожных камер, параметры 260 преобразования могут применяться для преобразования оставшихся частей канала изображений с придорожных камер. Результирующий отфильтрованный и преобразованный канал 270 изображений с придорожных камер затем можно объединить с существующим изображением, как подробнее описано ниже. Опять, принимая во внимание статичный характер чертежей, отфильтрованный и преобразованный канал 270 изображений с придорожных камер иллюстрируется как одиночная графическая композиция на фиг.2, но как и раньше графическая композиция, которая идентифицируется номером 270 ссылки, предназначена для представления движущегося и динамического видеоизображения от придорожной камеры 110, только теперь графически преобразованного, например, на покадровой или другой основе, которая была бы известна специалистам в данной области техники в соответствии с описанными выше преобразованиями и которая будет подробно описываться ниже.

[0038] Отфильтрованный и преобразованный канал 270 изображений с придорожных камер затем может объединяться, как указано действием 285, с ранее выбранной частью 253 панорамы 153 карты. Объединение 285 может быть таким, что границы изображения у канала 140 изображений с придорожных камер правильно размещаются в более крупных границах изображения у панорамы 153 карты, или точнее говоря, таким, что признаки изображения у канала изображений с придорожных камер накладываются на эквивалентные признаки изображения у панорамы 153 карты. Такое объединение может привести к объединенному изображению 280, которое включает в себя динамический или практически динамический канал изображений с придорожных камер в виде движущегося и динамического видеоизображения, отображаемого в части панорамы 280 карты, которое можно затем отобразить пользователю, как указано действием 295. Таким образом, пользователю можно предоставить более широкий контекст для видеоизображения, принимаемого от придорожной камеры 110. Например, пользователь, просматривающий представление уровня улицы, которое могло бы воспроизводиться через картографический веб-сайт, когда тот пользователь проходит мимо перекрестка, на котором расположена придорожная камера 110, ему можно воспроизвести не только с помощью представления уровня улицы о таком перекрестке, но также и в реальном масштабе времени или почти в реальном масштабе времени изображение фактического движения транспорта, наложенное на изображение шоссе. Аналогичным образом, в качестве другого примера пользователю, пытающемуся посмотреть канал 140 изображений с придорожных камер, можно воспроизвести такой канал изображений с придорожных камер в контексте существующих панорам карт, так что пользователь может взаимодействовать с панорамами и получить лучший контекст для движущегося и динамического видеоизображения с придорожной камеры, которое показывается, например, лучшее понимание, на какую дорогу направлена придорожная камера 110 и в каком направлении указывает камера.

[0039] Обращаясь к фиг.3, показанная логическая блок-схема 300 иллюстрирует типовую последовательность этапов предварительной обработки, которая может выполняться для выведения параметров 260 преобразования, ранее показанных на фиг.2. Сначала, как показано на фиг.3, на этапе 310 можно дискретизировать канал изображений с придорожных камер, и на этапе 350 можно получить местоположение придорожной камеры. Как часть дискретизации канала изображений с придорожных камер на этапе 310, на этапе 315 можно выполнить определение в отношении того, является ли подвижной придорожная камера, от которой дискретизируется канал изображений с придорожных камер. Определение на этапе 315 можно выполнить, например, путем обнаружения, изменяются ли границы изображения между отдельными кадрами изображения у канала изображений с придорожных камер. Если на этапе 315 определено, что придорожная камера не является подвижной, то обработка может переходить к этапам 330 и 335. В качестве альтернативы, если на этапе 315 определено, что придорожная камера является подвижной, то обработка может переходить к этапу 320, в результате чего изображения, принимаемые из канала изображений с придорожных камер, можно стабилизировать, например, ранее описанным способом. Обработка затем может переходить к этапам 330 и 335.

[0040] Как указано на логической блок-схеме 300 по фиг.3, выполнение этапов 330 и 340 и этапа 335 может осуществляться параллельно или таким образом, что порядок выполнения, как между этапами 330 и 340 и этапом 335, может быть несущественным. На этапе 330 среднее изображение можно вывести за период времени, который включает в себя по меньшей мере часть время (если не все), в течение которого дискретизируется канал изображений с придорожных камер. Потом на этапе 340 в одном варианте осуществления линии в среднем изображении, выведенном на этапе 330, можно обнаружить с использованием известных методик обнаружения линий. На этапе 335 маску областей, которые демонстрируют движение со временем, можно вывести из дискретизуемого канала изображений с придорожных камер.

[0041] По завершению этапов 330 и 340 и этапа 335 обработка может переходить к этапу 345, в результате чего линии, которые были обнаружены на этапе 340 в среднем изображении, которое было выведено на этапе 330, можно отфильтровать с использованием маски движения, выведенной на этапе 335, так что результирующие линии являются теми линиями, которые идут вдоль или приблизительно параллельны направлению движения, которое установлено маской движения.

[0042] Параллельно вышеописанным этапам и независимо от них на этапе 355 панорамы, которые сняты возле местоположения придорожной камеры, можно идентифицировать на основе местоположения придорожной камеры, которое было принято или иным образом получено на этапе 350. Среди панорам, идентифицированных на этапе 355, на этапе 360 можно обнаружить линии в некоторой части или даже во всей панораме посредством использования известных методик обнаружения линий. Потом на этапе 365 линии, обнаруженные на этапе 360, можно отфильтровать на основе существующих картографических данных, которые интегрируются и ассоциируются с выбранными панорамами. Точнее говоря, выполненная на этапе 365 фильтрация линий может выбирать линии, которые идут вдоль или в направлении одного или нескольких шоссе, которые идентифицируются как шоссе, вдоль которых ориентирована придорожная камера, предоставляющая канал изображений с придорожных камер.

[0043] На этапе 370 по завершению фильтрации линий на этапе 345 и фильтрации линий на этапе 365 можно произвести сравнение отфильтрованных линий, чтобы идентифицировать наилучшее совмещение между дискретизируемым каналом изображений с придорожных камер и по меньшей мере некоторой частью одной или нескольких уже существующих панорам карт. Как только идентифицируется наилучшее совмещение на этапе 370, канал изображений с придорожных камер можно подогнать и выровнять с идентифицированной панорамой или ее частью, например, посредством системы 400, которая показана на фиг.4 и будет подробнее описываться ниже. В конечном счете, независимо от точного механизма, используемого для выполнения подгонки и выравнивания канала изображений с придорожных камер с идентифицированной панорамой или ее частью, результатом такого механизма могут быть параметры преобразования, при выведении которых соответствующая предварительная обработка может закончиться на этапе 375, как показано на логической блок-схеме 300 по фиг.3.

[0044] Обращаясь к фиг.4, показанная логическая блок-схема 400 иллюстрирует типовой механизм, с помощью которого можно вывести параметры преобразования, которые могут применяться к каналу изображений с придорожных камер, чтобы дать возможность визуально удачно интегрировать его в существующую панораму карты. Как указывалось ранее, хотя логическая блок-схема 400 по фиг.4 и конечно аспект логической блок-схемы 300 по фиг.3 ссылаются на использование линий для выполнения и оценки совмещения между каналом изображений с придорожных камер и одной или несколькими существующими панорамами карт, такие ссылки являются всего лишь типовыми, и другие признаки изображения также могут использоваться для выполнения такого совмещения и оценки.

[0045] Сначала, как показано логической блок-схемой 400 по фиг.4, на этапе 410 можно получить изображение с придорожной камеры в существующей панораме, с которой его нужно привести в соответствие и выровнять. Потом на этапе 420 можно произвольно выбрать линии в изображении с придорожной камеры. Как указывалось ранее, совокупность линий, из которой некоторые линии можно произвольно выбрать на этапе 420, может быть теми линиями, которые установлены маской движения, или иными линиями, которые идут вдоль или практически параллельны направлению движения. Потом на этапе 430 изображение с придорожной камеры можно преобразовать и выровнять, чтобы подогнать произвольно выбранные линии к соответствующим линиям в существующей панораме. В одном варианте осуществления гомография может использоваться для выполнения такого преобразования. На этапе 440 можно оценить общее соответствие между преобразованным и выровненным изображением с придорожной камеры в существующей панораме, например, путем оценивания того, насколько совпадают другие линии между преобразованием, чтобы выровнять изображение с придорожной камеры и существующую панораму. На этапе 450 параметры преобразования, выведенные и использованные на этапе 430, можно сохранить вместе с соответствующей оценкой, которая определялась на этапе 440.

[0046] На этапе 460 можно выполнить определение в отношении того, достигнута ли некая пороговая величина. В одном варианте осуществления такая пороговая величина может быть просто определенным количеством итераций, тогда как в других вариантах осуществления такая пороговая величина может быть минимальной оценкой, ассоциированной с пороговым уровнем приемлемости соответствия между преобразованным и выровненным изображением с придорожной камеры и существующей панорамой или другими похожими пороговыми величинами. Если на этапе 460 определено, что подходящая пороговая величина еще не достигнута, то обработка может вернуться к этапу 420, в результате чего можно произвольно выбрать другой набор линий, и обработка этапов 430, 440 и 450 может повторяться с заново произвольно выбранными линиями. Наоборот, если на этапе 460 определено, что подходящая пороговая величина достигнута, то обработка может переходить к этапу 470, в результате чего можно выбрать параметры преобразования, которые привели к наилучшей оценке. Выбранные параметры преобразования на этапе 470 могут быть целью соответствующей обработки, как указано этапом 375, также упомянутой ранее на логической блок-схеме 300 по фиг.3.

[0047] Обращаясь к фиг.5, показанная блок-схема 500 иллюстрирует типовой набор комбинированных изображений, иллюстрирующий три механизма, с помощью которых канал изображений с придорожных камер можно интегрировать с существующей панорамой. Как и раньше, из-за статичного характера чертежей объединения 510, 530 и 550 показаны в виде одиночной графической композиции, но они имеют целью представлять наложение или другое объединение движущегося и динамического видеоизображения, которое отображается, с неподвижным изображением. Следовательно, различные графические элементы в видеоизображении читателю нужно понимать и представлять как движущиеся и динамические графические элементы. Более того, как признают специалисты в данной области техники, три проиллюстрированных механизма являются всего лишь типовыми, и другие механизмы визуальной интеграции могут в равной степени применяться к каналу изображений с придорожных камер без отклонения от предоставленных в этом документе описаний. В одном варианте осуществления, проиллюстрированном объединенным изображением 510, выбранная часть 253 панорамы карты может иметь наложенное на нее преобразованное и выровненное движущееся видеоизображение с придорожной камеры, представленное слегка заштрихованной областью 520. Однако, как признают специалисты в данной области техники, такому воспроизведению может не хватать визуального изящества, и оно может восприниматься отрицательно некоторыми пользователями.

[0048] Следовательно, в другом варианте осуществления, проиллюстрированном объединенным изображением 530, выбранная часть 253 панорамы карты может иметь наложенные на нее только те элементы движущегося видеоизображения с придорожной камеры, которые считаются движением транспорта, например, транспортные средства 531, 532, 533, 534 и 535. Хотя такой вариант осуществления может обеспечить большее визуальное изящество и сохранить непрерывность большей части изображения панорамы, часто изображения панорамы сами могут включать в себя неподвижные изображения движения транспорта, которое могло присутствовать на шоссе в то время, когда его изображение снималось в панораме. Таким образом, как показано на комбинированном изображении 530, транспортные средства 541 и 542, которые могут быть частью панорамы, могут оказаться занимающими такое же пространство или приблизительно такое же пространство, как транспортные средства 531, 532, 533, 534 и 535 из канала изображений с придорожных камер. Более того, поскольку транспортные средства 531, 532, 533, 534 и 535 являются движущимися элементами движущегося и динамического видеоизображения, они могут казаться едущими "сквозь" или "поверх" транспортных средств 541 и 542, которые являются неподвижными элементами неподвижной части 253 панорамы. Такое появление и такое визуальное поведение может сбивать с толку некоторых пользователей.

[0049] Следовательно, в еще одном варианте осуществления, проиллюстрированном комбинированным изображением 550, выбранная часть 253 панорамы карты может иметь наложенную на нее часть 560 движущегося видеоизображения с придорожной камеры, которая содержит то, что идентифицируется как шоссе и движение транспорта по нему. В таком варианте осуществления любые транспортные средства, которые могли быть частью панорамы, могут маскироваться, когда шоссе из канала изображений с придорожных камер с движением транспорта из того видеоизображения накладывается поверх них. Такой вариант осуществления в некоторых обстоятельствах может предоставить почти бесшовную визуальную интеграцию между содержательной визуальной информацией, предоставляемой каналом изображений с придорожных камер, и контекстной визуальной информацией, предоставляемой панорамой. Например, такой вариант осуществления может заставить движение транспорта из видеоизображения с придорожной камеры казаться плавно движущимся в части панорамы 253. Однако, как указывалось ранее, могут использоваться другие механизмы интегрирования двух изображений без отклонения от вышеприведенных описаний.

[0050] Более того, как также указывалось ранее, вышеприведенные описания конкретно не ограничены придорожными камерами и панорамами карт, хотя ссылки на них сделаны с целью разъяснения вышеприведенных описаний. На самом деле вышеприведенные описания применимы к любой интеграции видеоизображения в неподвижное изображение. Например, различные государственные и частные предприятия обслуживают собственные видеокамеры и предоставляют доступ к каналам изображений от таких видеокамер. Такие предприятия могут включать в себя горнолыжные курорты, чьи видеокамеры могут отображать текущие условия на различных горнолыжных склонах, общественные или закрытые пляжи, чьи видеокамеры могут отображать текущие условия на пляже, и общественные или частные университеты, чьи видеокамеры могут просто отображать различные части их городков. Каналы изображений от таких видеокамер могут интегрироваться в существующие неподвижные изображения таким же образом, что и каналы изображений от упоминаемой выше придорожной камеры. Например, часто горнолыжные склоны, пляжи и университетские городки располагаются возле дорог, чьи панорамы сняты с целью предоставления представлений уровня улицы в картографическом контексте. Таким образом, такие прочие видеокамеры могли бы интегрировать их движущееся и динамическое видеоизображение в те же панорамы карт, упомянутые выше. В качестве еще одной альтернативы видеокамеры с узким сектором обзора, например, камеры слежения, могли бы интегрировать их движущееся и динамическое видеоизображение в неподвижные изображения с целью обеспечения более широкого визуального контекста для камеры слежения с узким сектором обзора. Таким образом, в качестве примера у здания могут быть снятые широкоугольные неподвижные изображения, снимающие по меньшей мере две стороны такого здания. Впоследствии все множество камер слежения, установленных вокруг здания, могли бы отображать их видеоизображение в контексте таких широкопольных изображений. Как видно, вышеприведенные описания применимы к широкому диапазону движущегося и динамического видеоизображения, интегрированного в неподвижные изображения, которые обеспечивают более широкий визуальный контекст.

[0051] Обращаясь к фиг.6, иллюстрируется типовое вычислительное устройство 600, на котором и в сочетании с которым можно реализовать вышеописанные механизмы. Типовое вычислительное устройство 600 может быть любым одним или несколькими из вычислительного устройства 130 клиента, вычислительного устройства 120 картографического сервера или даже придорожной камеры 110, проиллюстрированных на ранее упоминаемых чертежах и подробнее описанных выше. Типовое вычислительное устройство 600 по фиг.6 может включать в себя, но не в ограничительном смысле, один или несколько центральных процессоров 620 (CPU), системную память 630, которая может включать в себя RAM 632, и системную шину 621, которая соединяет различные компоненты системы, включая системную память, с процессором 620. Системная шина 621 может быть любой из нескольких типов шинных структур, включая шину памяти или контроллер памяти, периферийную шину и локальную шину, использующих любую из ряда шинных архитектур. Вычислительное устройство 600 при желании может включать в себя аппаратные средства графики, например, для отображения визуальных интерфейсов пользователя, включающие в себя интерфейс 690 аппаратных средств графики и устройство 691 отображения, но не только. Более того, вычислительное устройство 600 также может включать в себя аппаратные средства графического ввода, например, цифровую видеокамеру 651, которая может представлять физические аппаратные средства, с помощью которых придорожная камера 110 снимает канал 140 изображений с придорожных камер. Аппаратные средства графического ввода, например цифровая видеокамера 651, могут коммуникационно соединяться с системной шиной 621 посредством интерфейса 650 периферийных устройств.

[0052] Вычислительное устройство 600 также обычно включает в себя машиночитаемые носители, которые могут включать в себя любые доступные носители, к которым можно обращаться с помощью вычислительного устройства 600, и включают в себя как энергозависимые и энергонезависимые, так и съемные и несъемные носители. В качестве примера, а не ограничения, машиночитаемые носители могут содержать компьютерные носители информации и среды связи. Компьютерные носители информации включают в себя носители, реализованные по любому способу или технологии для хранения информации, такой как машиночитаемые команды, структуры данных, программные модули и другие данные. Компьютерные носители информации включают в себя, но не ограничиваются, RAM, ROM, EEPROM, флэш-память или другую технологию памяти, компакт-диск, универсальные цифровые диски (DVD) или другой накопитель на оптических дисках, магнитные кассеты, магнитную ленту, накопитель на магнитных дисках или другие магнитные запоминающие устройства, или любой другой носитель, который может использоваться для хранения нужной информации и к которому можно обращаться с помощью вычислительного устройства 600. Среды связи обычно воплощают машиночитаемые команды, структуры данных, программные модули или другие данные в модулированном сигнале данных, таком как несущая или другой транспортный механизм, и включают в себя любые среды доставки информации. В качестве примера, а не ограничения, среды связи включают в себя проводные среды, такие как проводная сеть или прямое проводное соединение, и беспроводные среды, такие как акустические, радиочастотные, инфракрасные и другие беспроводные среды. Сочетания любых из вышеприведенных сред и носителей также охватываются понятием «машиночитаемый носитель».

[0053] Системная память 630 включает в себя компьютерные носители информации в виде энергозависимого и/или энергонезависимого запоминающего устройства, такого как постоянное запоминающее устройство 631 (ROM) и вышеупомянутое RAM 632. Базовая система 633 ввода/вывода (BIOS), содержащая базовые процедуры, которые помогают передавать информацию между элементами внутри вычислительного устройства 600, к примеру, во время запуска, обычно хранится в ROM 631. RAM 632, как правило, содержит данные и/или программные модули, которые непосредственно доступны и/или эксплуатируются в настоящее время процессором 620. В качестве примера, а не ограничения, фиг.6 иллюстрирует операционную систему 634 вместе с другими программными модулями 635 и данными 636 программ.

[0054] Вычислительное устройство 600 также может включать в себя другие съемные/несъемные, энергозависимые/энергонезависимые компьютерные носители информации. Только в качестве примера, фиг.6 иллюстрирует накопитель 641 на жестком диске, который считывает с несъемных энергонезависимых магнитных носителей или записывает на них. Другие съемные/несъемные, энергозависимые/энергонезависимые компьютерные носители информации, которые могут использоваться с типовым вычислительным устройством, включают в себя, но не ограничиваются, кассеты с магнитной лентой, карты флэш-памяти, универсальные цифровые диски, цифровую видеоленту, твердотельное RAM, твердотельное ROM и тому подобное. Накопитель 641 на жестком диске обычно подключается к системной шине 621 через интерфейс несъемных запоминающих устройств, например, интерфейс 640.

[0055] Накопители и их ассоциированные компьютерные носители информации, рассмотренные выше и проиллюстрированные на фиг.6, обеспечивают хранение машиночитаемых команд, структур данных, программных модулей и других данных для вычислительного устройства 600. На фиг.6, например, накопитель 641 на жестком диске иллюстрируется как хранящий операционную систему 644, другие программные модули 645 и данные 646 программ. Отметим, что эти компоненты могут быть либо такими же, либо отличными от операционной системы 634, других программных модулей 635 и данных 636 программ. Операционной системе 644, другим программным модулям 645 и данным 646 программ здесь даны другие номера, чтобы проиллюстрировать, что они, как минимум, являются разными копиями.

[0056] Вычислительное устройство 600 может работать в сетевом окружении, используя логические соединения с одним или несколькими удаленными компьютерами. Вычислительное устройство 600 иллюстрируется как подключенное к сетевому соединению 671 общего пользования через сетевой интерфейс или адаптер 670, который в свою очередь подключается к системной шине 621. В сетевом окружении программные модули, изображенные относительно вычислительного устройства 600 либо его частей или периферийного оборудования, могут храниться в запоминающем устройстве одного или нескольких других вычислительных устройств, соединенных с вычислительным устройством 600 по сетевому соединению 671 общего пользования. Будет принято во внимание, что показанные сетевые соединения являются типовыми, и может быть использовано другое средство установления линии связи между вычислительными устройствами.

[0057] Как видно из вышеприведенного описания, перечислены механизмы для интегрирования динамических каналов видеокамеры с существующими неподвижными изображениями. В связи со многими возможными разновидностями реализации изобретения, описанного в этом документе, в качестве нашего изобретения мы заявляем все такие варианты осуществления, которые могут входить в объем, определяемый нижеследующей формулой изобретения и ее эквивалентами.

Изобретение относится к средствам формирования комбинированного изображения. Техническим результатом является повышение качества сформированного изображения. В способе получают выборку видеоизображения, выбирают неподвижное изображение, чьи границы содержат часть границ видеоизображения, идентифицируют признаки изображения, общие для выборки видеоизображения и выбранного изображения, определяют параметры преобразования и выравнивания видеоизображения для интеграции с выбранным изображением, принимают видеоизображение, преобразуют и выравнивают принятое видеоизображение с использованием параметров преобразования, формируют объединенное изображение. 3 н. и 10 з.п. ф-лы, 6 ил.

1. Способ формирования объединенного изображения, содержащего видеоизображение, визуально интегрированное в существующее неподвижное изображение, которое обеспечивает большие границы изображения, чем видеоизображение, причем способ содержит этапы, на которых:
получают выборку видеоизображения;
выбирают существующее неподвижное изображение, чьи границы изображения содержат по меньшей мере часть границ изображения видеоизображения, причем выбор сообщается с помощью метаданных местоположения, ассоциированных с видеоизображением и с неподвижным изображением;
идентифицируют признаки изображения, общие для выборки видеоизображения и выбранного неподвижного изображения, которые нужно использовать при преобразовании и выравнивании выборки видеоизображения с выбранным неподвижным изображением; и
определяют относительно идентифицированных признаков изображения, параметры преобразования для преобразования и выравнивания видеоизображения для интеграции с выбранным неподвижным изображением, так что видеоизображение появляется в выбранном неподвижном изображении и признаки изображения видеоизображения накладываются на эквивалентные признаки изображения выбранного неподвижного изображения;
принимают видеоизображение;
преобразуют и выравнивают принятое видеоизображение с использованием параметров преобразования; и
формируют объединенное изображение, содержащее по меньшей мере часть преобразованного и выровненного видеоизображения, наложенную на выбранное неподвижное изображение.

2. Способ по п.1, в котором видеоизображение поступает от придорожной камеры, при этом существующее неподвижное изображение является панорамой карты, используемой для предоставления представления уровня улицы.

3. Способ по п.1, в котором этап, на котором идентифицируют признаки изображения, которые нужно использовать при преобразовании и выравнивании выборки видеоизображения, содержит этапы, на которых: определяют среднее изображение, содержащее те элементы, которые остаются неподвижными во всей выборке видеоизображения; определяют маску движения, идентифицирующую области, в которых элементы перемещаются во всей выборке видеоизображения; и идентифицируют признаки изображения в среднем изображении, которые идут по маске движения.

4. Способ по п.1, в котором этап, на котором идентифицируют признаки изображения, которые нужно использовать при преобразовании и выравнивании выборки видеоизображения, содержит этап, на котором идентифицируют признаки изображения в выбранном неподвижном изображении, которые идут вдоль наложенных картографических данных шоссе, ассоциированного с выбранным неподвижным изображением, вдоль которого ориентирована придорожная камера, где видеоизображение поступает от придорожной камеры и где выбранное неподвижное изображение является панорамой карты, имеющей наложенные картографические данные.

5. Способ по п.1, в котором этап, на котором определяют параметры преобразования, содержит этапы, на которых:
выбирают первый набор признаков изображения из идентифицированных признаков изображения;
определяют параметры преобразования для преобразования и выравнивания выборки видеоизображения с выбранным неподвижным изображением, так что признаки изображения из выборки видеоизображения, которые являются частью первого набора признаков изображения, выравниваются с соответствующими признаками изображения из выбранного неподвижного изображения;
оценивают общее соответствие между преобразованной и выровненной выборкой видеоизображения и выбранным неподвижным изображением, причем оценка основывается на точности выравнивания прочих идентифицированных признаков изображения, которые не являются частью первого набора признаков изображения;
повторяют определение и оценку для последующих наборов признаков изображения, выбранных из идентифицированных признаков изображения; и
выбирают в качестве параметров преобразования те параметры преобразования, которые привели к наилучшей оценке общего соответствия.

6. Способ по п.1, в котором признаки изображения являются линиями, при этом этап, на котором выводят параметры преобразования, содержит этап, на котором выполняют гомографию с использованием этих линий.

7. Способ по п.1, дополнительно содержащий этап, на котором: стабилизируют выборку видеоизображения в комбинированном изображении, причем отдельные кадры выборки видеоизображения выровнены друг с другом, так что общие элементы изображения каждого кадра перекрываются.

8. Машиночитаемый носитель, содержащий исполняемые компьютером команды для выполнения способа по п.1.

9. Способ визуальной интеграции видеоизображения в по меньшей мере одно существующее неподвижное изображение, которое обеспечивает большие границы изображения, чем видеоизображение, причем способ содержит этапы, на которых:
принимают видеоизображение;
преобразуют и выравнивают принятое видеоизображение с использованием параметров преобразования; и
формируют объединенное изображение, содержащее по меньшей мере часть преобразованного и выровненного видеоизображения, наложенную на по меньшей мере одно из существующих неподвижных изображений.

10. Способ по п.9, в котором видеоизображение поступает от придорожной камеры, при этом упомянутое по меньшей мере одно существующее неподвижное изображение является панорамой карты, используемой для предоставления представления уровня улицы.

11. Способ по п.10, в котором этап, на котором формируют объединенное изображение, дополнительно содержит этап, на котором отфильтровывают части видеоизображения помимо шоссе и движения транспорта и накладывают только шоссе и движение транспорта на упомянутое по меньшей мере одно существующее неподвижное изображение.

12. Способ по п.9, в котором этап, на котором формируют объединенное изображение, дополнительно содержит этап, на котором отфильтровывают неподвижные элементы изображения из видеоизображения и накладывают только движущиеся элементы изображения из видеоизображения на упомянутое по меньшей мере одно из выбранных неподвижных изображений.

13. Способ по п.9, в котором упомянутое по меньшей мере одно существующее неподвижное изображение имеет ассоциированные с ним метаданные местоположения, идентифицирующие местоположение, ближайшее к местоположению, идентифицируемому метаданными местоположения, ассоциированными с видеоизображением.