СИСТЕМА И СПОСОБ ДЛЯ ВЫЯВЛЕНИЯ ПОЛОЖЕНИЯ ЗЕРКАЛА ТРАНСПОРТНОГО СРЕДСТВА Российский патент 2020 года по МПК B60R1/06 B60R1/08 G06K9/00 G06T7/00 H04N5/232 H04N5/33 

УРОВЕНЬ ТЕХНИКИ

Боковое зеркало заднего вида (также установленное на крыле зеркало, дверное зеркало или зеркало бокового обзора) является зеркалом, находящимся на наружной стороне моторного транспортного средства для содействия водителю в обзоре зоны позади и по бокам транспортного средства, вне периферийного зрения водителя, в так называемой «слепой зоне». Боковые зеркала заднего вида могут электрически раскладываться и складываться. Например, когда транспортное средство поставлено на стоянку или моется на автоматизированной автомойке, зеркало может складываться. Затем, после автомойки при вождении моторного транспортного средства, нужно, чтобы боковое зеркало заднего вида было разложено. Дополнительно, боковое зеркало заднего вида может иметь компоненты обеспечения безопасности, встроенные в зеркало, например, в боковом зеркале может быть установлен датчик, который будет выявлять, когда водитель транспортного средства начинает выходить из полосы движения. К сожалению, существующие системы для транспортного средства обладают недостатком в отношении предоставления достоверного подтверждения, что боковое зеркало заднего вида разложено, и что системы обеспечения безопасности, связанные с боковым зеркалом заднего вида, могут функционировать, как задумано.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Фиг. 1 - вид в перспективе бокового зеркала заднего вида транспортного средства в сложенном положении.

Фиг. 2 - вид в перспективе бокового зеркала заднего вида транспортного средства в разложенном положении.

Фиг. 3A - структурная схема примерной системы выявления состояния зеркала.

Фиг. 3B - структурная схема еще одной примерной системы выявления состояния зеркала.

Фиг. 4 - блок-схема последовательности операций примерного процесса для раскладывания бокового зеркала заднего вида.

Фиг. 5 - блок-схема последовательности операций примерного процесса для определения, разложено ли боковое зеркало заднего вида.

ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ

Обращаясь к фигурам, на которых идентичные номера указывают одинаковые элементы на всем протяжении нескольких видов, фиг. 1 представляет собой вид в перспективе бокового зеркала 12 заднего вида транспортного средства 10 в сложенном положении. Фиг. 2 - вид в перспективе бокового зеркала 12 заднего вида транспортного средства в разложенном положении. Камера 34 расположена на наружной кромке бокового зеркала 12 заднего вида, чтобы выявлять, раскладывается ли боковое зеркало 12 заднего вида из сложенного положения (как описано ниже). Лампа подсветки околодверного пространства 18, такая как известная, также показана. Посредством сравнения первого и второго (и/или последующего) изображений, полученных камерой 34, например, определения, различаются ли одна или более количественно измеримых характеристик изображения (примеры которых обсуждены ниже) больше, чем на предопределенные пороговое значение или пороговые значения, можно определять положение зеркала 12 (например, сложенное или разложенное), и/или переместилось ли зеркало после предыдущего выявления. Обратите внимание, что, хотя технологии в настоящем документе описаны в отношении бокового зеркала 12 заднего вида, концепции этого раскрытия также могли бы быть применены к другим зеркалам, например, установленному на крыле зеркалу, дверному зеркалу или зеркалу бокового обзора, и т.д.

Фиг. 3A иллюстрирует примерные компоненты системы 30 выявления бокового зеркала заднего вида. Процессор 32 соединен с возможностью осуществления связи с памятью 31 и с буфером 36 ввода/вывода (I/O). Процессор 32, память 31 и/или буфер 36 I/O включены в электронный блок 37 управления (ECU). Буфер 36 I/O ECU 37 соединен с возможностью осуществления связи с шиной 35 связи транспортного средства для транспортного средства 10. Буфер 36 I/O блока ECU 37 также соединен с возможностью осуществления связи с интерфейсом 33 (I/F) камеры. I/F 33 камеры также соединен с возможностью осуществления связи с камерой 34, расположенной на боковом зеркале 12 заднего вида транспортного средства 10.

Во время работы первое изображение от камеры 34 отправляется в I/F 33 камеры. Изображение затем отправляется в буфер 36 I/O, а затем, в процессор 32. Процессор 32 обрабатывает (как описано ниже) первое изображение и может сохранять первое изображение и/или набор характеристик или параметров, связанных с первым изображением, в памяти 31. Процессор 32, в качестве альтернативы или дополнительно, может сохранять первое изображение в кэш-памяти (не показана) процессора 32. Использование кэш-памяти процессора будет уменьшать среднее время для доступа к данным из основной памяти, что может повышать производительность вычислительной системы. Когда боковое зеркало 12 заднего вида сложено, камера 34 направлена на транспортное средство 10, и большая часть первого изображения типично является изображением транспортного средства 10.

После того как изображение принято посредством ECU 37, набор характеристик изображения может извлекаться из изображения. Одна из технологий для анализа изображения и извлечения набора характеристик включает в себя подсчет пикселей. В этой технологии ECU 27 назначает значение интенсивности каждому пикселю или по меньшей мере выбранному набору пикселей в принятом изображении, а затем суммирует количество пикселей, имеющих каждое соответственное значение интенсивности. Например, допустим, что изображение имеет разрешение 640 вертикальных пикселей и 480 горизонтальных пикселей для суммарного количества 307200 пикселей. Пиксели могли бы находиться в диапазоне интенсивности от черного с нулевым значением интенсивности до белого со значением интенсивности 255. Есть 254 интенсивности пикселя уровня серого между черным и белым пикселями для суммарного количества 256 значений интенсивности пикселя (0-255). ECU 37 обрабатывает принятое изображение, суммируя количества для каждой интенсивности пикселя изображения и сохраняя 256 интенсивностей в памяти в качестве профиля изображения.

Набор характеристик, извлеченных из первого изображения, может использоваться для сравнения изображения с набором характеристик второго изображения, после чего ECU 37 может определять, различны ли по существу изображения, согласно сравнению соответственных характеристик изображений. Например, в технологии подсчета пикселей, как описано выше, если 10% или более значений интенсивностей пикселей изменяются от первого изображения ко второму изображению, то второе изображение могло бы считаться по существу отличным от первого изображения. Таким образом, в этом примере, десятипроцентное изменение интенсивностей пикселей является предопределенным пороговым значением для определения, что изображения по существу различны.

Другие технологии для получения набора характеристик изображения, которые могут использоваться по отдельности и/или в комбинации друг с другом и/или с технологией интенсивности пикселей, описанной выше, например, могут включать в себя распознавание контуров, сопоставление по шаблону и выявление больших двоичных объектов, что является лишь несколькими примерами. При распознавании контуров «контуры» являются границами перехода объектов в изображении и обнаруживаются посредством поиска максимума и минимума первой производной значений интенсивности пикселя. Расположение и интенсивности контуров сравниваются для определения, являются ли изображения по существу различными. Например, если контуры переместились горизонтально или вертикально больше, чем на 10 пикселей, изображение считается по существу различным.

Сопоставление по шаблону включает в себя идентификацию небольших отображенных зон первого изображения, которые по битам сравниваются с зонами второго изображения, идентифицированными в качестве соответствующих, например, занимающих идентичную зону во втором изображении. В одном из примеров, если 10% или более битов шаблона в первом изображении не обладают такими же значениями, как их аналог во втором изображении, изображения считаются по существу различными. Например, первое изображение может иметь 16 отображенных областей, где каждая область представляет собой 50 вертикальных пикселей на 50 горизонтальных пикселей. ECU 37 стал бы сравнивать 16 области первого изображения с 16 областями второго изображения, и, если две (12,5%) области различны, изображения могли бы считаться по существу различными.

Выявление больших двоичных объектов относится к математическим методам, которые нацелены на выявление областей в цифровом изображении, которые различны по свойствам, таким как яркость или цвет, по сравнению с зонами, окружающими такие области, и т.д. Если 10% или более для больших двоичных объектов не являются такими же, как их аналоги в последующем изображении, изображения считаются по существу различными. Например, первое изображение могло бы иметь 32 больших двоичных объекта, где 16 больших двоичных объектов подлежат определению цвета, и 16 больших двоичных объектов подлежат определению яркости. ECU 27 мог бы сравнивать 32 больших двоичных объекта первого изображения с 32 большими двоичными объектами последующего изображения, и если 4 (12,5%) различны, изображения могли бы считаться по существу различными.

Как описано выше, когда зеркало сложено, камера 34 бокового зеркала 12 заднего вида может быть способна получать изображение, которое включает в себя только часть транспортного средства 10 и не включает в себя другие предметы, такие как земля. Однако когда боковое зеркало 12 заднего вида раскладывается, камера 34 нацеливается, то есть, в общем, в направлении земли, и второе и другие последующие изображения будут показывать всего лишь небольшую часть транспортного средства 10, и последующее изображение будет включать в себя землю. Таким образом, сравнение первого изображения со вторым и/или другими последующими изображениями как правило дает в результате определение, что первое изображение и второе и/или последующие изображения по существу различны, означая, что зеркало 12 переместилось.

Более того, если второе и/или другие последующие изображения по существу различны с первым изображением, ECU 37 может отправлять сообщение через шину 35 связи транспортного средства в ECU головного устройства (не показан) или в ECU приборной панели (не показан), указывающее, что боковое зеркало заднего вида переместилось из сложенного положения. Наоборот, если сравнение первого изображения с последующим изображением не указывает на перемещение зеркала 12, ECU 37 может отправлять сообщение ошибки через шину 35 связи транспортного средства в ECU головного устройства, указывающее, что боковое зеркало заднего вида не было перемещено из сложенного положения.

В одном из примеров, система 30 определяет, когда транспортное средство 10 запускается, ECU 37 дает команду боковому зеркалу 12 заднего вида раскладываться, и последующее изображение получается камерой 34 некоторым образом, как описано выше в отношении первого изображения. Процессор 32 обрабатывает последующее изображение и сохраняет последующее изображение или набор характеристик или параметров, связанных с последующим изображением, в памяти 31. Процессор 32, при необходимости, может сохранять последующее изображение в кэш-памяти процессора 32.

В еще одном примере система 30 может сохранять изображение полностью разложенного зеркала 12 или набор характеристик или параметров, связанных с полностью разложенным зеркалом, в памяти 31. Процессор 32 по выбору может сохранять полностью разложенное изображение в кэш-памяти процессора 32. Процессор 32 может использовать полностью разложенное изображение для определения, разложено ли боковое зеркало 12 заднего вида в полностью разложенное положение, сравнивая полностью разложенное изображение с последующим изображением, то есть, сохраненное ранее полностью разложенное изображение может служить в качестве «первого изображения», обсужденного выше. Если сравнение полностью разложенного изображения и принятого изображения имеет значение по существу различных, например, как описано выше, процессор 32 может отправлять предупредительный сигнал через шину 35 связи транспортного средства в ECU головного устройства или ECU приборной панели, что зеркало 12 не развернулось полностью. Например, ветка может находиться на пути движения бокового зеркала 12 заднего вида и предотвращать полное раскладывание бокового зеркала 12 заднего вида из сложенного положения. Предупредительное сообщение может предупреждать водителя и транспортное средство 10 о проблеме с боковым зеркалом 12 заднего вида.

Фиг. 3B иллюстрирует еще один пример системы 40 выявления бокового зеркала заднего вида, которая подобна системе 30, основное отличие состоит в том, что система 40 включает в себя модуль 38 обработки изображений (IPM). IMP 38 присоединен с возможностью обмена информацией к I/F 33 камеры, а также к буферу 36 I/O. IMP 38 может содержать в себе цифровой сигнальный процессор и другие компоненты аппаратного ускорения обработки видео, чтобы разгружать обработку изображений, выполняемую процессором 32. Цифровой сигнальный процессор может обеспечивать лучшую производительность, чем большинство микропроцессоров общего применения, так как архитектура цифровых сигнальных процессоров специально оптимизирована для цифровой обработки изображений.

В дополнительном примере камера 34 может быть инфракрасной камерой, чтобы предоставлять камере 34 возможность иметь лучшие рабочие характеристики в ситуациях тусклого освещения. Инфракрасная камера является устройством, которое формирует изображение с использованием инфракрасного излучения, аналогично обычной камере, которая формирует изображение с использованием видимого света.

Шина 35 связи транспортного средства предоставляет микроконтроллерам, таким как в ECU 37 и других устройствах в транспортном средстве, возможность осуществлять связь друг с другом в применениях без главного компьютера. Шина 35 связи транспортного средства может быть шиной локальной сети контроллеров (CAN), которая является основанным на сообщениях протоколом, изначально предназначенным для автомобильных применений, но также используется во многих других контекстах. Шина CAN использует последовательную связь для отправки и приема сообщений. Последовательная связь относится к процессу отправки данных по одному биту за раз, последовательно, через канал связи, такой как шина связи транспортного средства.

Фиг. 4 - блок-схема последовательности операций, иллюстрирующая примерный процесс 100 развертывания бокового зеркала 12 заднего вида. Процесс 100 начинается в блоке 105, в котором выполняется определение, включено ли транспортное средство. Если транспортное средство включено, выполняется следующий блок 110. Если транспортное средство не включено, процесс будет возвращаться к блоку 105. В блоке 110 ECU 37 дает команду боковому зеркалу 12 заднего вида раскладываться. Затем в блоке 115 получают изображение из камеры 34. В следующем блоке 120 выполняется определение, разложилось ли боковое зеркало 12 заднего вида. Если боковое зеркало 12 заднего вида разложилось, процесс 100 заканчивается. Если боковое зеркало 12 заднего вида не разложилось, затем в блоке 125 ECU 37 сообщает об ошибке, и процесс 100 заканчивается.

Фиг. 5 - блок-схема последовательности операций, иллюстрирующая примерный процесс 150 обработки изображений бокового зеркала 12 заднего вида. Процесс 150 начинается в блоке 155, в котором первое изображение извлекается из камеры 34. Затем в блоке 160 первое изображение сохраняется в памяти, и ECU 37 ожидает заданное время, например, согласно типичному времени, требуемому, чтобы зеркало 12 раскладывалось в конкретном транспортном средстве, чтобы боковое зеркало 12 заднего вида раскладывалось. Например, в блоке 165 от камеры 34 получают и обрабатывают второе, последующее изображение. Затем в блоке 170 выполняется определение в отношении того, являются ли первое и второе изображения по существу различными, например, любым образом, как описано выше. Если изображения по существу различны, процесс сообщает в блоке 175, что боковое зеркало 12 заднего вида разложилось, и процесс 150 заканчивается. Если изображения одинаковы, в блоке 180 процесс сообщает об ошибке, и процесс 150 заканчивается.

В контексте настоящего документа, вводное слово «по существу» означает, что форма, конструкция, измерение, значение, расчет, временные характеристики, и т.д., могут отклоняться от точно описанной геометрии, расстояния, измерения, значения, расчета, временных характеристик, и т.д., вследствие несовершенства материалов, механической обработки, производства, измерений датчиков, вычислений, времени обработки, времени передачи данных, и т.д.

Вычислительные устройства, такие как описанные в настоящем документе, каждое, как правило, включает в себя инструкции, исполняемые одним или более вычислительных устройств, таких как идентифицированные выше, и для выполнения блоков или этапов процессов, описанных выше. Машинно-исполняемые инструкции могут компилироваться или интерпретироваться из компьютерных программ, созданных с использованием многообразия языков и/или технологий программирования, в том числе, но не в качестве ограничения, и по отдельности или в комбинации, Java™™, C, C++, C#, Visual Basic, Java Script, Perl, HTML, PHP, и т.д. Вообще, процессор (например, микропроцессор) принимает инструкции, например, из памяти, машиночитаемого носителя, и т.д., и исполняет эти инструкции, тем самым, выполняя одну или более последовательностей операций, в том числе, один или более из процессов, описанных в настоящем документе. Такие инструкции и другие данные могут храниться и передаваться с использованием многообразия машиночитаемых носителей. Файл в вычислительном устройстве, как правило, является совокупностью данных, хранимых на машиночитаемом носителе, таком как запоминающий носитель, оперативное запоминающее устройство, и т.д.

Машиночитаемый носитель включает в себя любой носитель, который участвует в предоставлении данных (например, инструкций), которые могут читаться компьютером. Такой носитель может принимать многие формы, в том числе, но не в качестве ограничения, энергонезависимые носители, энергозависимые носители, и т.д. Энергонезависимые носители, например, включают в себя оптические или магнитные диски и другую постоянную память. Энергозависимые носители включают в себя динамическое оперативное запоминающее устройство (DRAM), которое типично составляет основную память. Обычные формы машиночитаемых носителей, например, включают в себя дискету, гибкий диск, жесткий диск, магнитную ленту, любой другой магнитный носитель, CD-ROM (постоянное запоминающее устройство (ПЗУ) на компакт-диске), DVD (цифровой многофункциональный диск), любой другой оптический носитель, перфокарты, бумажную ленту, любой другой физический носитель со схемой расположения отверстий, ОЗУ (оперативное запоминающее устройство, RAM), ППЗУ (программируемое ПЗУ, PROM), СППЗУ (стираемое программируемое ПЗУ, EPROM), флэш-память/ЭСППЗУ (FLASH-EEPROM (электрически стираемое программируемое ПЗУ)), любые другие микросхему или картридж памяти, или любой другой носитель, с которого компьютер может осуществлять считывание.

Что касается носителей, процессов, систем, способов, и т.д., описанных в настоящем документе, должно быть понятно, что, хотя этапы таких процессов, и т.д., были описаны в качестве происходящих согласно определенной упорядоченной последовательности, такие процессы могут быть осуществлены на практике с описанными этапами, выполняемыми в порядке, ином, чем порядок, описанный в настоящем документе. Кроме того, должно быть понятно, что некоторые этапы могут выполняться одновременно, что могут быть добавлены другие этапы, или что некоторые этапы, описанные в настоящем документе, могут быть опущены. Другими словами, описания систем и/или способов в настоящем документе предоставлены с целью иллюстрации некоторых вариантов осуществления и никоим образом не должны толковаться как ограничивающие раскрытый объект изобретения.

Соответственно, должно быть понятно, что вышеприведенное описание подразумевается иллюстративным, а не ограничивающим. Многие варианты осуществления и применения, иные чем приведенные примеры, будут очевидны специалистам в данной области техники по прочтению вышеприведенного описания. Объем изобретения не должен определяться в отношении вышеприведенного описания, а наоборот, должен определяться в отношении формулы изобретения, прилагаемой к нему и/или включенной в непредварительную патентную заявку, основанную на ней, наряду с полным объемом эквивалентов, на которые дано право такой формулой изобретения. Ожидается и подразумевается, что будущие усовершенствования будут происходить в областях техники, обсужденных в настоящем документе, и что раскрытые системы и способы будут заключены в таких будущих вариантах осуществления. В целом, должно быть понятно, что раскрытый предмет изобретения является допускающим модификацию и изменение.

Группа изобретений относится к боковому зеркалу заднего вида транспортного средства. Система для выявления положения зеркала транспортного средства содержит электронный блок управления (ECU), включающий в себя процессор и память, и инструкции, сохраненные в памяти и исполняемые процессором. Электронный блок управления запрограммирован принимать первое изображение от камеры на зеркале транспортного средства, идентифицировать характеристики первого изображения, принимать второе изображение от камеры на зеркале транспортного средства, сравнивать характеристики первого изображения с характеристиками второго изображения и определять на основании, указывает ли сравнение предварительно заданное различие между характеристиками первого изображения и характеристиками второго изображения, переместилось ли зеркало транспортного средства из первого положения во второе положение. Второе положение является одним из разложенным и не разложенным положением. Достигается повышение безопасности управления транспортным средством. 2 н. и 18 з.п. ф-лы, 5 ил.

1. Система для выявления положения зеркала транспортного средства, содержащая:

электронный блок управления (ECU), включающий в себя процессор и память;

инструкции, сохраненные в памяти и исполняемые процессором, так что ECU запрограммирован:

принимать первое изображение от камеры на зеркале транспортного средства, когда положение зеркала заведомо находится в первом положении;

идентифицировать характеристики первого изображения, которые указывают первое положение зеркала;

принимать второе изображение от камеры на зеркале транспортного средства;

сравнивать характеристики первого изображения с характеристиками второго изображения; и

определять на основании, указывает ли сравнение предварительно заданное различие между характеристиками первого изображения и характеристиками второго изображения, переместилось ли зеркало транспортного средства из первого положения во второе положение;

при этом второе положение является одним из разложенным и неразложенным положением.

2. Система по п. 1, в которой ECU также запрограммирован отправлять сообщение о неразложенном положении в головное устройство транспортного средства.

3. Система по п. 1, в которой ECU также запрограммирован давать зеркалу транспортного средства команду раскладываться.

4. Система по п. 1, содержащая также камеру, соединенную с возможностью осуществления связи с ECU.

5. Система по п. 4, в которой камера выполнена с возможностью выдавать по меньшей мере одно из первого изображения и второго изображения.

6. Система по п. 4, в которой камера расположена на зеркале транспортного средства.

7. Система по п. 4, в которой камера является инфракрасной камерой.

8. Система по п. 4, в которой модуль обработки изображений включен в камеру.

9. Система по п. 1, в которой предварительно заданное различие является предварительно заданным пороговым значением.

10. Способ выявления положения зеркала транспортного средства, содержащий этапы, выполняемые процессором, на которых:

принимают первое изображение от камеры на зеркале транспортного средства, когда положение зеркала заведомо находится в первом положении;

идентифицируют характеристики первого изображения, которые указывают первое положение зеркала;

принимают второе изображение от камеры на зеркале транспортного средства, после того, как зеркало транспортного средства проинструктировано разложиться;

сравнивают характеристики первого изображения с характеристиками второго изображения; и

определяют на основании, указывает ли сравнение предварительно заданное различие между характеристиками первого изображения и характеристиками второго изображения, переместилось ли зеркало транспортного средства из первого положения во второе положение;

при этом второе положение является одним из разложенным и неразложенным положением.

11. Способ по п. 10, содержащий также этап, на котором определяют на основании сравнения, различаются ли первое изображение и второе изображение больше, чем на предварительно заданное пороговое значение.

12. Способ по п. 10, содержащий также этап, на котором отправляют сообщение через шину связи транспортного средства после определения, что зеркало транспортного средства переместилось из неразложенного состояния в разложенное состояние или из разложенного состояния в неразложенное состояние.

13. Способ по п. 10, содержащий также этап, на котором определяют, включено ли транспортное средство.

14. Способ по п. 10, содержащий также этап, на котором дают зеркалу транспортного средства команду раскладываться.

15. Способ по п. 10, содержащий также этап, на котором сохраняют изображение полностью разложенного зеркала транспортного средства.

16. Способ по п. 10, содержащий также этап, на котором обеспечивают первое изображение посредством камеры.

17. Способ по п. 16, содержащий также этап, на котором обеспечивают второе изображение посредством камеры.

18. Способ по п. 16, в котором камера расположена на зеркале транспортного средства.

19. Способ по п. 16, в котором камера является инфракрасной камерой.

20. Способ по п. 16, в котором процессор изображений включен в камеру.