СИСТЕМА ПРЕДСТАВЛЕНИЯ ИНФОРМАЦИИ Российский патент 2018 года по МПК G06T1/00 H04N7/18 H04N5/225 B60R1/00 

Область техники, к которой относится изобретение

[0001] Настоящее изобретение относится к системе представления информации, которая представляет информацию об изображении вокруг транспортного средства.

Эта заявка заявляет преимущество на основе японской патентной заявки № 2013-200958, зарегистрированной 27 сентября 2013 года. Содержимое вышеупомянутой заявки включено в данный документ по ссылке в определенных областях, в которых объединение по ссылке допускается.

Уровень техники

[0002] Что касается устройств такого типа, известно устройство помощи вождению, которое отображает изображение вида сзади транспортного средства, когда рычаг переключения передач транспортного средства приводится в положение заднего хода (патентный документ 1).

Документ предшествующего уровня техники

Патентный документ

[0003] Патентный документ 1 JP 2012-0162130 A

Сущность изобретения

Задачи, решаемые изобретением

[0004] Однако, когда переносное терминальное устройство, которое не включено в бортовое устройство, получает изображение, захваченное бортовой камерой, через беспроводное соединение и представляет полученное захваченное изображение, возникает задержка в беспроводном соединении, так что момент представления захваченного изображения также задерживается, что может быть проблематичным.

[0005] Проблемой, которая должна быть решена настоящим изобретением, является представление информации изображения, которая представляет в реальном времени состояние вокруг транспортного средства, даже когда возникает задержка в беспроводном соединении между бортовым устройством и терминальным устройством.

Средство решения задач

[0006] В настоящем изобретении спрогнозированное изображение, которое должно быть захвачено в существующей позиции транспортного средства в момент, после того как время задержки проходит, формируется и представляется с помощью захваченного изображения, которое было захвачено посредством бортовой камеры, в соответствии с состоянием задержки, которое включает в себя время задержки беспроводной связи между бортовым устройством и терминальным устройством, и информацией о состоянии транспортного средства. Вышеописанная проблема, таким образом, решается.

Преимущества изобретения

[0007] Согласно настоящему изобретению терминальное устройство представляет спрогнозированное изображение, которое, как предполагается, будет захвачено посредством бортовой камеры в момент времени, после того как время задержки беспроводной связи проходит, и может, следовательно, не допускаться представление изображения, захваченного во время, предшествующее данному моменту, когда возникает задержка в беспроводной связи. Водитель может распознавать состояние реального времени вокруг транспортного средства, даже когда возникает задержка в связи между бортовым устройством и терминальным устройством.

Краткое описание чертежей

[0008] Фиг. 1 – это блок-схема системы представления информации согласно варианту осуществления настоящего изобретения.

Фиг. 2 – это вид, показывающий пример информации изображения, представленной на терминальном устройстве.

Фиг. 3 – это диаграмма для объяснения задержки с беспроводной связью.

Фиг. 4 – это вид для объяснения способа формирования спрогнозированного изображения в соответствии с задержкой беспроводной связи.

Фиг. 5 – это блок-схема последовательности операций, показывающая процедуру управления процесса представления информации.

Оптимальный(е) режим(ы) осуществления изобретения

[0009] Далее описываются варианты осуществления настоящего изобретения со ссылкой на чертежи. Настоящие варианты осуществления будут описаны для случая, в котором настоящее изобретение применяется к системе 1000 представления информации, содержащей: бортовое устройство 200, имеющее одну или более камер, предусмотренных в транспортном средстве; и переносное терминальное устройство 100 на беспроводной связи с бортовым устройством 200.

[0010] Фиг. 1 – это блок-схема системы 1000 представления информации согласно варианту осуществления настоящего изобретения. Система 1000 представления информации содержит бортовое устройство 200 и терминальное устройство 100.

[0011] Сначала, бортовое устройство 200 настоящего варианта осуществления будет описано со ссылкой на фиг. 1. Бортовое устройство 200 содержит одну или более камер 1a-1d, устройство 2 связи, контроллер 3 транспортного средства и различные типы бортовых устройств 4 (также называемых "модулями 4" в собирательном понятии).

[0012] Одна или более камер 1a-1d (также называемых "камерой 1" или "камерами 1" в собирательном понятии здесь и далее в данном документе) конфигурируются с помощью элементов формирования изображения, таких как CCD (устройства с зарядовой связью). В настоящем варианте осуществления камеры 1 располагаются в предварительно определенных позициях заднего (хвостового) фрагмента транспортного средства, такого как задний фрагмент отделки и фрагмент спойлера крыши. Эти камеры 1 захватывают изображения объекта или поверхности дороги, который присутствует в пространстве позади транспортного средства (изображения заднего вида или вида сзади). Термин "позади" транспортного средства, когда используется в настоящем варианте осуществления, охватывает не только значение "точно позади транспортного средства", но также значение "по диагонали справа сзади" или "по диагонали слева сзади". В частности, бортовое устройство 200 настоящего варианта осуществления включает в себя множество камер 1a-1d, которые располагаются в разных позициях снаружи транспортного средства V. Более конкретно, бортовое устройство 200 настоящего варианта осуществления включает в себя камеры 1a-1d, каждая из которых устанавливается (предусматривается) в обращенной вперед предварительно определенной позиции транспортного средства, такой как фрагмент решетки радиатора, в предварительно определенной позиции с левой стороны транспортного средства, такой как фрагмент зеркала левой стороны, или в предварительно определенной позиции с правой стороны транспортного средства, такой как фрагмент зеркала правой стороны. Каждая камера 1 захватывает изображение в другом направлении вокруг транспортного средства. В настоящем варианте осуществления широкоугольные камеры, способные формировать широкоугольные изображения, используются в качестве камер 1.

[0013] Устройство 2 связи бортового устройства 200 передает изображения, захваченные камерами 1, терминальному устройству 100, которое будет описано позже. В альтернативном варианте осуществления, по меньшей мере, одна из камер 1 может иметь функцию беспроводной связи, чтобы передавать захваченные изображения наружу. Терминальное устройство 100 получает изображения, захваченные камерами 1, через беспроводную сеть связи. Изображению, захваченному каждой камерой 1, назначается идентификатор, соответствующий местоположению (адресу) камеры 1, и терминальное устройство 100 может идентифицировать каждое из изображений, захваченных каждой камерой 1, на основе идентификатора.

[0014] Контроллер 3 транспортного средства получает информацию от каждого модуля транспортного средства и коллективно управляет работой транспортного средства. Контроллер 3 транспортного средства настоящего варианта осуществления получает информацию о состоянии, которая представляет состояние транспортного средства. Контроллер 3 транспортного средства получает информацию о рулевом управлении от устройства 41 рулевого управления транспортного средства в качестве информации о состоянии, получает информацию об ускорении или информацию о скорости от датчика 42 ускорения в качестве информации о состоянии и получает информацию о положении рычага переключения передач трансмиссии 44 транспортного средства в качестве информации о состоянии. Контроллер 3 транспортного средства передает полученную информацию о рулевом управлении и/или информацию об ускорении (информацию о скорости) терминальному устройству 100. Терминальное устройство 100 включает в себя устройство 10 управления, которое получает направление движения (угол движения) транспортного средства из информации о рулевом управлении. Устройство 10 управления получает направление движения также из информации о положении рычага переключения передач. Последнее направление движения является информацией, которая представляет, движется ли транспортное средство вперед или назад. Устройство 10 управления дополнительно получает величину перемещения транспортного средства из информации об ускорении (информации о скорости) и времени движения. Таким образом, устройство 10 управления может вычислять существующую позицию транспортного средства, после того как предварительно определенное время проходит, из направления движения и величины перемещения транспортного средства.

[0015] Камеры 1, устройство 2 связи, контроллер 3 транспортного средства и модули 4 бортового устройства 200 соединяются друг с другом через CAN (локальная сеть контроллеров) или другую бортовую LAN и взаимно обмениваются информацией.

[0016] Далее, терминальное устройство 100 будет описано со ссылкой на фиг. 1. Терминальное устройство 100 настоящего варианта осуществления является переносным терминальным устройством, таким как смартфон и планшетный компьютер, которое имеет функцию связи. Терминальное устройство 100 настоящего варианта осуществления содержит устройство 10 управления, устройство 20 связи и дисплей 30.

[0017] Устройство 20 связи настоящего варианта осуществления обменивается информацией взаимно с устройством 2 связи бортового устройства 200, отделенного от терминального устройства 100. Устройство 20 связи получает захваченные изображения, информацию о состоянии транспортного средства и другую информацию от бортового устройства 200.

[0018] Дисплей 30 настоящего варианта осуществления представляет информацию о захваченных изображениях, захваченных камерами 1 транспортного средства, спрогнозированном изображении, которое должно быть описано позже, и состоянии задержки беспроводной связи. Фиг. 2 – это вид, показывающий пример, в котором дисплей 30 терминального устройства 100 представляет изображение сверху транспортного средства и захваченное изображение позади транспортного средства. Как показано на фиг. 2, изображение сверху, видимое с точки обзора над транспортным средством, представляется в левосторонней области 30L экрана дисплея 30 бортового устройства 200, в то время как захваченное изображение заднего вида транспортного средства представляется в правосторонней области 30R экрана дисплея 30. Направляющие линии также накладываются на захваченное изображение заднего вида транспортного средства, показанное в правосторонней области 30R экрана. Направляющие линии представлены вдоль траектории, по которой транспортное средство, как прогнозируется, должно двигаться, и включают в себя линии P спрогнозированного маршрута, направляющие линии Q1 ширины транспортного средства и направляющие линии Q2 расстояния. Терминальное устройство 100 может быть размещено в держателе, прикрепленном к приборной панели или поблизости от рулевого колеса транспортного средства, так что водитель транспортного средства может легко распознавать терминальное устройство 100.

[0019] Устройство 10 управления терминального устройства 100 настоящего варианта осуществления содержит: ROM (постоянное запоминающее устройство) 12, которое хранит программу, чтобы представлять спрогнозированное изображение в соответствии с временем задержки беспроводной связи; CPU (центральный процессор) 11 в качестве операционной схемы, которая выполняет программу, сохраненную в ROM 12, чтобы, таким образом, функционировать в качестве терминального устройства 100 настоящего варианта осуществления; и RAM (оперативное запоминающее устройство) 13, которое функционирует в качестве доступного запоминающего устройства.

[0020] Устройство 10 управления терминального устройства 100 настоящего варианта осуществления является компьютером, который координирует вышеописанные аппаратные средства с программным обеспечением, чтобы осуществлять функцию получения изображения, функцию определения состояния задержки, функцию получения информации об обнаружении движущегося объекта, функцию формирования спрогнозированного изображения, функцию формирования направляющей линии и функцию представления, таким образом, выполняя эти функции.

[0021] Описания ниже будут направлены на каждую функцию, выполняемую устройством 10 управления терминального устройства 100 согласно варианту осуществления настоящего изобретения.

[0022] Сначала будет описана функция получения изображения устройства 10 управления. Устройство 10 управления настоящего варианта осуществления получает захваченное изображение(я) вокруг транспортного средства, захваченные бортовой камерой(ами) 1, от бортового устройства 200 через устройство 20 связи. Хотя конкретно не ограничено, в настоящем варианте осуществления, устройство 10 управления получает захваченное изображение(я) вида сзади транспортного средства. В дополнение или альтернативно, устройство 10 управления может получать захваченное изображение(я) вида спереди или захваченное изображение(я) вида в боковом направлении. В варианте осуществления устройство 10 управления может получать изображение наблюдения вокруг транспортного средства, которое формируется посредством бортового устройства 200, и в котором транспортное средство видно с виртуальной точки обзора над транспортным средством. Изображение наблюдения формируется с помощью множества изображений, захваченных камерами 1, которые располагаются в разных позициях в транспортном средстве. Изображение наблюдения является изображением сверху, сформированным посредством проецирования этих захваченных изображений на план проекции, в котором транспортное средство видно с виртуальной точки обзора над транспортным средством. Устройство 10 управления использует полученные захваченные изображения и/или изображение наблюдения в качестве информации, которая должна быть представлена на дисплее 30 в конкретной ситуации, например, при парковке транспортного средства и движении задним ходом транспортного средства.

[0023] Далее будет описана функция определения состояния задержки устройства 10 управления. Устройство 10 управления настоящего варианта осуществления определяет состояние задержки, включающее в себя время задержки беспроводной связи между бортовым устройством 200 и терминальным устройством 100. Время задержки получается из разницы между эталонным временем связи в предварительно определенном хорошем окружении связи и фактически измеренным временем связи в окружении связи, в котором передача и прием фактически выполняются. Хотя конкретно не ограничено, устройство 10 управления обращается к синхрогенератору 45 бортового устройства 200 и синхрогенератору 112 терминального устройства 100, чтобы синхронизировать их друг с другом, и затем измеряет фактическое время связи, требуемое для обмена информаций между бортовым устройством 200 и терминальным устройством 100 по беспроводной связи, и, тем самым, устройство 10 управления вычисляет время задержки. В частности, бортовое устройство 200 передает информацию, к которой присоединен момент передачи, терминальному устройству 100. При получении информации терминальное устройство 100 возвращает информацию подтверждения бортовому устройству 200. Бортовое устройство 200 вычисляет половину времени от момента передачи, когда передается информация терминальному устройству 100, до момента приема, когда принимается информация подтверждения, переданная от терминального устройства 100, в качестве времени связи, требуемого для беспроводной связи. Аналогично, эталонное время связи может быть вычислено в качестве времени связи для беспроводной связи в предварительно определенном окружении связи без загрузки линии связи. Фактически измеренное время связи изменяется от момента к моменту в соответствии с различными факторами, такими как число терминальных устройств, осуществляющих доступ к сети линии беспроводной связи, и объем информации, которая должна быть обменена. Следовательно, устройство 100 управления получает время связи в предварительно определенном периоде и непрерывно вычисляет время задержки, которое является разницей от эталонного времени связи. Согласно настоящему варианту осуществления точное время задержки может быть вычислено, поскольку время задержки вычисляется после предварительной синхронизации бортового устройства 200 и терминального устройства 100 друг с другом.

[0024] Время задержки включает в себя обычное время, которое заранее определяется в соответствии с возможностями средств связи, и переменное время, которое вызвано различными факторами, такими как объем связи. Обычное время может быть заранее сохранено в бортовом устройстве 200 или терминальном устройстве 100. Принимая во внимание уменьшение нагрузки обработки, обычное время задержки может быть считано, чтобы определять состояние задержки.

[0025] Причины возникновения состояния задержки в представлении изображений, захваченных камерами 1, являются не только ранее описанным временем задержки беспроводной связи. Причины состояния задержки включают в себя, как показано на фиг. 3, первый-третий периоды времени, как описано ниже, которые требуются, чтобы завершать некоторые процессы от процесса захвата изображения до процесса представления изображения. Первый период времени, который упоминается в данном документе, является временем от t0 до t1, в течение которого бортовое устройство 200 выполняет процесс, чтобы захватывать изображения вокруг транспортного средства, и процесс, чтобы сжимать (кодировать) захваченные изображения. Второй период времени является временем от t1 до t2, которое требуется для беспроводной связи. Третий период времени является временем от t2 до t3, которое требуется для процесса распаковки (декодирования) сжатых захваченных изображений и процесса представления распакованных захваченных изображений на дисплее 30. Таким образом, состояние задержки с беспроводной связью возникает, когда длительный период времени затрачивается для процессов, выполняемых в бортовом устройстве 200 от времени захвата изображений до времени передачи захваченных изображений, или для связи между бортовым устройством 200 и терминальным устройством 100, или для процессов, выполняемых в терминальном устройстве 100 от времени приема захваченных изображений до времени передачи захваченных изображений.

[0026] Согласно технологии связи во время регистрации настоящей заявки, когда задержка не возникает в беспроводной связи, требуется приблизительно 100-500 миллисекунд от момента захвата изображений до момента завершения процесса представления для изображений. Даже во время такого короткого периода времени задержки, нежелательно, чтобы информация изображения, захваченного во время, предшествующее данному моменту, представлялась так, как будто эта информация изображения была захвачена в реальном времени. Особенно нежелательно, если возникает задержка связи, что продлевает время от захвата изображения до представления изображения. Когда захваченные изображения обмениваются через внутреннюю сеть связи (такую как CAN) в бортовом устройстве 200, время от захвата изображения до представления изображения является практически постоянным и может, следовательно, управляться единообразно. В отличие от этого, когда захваченные изображения, полученные бортовым устройством 200, передаются терминальному устройству 100 по общедоступной беспроводной связи и представляются с помощью дисплея 30 терминального устройства 100, должна принята во внимание задержка связи. Кроме того, вышеописанный третий период времени сильно зависит от вычислительных характеристик терминального устройства 100. Следовательно, является затруднительным единообразно определять время задержки, поскольку терминальное устройство 100, которым можно владеть индивидуально и персонально, имеет различную производительность или состояние.

[0027] Что касается второго периода времени, устройство 10 управления настоящего варианта осуществления измеряет время задержки беспроводной связи между терминальным устройством 100 и бортовым устройством 200 с помощью вышеописанной схемы.

[0028] Что касается вышеописанного третьего периода времени, устройство 10 управления настоящего варианта осуществления получает время обработки на стороне терминального устройства, требуемое, чтобы терминальное устройство 100 представило спрогнозированное изображение после получения захваченных изображений, и добавляет время обработки на стороне терминального устройства к времени задержки беспроводной связи и затем вычисляет время задержки обработки представления информации. Это время задержки может быть использовано, чтобы определять состояние задержки. Хотя особенно не ограничено, предпочтительно, чтобы время обработки на стороне терминального устройства было вычислено экспериментально заранее и сохранено в терминальном устройстве 100 считываемым образом. Состояние задержки может быть корректно определено не только посредством вычисления задержки беспроводной связи, но также вычисления времени задержки через добавление времени, требуемого для процессов в терминальном устройстве 100.

[0029] Что касается вышеописанного первого периода времени, устройство 10 управления настоящего варианта осуществления может вычислять время задержки через добавление времени, требуемого для процессов, выполняемых в бортовом устройстве 200 от времени получения захваченных изображений (захвата изображений) до времени передачи захваченных изображений. Состояние задержки может быть дополнительно корректно определено не только посредством вычисления времени задержки связи для беспроводной связи, но также вычисления времени задержки через добавление времени, требуемого для процессов в бортовом устройстве 200.

[0030] Кроме того, устройство 10 управления настоящего варианта осуществления определяет, разорвана ли беспроводная связь с устройством 2 связи. Когда беспроводная связь разорвана, устройство 10 управления вынуждает дисплей 30 представлять, что беспроводная связь разорвана. В ситуации, в которой беспроводная связь с устройством 2 связи разрывается, трудно получать в реальном времени захваченные изображения в настоящий момент. Другими словами, в ситуации, в которой беспроводная связь с устройством 2 связи разрывается, очень вероятно, что захваченные изображения, представленные на дисплее 30, являются изображениями, захваченными во время, предшествующее данному моменту. Согласно настоящему варианту осуществления, представляя, что беспроводная связь с устройством 2 связи разорвана, представляется возможным информировать водителя о том, что представленные захваченные изображения не являются изображениями в реальном времени.

[0031] Устройство 10 управления настоящего варианта осуществления определяет степень надежности беспроводной связи в соответствии с состоянием задержки. Когда время задержки является длительным, и состояние задержки беспроводной связи становится плохим, устройство 10 управления определяет, что степень надежности беспроводной связи является низкой. С другой стороны, когда время задержки является коротким, а состояние задержки беспроводной связи является неплохим (состояние связи является хорошим), устройство 10 управления определяет, что степень надежности беспроводной связи является высокой. Степень надежности беспроводной связи может быть определена в соответствии с временем связи в беспроводной связи. Поскольку время связи становится более длительным, степень надежности беспроводной связи может быть установлена более низкой. Устройство 10 управления представляет определенную степень надежности беспроводной связи на дисплее 30. В ситуации, в которой время связи (время задержки) в беспроводной связи длительное, а степень надежности беспроводной связи низкая, затруднительно получать в реальном времени захваченные изображения в настоящий момент. Другими словами, очень вероятно, что захваченные изображения, представленные на дисплее 30, являются изображениями, захваченными во времени, предшествующем данному моменту. В этом случае, согласно настоящему варианту осуществления, степень надежности беспроводной связи представляется как низкая. Это может информировать водителя о том, что представленные захваченные изображения не являются изображениями в реальном времени.

[0032] Функция получения информации обнаружения движущегося объекта будет описана далее. Устройство 10 управления настоящего варианта осуществления получает информацию обнаружения, присутствует ли движущийся объект около транспортного средства. Устройство 10 управления получает информацию о том, присутствует ли движущийся объект, от бортового устройства 200. Бортовое устройство 200 включает в себя устройство 43 обнаружения движущегося объекта. Устройство 43 обнаружения движущегося объекта определяет, присутствует ли движущийся объект около транспортного средства, на основе изменения во времени признаков, которые извлекаются из изображений, захваченных бортовыми камерами 1. Схема обнаружения движущегося объекта с помощью захваченных изображений особенно не ограничена, и представляется возможным соответствующим образом использовать схему, которая была известна во время регистрации настоящей заявки. При получении информации обнаружения, что движущийся объект присутствует, устройство 10 управления определяет состояние задержки. Возможен случай, в котором движущийся объект не появляется в захваченных изображениях, даже если движущийся объект присутствует около транспортного средства, поскольку время представления захваченных изображений задерживается, если в беспроводной связи возникает задержка. Когда движущийся объект присутствует около транспортного средства, задержка беспроводной связи должна быть, в частности, принята во внимание. Устройство 10 управления настоящего варианта осуществления определяет состояние задержки беспроводной связи, когда движущийся объект присутствует около транспортного средства, и спрогнозированное изображение может, следовательно, быть представлено в соответствии с состоянием задержки беспроводной связи.

[0033] Функция формирования спрогнозированного изображения устройства 10 управления будет описана далее. Устройство 10 управления получает информацию о состоянии транспортного средства и вычисляет существующую позицию транспортного средства после времени задержки на основе информации о состоянии транспортного средства. Устройство 10 управления настоящего варианта осуществления получает угол рулевого колеса и скорость транспортного средства (или ускорение) транспортного средства в качестве информации о состоянии транспортного средства. Устройство 10 управления вычисляет существующую позицию транспортного средства после предварительно определенного времени (после времени задержки), когда транспортное средство движется, с помощью полученной информации о состоянии (в значениях состояния, таких как угол поворота рулевого колеса и скорость). Схема вычисления существующей позиции транспортного средства, когда транспортное средство движется в определенном состоянии в течение предварительно определенного времени, особенно не ограничивается, и представляется возможным соответствующим образом применять схему, которая была известна во время регистрации настоящей заявки.

[0034] Устройство 10 управления формирует спрогнозированное изображение с помощью захваченного изображения(ий), которые были получены, так, чтобы получать спрогнозированное изображение, которое должно быть захвачено камерой в вычисленной (или расчетной) позиции транспортного средства, спрогнозированное изображение, которое является изображением, которое должно быть захвачено в вычисленной (или расчетной) позиции транспортного средства. Другими словами, устройство 10 управления принимает во внимание направление движения и интервал движения транспортного средства и прогнозирует и формирует спрогнозированное изображение, которое является изображением, которое должно быть захвачено камерой 1 в существующей позиции транспортного средства после передвижения, когда время задержки проходит. Фиг. 4 – это вид, который показывает захваченное изображения вида сзади транспортного средства, которое отображается в области 30R экрана на фиг. 2. Как показано на фиг. 4, предварительно определенная первая контрольная точка P0 задается в момент времени tx0. Когда транспортное средство движется с углом поворота рулевого колеса и скоростью в информации состояния, первая контрольная точка P0 на захваченном изображении перемещается во вторую контрольную точку P1 в момент tx1 времени после времени ty задержки. В этом примере устройство 10 управления вычисляет интервал движения задним ходом (интервал движения) на основе информации состояния транспортного средства и времени ty задержки. В захваченном изображении, которое бортовая камера 1 захватывает в существующей позиции, после того как транспортное средство движется, вторая контрольная точка P1 соответствует второй контрольной точке P0. Устройство 10 управления вычисляет информацию изображения во второй контрольной точке P1. Т.е. устройство 10 управления предвидит (прогнозирует) изображение, которое будет захвачено бортовой камерой 1 в момент tx1 времени после времени ty задержки.

[0035] Устройство 10 управления получает направление движения транспортного средства из угла поворота рулевого колеса и получает скорость движения транспортного средства из информации о скорости. Устройство 10 управления прогнозирует изображение, которое, как предполагается, будет захвачено посредством бортовой камеры 1 в существующей позиции транспортного средства, после того как время задержки пройдет, при предположении, что транспортное средство движется с настоящим направлением движения и скоростью движения. Другими словами, устройство 10 управления вычисляет, где первая контрольная точка P0 изображения, захваченного бортовой камерой 1 в момент tx0 времени, располагается в изображении, захваченном в момент tx1 времени, после того как время ty задержки проходит от момента tx0 времени. Устройство 10 управления задает координаты изображения, захваченного камерой 1 в момент tx1 времени, после того как время ty задержки проходит от момента tx0 времени, с помощью направления движения и интервала движения транспортного средства. Устройство 10 управления выполняет преобразование координат так, что изображения, захваченные камерой(ами) 1 в момент tx0 времени (координаты камеры в момент tx0 камеры), размещаются по вновь заданным координатам (координатам камеры в момент tx1 времени). То же преобразование координат выполняется для каждой точки по координатам. За счет этого процесса устройство 10 управления создает, из полученных захваченных изображений, спрогнозированное изображение, которое является изображением, захваченным в вычисленной существующей позиции транспортного средства, после того как время ty задержки проходит. Таким образом, устройство 10 управления создает спрогнозированное изображение, являющееся изображением, которое, как предполагается, должно быть захвачено бортовой камерой 1 в позиции, в которой транспортное средство присутствует после движения с направлением и скоростью из информации состояния в течение времени ty задержки, т.е. в течение периода времени от момента tx0 времени до момента tx1 времени.

[0036] На фиг. 4 предполагается, что первая контрольная точка P0 на изображении, захваченном бортовой камерой 1 в момент tx0 времени, соответствует второй контрольной точке P1 в момент tx1 времени, после того как время ty задержки проходит. Спрогнозированное изображение является изображением, когда первая контрольная точка P0 на захваченном изображении, показанном на фиг. 4, была преобразована во вторую контрольную точку P1. В этом примере транспортное средство движется в направлении назад и влево (относительно переднего направления движения транспортного средства). Спрогнозированное изображение, которое отражает вид сзади транспортного средства, сдвигается вправо (в изображении на чертеже) относительно захваченного изображения. В практической сцене камера 1 захватывает область изображения, более широкую, чем область изображения, которая показана на фиг. 4. В частности, если широкоугольная камера применяется в качестве камеры 1, захваченное изображение, включающее в себя широкоугольное изображение, будет получено. Устройство 10 управления выполняет преобразование координат для необходимой области захваченного изображения, чтобы формировать спрогнозированное изображение, и вырезает (вырезает и копирует) спрогнозированное изображение из захваченного изображения в соответствии с областью отображения дисплея 30. Посредством этого процесса устройство 10 управления может формировать спрогнозированное изображение без потери.

[0037] Далее будет описана функция представления устройства 10 управления. Устройство 10 управления представляет сформированное спрогнозированное изображение на дисплее 30. Как показано на фиг. 2, устройство 10 управления представляет изображение сверху, которое является изображением, видимым с точки обзора над транспортным средством, в левосторонней области 30L экрана дисплея 30 и представляет захваченное изображение или спрогнозированное изображение в правосторонней области 30R экрана дисплея 30.

[0038] Система 1000 представления информации настоящего варианта осуществления имеет признак формирования спрогнозированного изображения, являющегося изображением, которое, как предполагается, должно быть захвачено бортовой камерой после времени задержки беспроводной связи. Согласно этому признаку, даже когда в беспроводной связи возникает задержка между бортовым устройством 200 и терминальным устройством 100, представляется возможным представлять спрогнозированное изображение, которое показывает состояние в реальном времени вокруг транспортного средства. Если возникает задержка связи, когда представляется захваченное изображение, захваченное бортовой камерой 1, на терминальном устройстве 100, терминальное устройство 100 будет представлять захваченное изображение во время, предшествующее данному моменту.

[0039] Предполагается ситуация, в которой объект приближается к рассматриваемому транспортному средству, но не появляется в изображении, которое вырезается из захваченного изображения времени, предшествующего данному моменту, чтобы соответствовать кадру отображения дисплея 30. В этой ситуации, если в беспроводной связи возникает задержка, будет отображено захваченное изображение времени, предшествующего данному моменту, из которого водитель не сможет распознать приближение объекта. Для разрешения этой проблемы устройство 10 управления настоящего варианта осуществления формирует спрогнозированное изображение, вырезая изображение из захваченного изображения со ссылкой на позицию камеры 1 транспортного средства после времени задержки, когда транспортное средство движется в соответствии с информацией состояния транспортного средства. Даже движущийся объект, который не был (отображен) в кадре отображения в момент времени, предшествующий данному моменту, но находится в кадре отображения в настоящий момент с учетом времени задержки, отображается в спрогнозированном изображении. Водитель может распознавать присутствие движущегося объекта из спрогнозированного изображения. В настоящем варианте осуществления, когда в беспроводной связи возникает задержка, терминальное устройство 100 представляет предвидимое (или проекцию) спрогнозированное изображение, которое, как предполагается, будет захвачено, после того как время задержки проходит, вместо захваченного изображения во время, предшествующее данному моменту. Следовательно, представляется возможным уведомлять водителя о присутствии движущегося объекта, который не был включен в изображение, на основе захваченного изображения во время, предшествующее данному моменту, но приближающегося.

[0040] Устройство 10 управления настоящего варианта осуществления дополнительно имеет функцию формирования направляющей линии, чтобы формировать одну или более направляющих линий вдоль траектории, по которой транспортное средство, как прогнозируется, будет передвигаться, на основе информации состояния транспортного средства. Более конкретно, устройство 10 управления формирует направляющие линии, включающие в себя: " спрогнозированные линии P маршрута", которые представляют траекторию, по которой транспортное средство, как прогнозируется, будет двигаться; "направляющие линии Q1 ширины транспортного средства", которые представляют позиции боковых поверхностей транспортного средства, когда транспортное средство движется; и "направляющие линии Q2 расстояния", которые представляют позиции по направлению движения транспортного средства, когда транспортное средство движется. Устройство 10 управления накладывает сформированные направляющие линии на спрогнозированное изображение, как показано на фиг. 2 и 4.

[0041] Во время этой операции, в настоящем варианте осуществления, устройство 10 управления изменяет форму отображения направляющих линий в соответствии с состоянием задержки, определенным посредством ранее описанной функции определения состояния задержки. Например, когда время задержки является длительным, а состояние задержки является плохим, т.е., когда степень надежности беспроводной связи является низкой, направляющие линии отображаются в форме отображения, отличной от формы отображения по умолчанию, которая используется, когда степень надежности беспроводной связи не ниже стандартного значения. Отображение направляющих линий в форме отображения, отличной от обычной (по умолчанию) формы отображения, может привлекать внимание водителя. Когда степень надежности беспроводной связи является низкой, изменение формы отображения направляющих линий предоставляет возможность водителю уделять больше внимания окружающей обстановке, тогда как точность направляющих линий может вероятно ухудшаться.

[0042] В частности, форма отображения направляющих линий, которые должны отображаться, когда время задержки является длительным, а состояние задержки является плохим, может быть задана так, что, например, цвет, прозрачность, ширина линии и/или режим (штрихпунктирная линия, штрихдвухпунктирная линия) отличаются от направляющих линий, которые должны отображаться, когда время задержки является коротким, а состояние задержки является неплохим (состояние беспроводной связи является хорошим). В качестве примера, когда время задержки является коротким, а состояние задержки является неплохим (состояние беспроводной связи является хорошим), направляющие линии могут быть отображены как линии "удаляющегося" цвета, такого как синий, зеленый и сине-фиолетовый, который является относительно неразличимым, как прерывистые линии и/или как относительно тонкие линии. С другой стороны, когда время задержки является длительным, а состояние задержки является плохим, направляющие линии могут быть отображены как линии "приближающегося" цвета, такого как красный, оранжевый и желтый, который является относительно различимым, как сплошные линии и/или как относительно широкие линии.

[0043] Примеры на фиг. 2 и 4 описываются как пример представления спрогнозированного изображения из захваченных изображений вида сзади транспортного средства. В альтернативном варианте осуществления, устройство 10 управления может формировать и представлять спрогнозированное изображение, полученное посредством проецирования спрогнозированных изображений, которые являются изображениями, захваченными множеством камер 1 в вычисленной позиции транспортного средства, на плоскость проецирования, в которой транспортное средство видно с виртуальной точки обзора над вычисленной позицией. Другими словами, спрогнозированное изображение, после того как время задержки проходит, может быть отображено в форме изображения сверху, как показано в левосторонней области 30L дисплея 30 на фиг. 2. В варианте осуществления устройство 10 управления может формировать спрогнозированное изображение только в направлении движения транспортного средства, в то время как оно может формировать изображения в направлении, отличном от направления движения, с помощью предыдущих изображений. Когда транспортное средство движется назад, устройство 10 управления может формировать спрогнозированное изображение только в заднем направлении и изображение сверху с помощью спрогнозированного изображения в заднем направлении и захваченных изображений впереди и сбоку или по бокам. Согласно этому варианту осуществления сформированное спрогнозированное изображение может быть полезно использовано не только, чтобы подтверждать ситуацию в направлении движения, но также подтверждать полную ситуацию вокруг транспортного средства.

[0044] Далее описания будут направлены на процедуру обработки в системе 1000 представления информации варианта осуществления настоящего изобретения. Фиг. 5 – это блок-схема последовательности операций, которая показывает процедуру управления, выполняемую в системе 1000 представления информации согласно настоящему варианту осуществления.

[0045] На этапе 101 устройство 10 управления терминального устройства 100 настоящего варианта осуществления подтверждает, установлена ли беспроводная связь. Если беспроводная связь не установлена, т.е., если беспроводная связь разорвана, устройство 10 управления отображает этот факт на дисплее 30.

[0046] Если беспроводная связь установлена, процесс переходит к этапу 102, на котором устройство 10 управления инициирует процесс противодействия задержке. В процессе противодействия задержке устройство 10 управления формирует спрогнозированное изображение, которое, как предполагается, будет захвачено, после того как время задержки истечет, и устройство 10 управления отображает спрогнозированное изображение на дисплее 30. В настоящем варианте осуществления, при получении информации обнаружения того, что движущийся объект присутствует, устройство 10 управления инициирует процесс противодействия задержке. Триггер для процесса противодействия задержки не ограничивается этим. Процесс противодействия задержке может быть инициирован, если время задержки связи для беспроводной связи становится предварительно определенным значением или большим. Конечно, этот процесс может быть повторен с предварительно определенным периодом.

[0047] За этапом 102 следует этап 103, на котором устройство 10 управления определяет состояние задержки. Состояние задержки определяется с помощью времени задержки. Время задержки может быть измерено в бортовом устройстве 200 или в терминальном устройстве 100. Терминальное устройство 100 настоящего варианта осуществления синхронизирует себя с бортовым устройством 200 и вычисляет, в качестве времени связи, половину времени, требуемого для двусторонних передач данных с момента, когда передается некоторая информация бортовому устройству 200, до момента, когда получается сигнал подтверждения от бортового устройства. Устройство 10 управления вычисляет временную разницу между фактически измеренным временем связи и временем связи, измеренным в стандартном состоянии, чтобы получать время задержки во время фактического измерения. Полученное время задержки используется, чтобы определять степень надежности беспроводной связи в соответствии с состоянием задержки. Когда время задержки становится больше, состояние задержки является плохим, а степень надежности беспроводной связи становится более низкой. В этой операции время задержки и состояние задержки определяются, принимая во внимание время, ассоциированное с процессами распаковки и представления для информации изображения, полученной в терминальном устройстве 100. Устройство 10 управления представляет результат определения, относящийся к состоянию задержки, на дисплее 30. Таким образом, устройство 10 управления предоставляет водителю степень надежности беспроводной связи, т.е. уведомление о точности информации, которая должна быть представлена.

[0048] На этапе 104 устройство 10 управления получает захваченные изображения, захваченные камерами 1, и информацию состояния транспортного средства от бортового устройства 200.

[0049] На следующем этапе 105 устройство 10 управления формирует спрогнозированное изображение. Устройство 10 управления вычисляет существующую позицию транспортного средства после времени задержки на основе информации состояния транспортного средства и формирует спрогнозированное изображение так, чтобы прогнозировать спрогнозированное изображение, которое должно быть захвачено камерой 1 в вычисленной существующей позиции транспортного средства, с помощью захваченных изображений, которые были получены.

[0050] На этапе 106 устройство 10 управления формирует направляющие линии вдоль траектории, по которой транспортное средство прогнозирует двигаться на основе информации состояния транспортного средства.

[0051] На этапе 107 устройство 10 управления накладывает сформированные направляющие линии на захваченное изображение или спрогнозированное изображение и представляет изображение на дисплее 30.

[0052] Терминальное устройство 100 и система 1000 представления информации согласно варианту осуществления настоящего изобретения, которые конфигурируются и работают, как описано выше, имеют полезные результаты, которые описаны ниже.

[0053] (1) Система 1000 представления информации настоящего варианта осуществления формирует спрогнозированное изображение так, чтобы прогнозировать (или проецировать, или предвидеть) спрогнозированное изображение, которое должно быть захвачено бортовой камерой после времени задержки беспроводной связи. Система 1000 представления информации представляет спрогнозированное изображение, которое показывает в реальном времени (или настоящем времени или без отставания во времени) состояние вокруг транспортного средства, даже когда задержка возникает в связи между бортовым устройством 200 и терминальным устройством 100. Когда в беспроводной связи возникает задержка, система 1000 представления информации может не допускать предоставления терминальным устройством 100 изображения, захваченного в прежнее время.

[0054] (2) Система 1000 представления информации настоящего варианта осуществления вычисляет время задержки после предварительной синхронизации бортового устройства 200 и терминального устройства 100 друг с другом и может, следовательно, вычислять точное время задержки.

[0055] (3) Система 1000 представления информации настоящего варианта осуществления не только вычисляет задержку беспроводной связи, но также вычисляет время задержки посредством добавления времени, требуемого для процессов в терминальном устройстве 100, и может, следовательно, определять состояние задержки корректно.

[0056] (4) Система 1000 представления информации настоящего варианта осуществления представляет, что беспроводная связь через устройство 2 связи разорвана, и может, тем самым, информировать водителя о том, что представленные захваченные изображения не являются изображениями реального времени.

[0057] (5) Система 1000 представления информации настоящего варианта осуществления представляет, что степень надежности беспроводной связи через устройство 2 связи является низкой, и может, тем самым, информировать водителя о том, что представленные захваченные изображения не являются изображениями реального времени.

[0058] (6) Когда время задержки является длительным, а состояние задержки является плохим, т.е., когда степень надежности беспроводной связи является низкой, система 1000 представления информации настоящего варианта осуществления отображает направляющие линии в другой форме отображения, чем форма отображения по умолчанию, и, тем самым, привлекает внимание водителя. Когда степень надежности беспроводной связи является низкой, изменение формы отображения направляющих линий предоставляет возможность водителю уделять внимание окружающей обстановке, тогда как точность направляющих линий может вероятно ухудшаться.

[0059] (7) Система 1000 представления информации настоящего варианта осуществления определяет состояние задержки беспроводной связи, когда движущийся объект присутствует около транспортного средства. Система 1000 представления информации может представлять спрогнозированное изображение в соответствии с состоянием задержки беспроводной связи в ситуации, которой должно быть уделено большое внимание.

[0060] (8) Система 1000 представления информации настоящего варианта осуществления представляет сформированное, спрогнозированное изображение сверху и, следовательно, не только может подтверждать ситуацию в направлении движения, но также может подтверждать всю ситуацию вокруг транспортного средства.

[0061] В настоящем описании терминальное устройство 100 и система 1000 представления информации описываются как примеры аспекта системы представления информации согласно настоящему изобретению, но настоящее изобретение не ограничивается этим.

[0062] В настоящем описании система 1000 представления информации, содержащая бортовое устройство 200 и терминальное устройство 100, которое содержит устройство 10 управления, включающее в себя CPU 11, ROM 12 и RAM 13, описывается в качестве примера аспекта системы представления информации согласно настоящему изобретению, но настоящее изобретение не ограничивается этим.

[0063] В настоящем описании терминальное устройство 100, содержащее устройство 10 управления, которое выполняет функцию получения изображения, функцию определения состояния задержки, функцию формирования спрогнозированного изображения, функцию представления, функцию формирования направляющей линии и функцию получения информации об обнаружении движущегося объекта, устройство 20 связи и дисплей 30, описывается в качестве аспекта терминального устройства, содержащего блок получения изображения, блок определения состояния задержки, блок формирования спрогнозированного изображения, блок представления, блок формирования направляющей линии и блок получения информации об обнаружении движущегося объекта, но настоящее изобретение не ограничивается этим.

[0064] В настоящем описании бортовое устройство 200, содержащее камеры 1, устройство 2 связи, контроллер 3 транспортного средства и модули 4, описывается в качестве аспекта бортового устройства, содержащего камеру и имеющего функцию связи, но настоящее изобретение не ограничивается этим.

Описание ссылочных позиций

[0065] 1000… Система представления информации

100… Терминальное устройство

10… Устройство управления

11… CPU

12… ROM

13… RAM

20... Устройство связи

30… Дисплей

200… Бортовое устройство

1, 1a-1d… Камера

2... Устройство связи

3… Контроллер транспортного средства

4… Модули

41… Устройство рулевого управления

42… Датчик ускорения

43… Устройство обнаружения движущегося объекта

Изобретение относится к технологиям представления информации, которая представляет информацию об изображении вокруг транспортного средства. Техническим результатом является обеспечение представления спрогнозированного изображения при состоянии задержки беспроводной связи между терминальным устройством и бортовым устройством. Предложена система представления информации. Система содержит бортовое устройство, включающее камеру, обеспеченную на транспортном средстве. Терминальное устройство, осуществляющее беспроводную связь с бортовым устройством, при этом терминальное устройство содержит блок получения изображения, сконфигурированный, чтобы получать захваченное изображение вокруг транспортного средства, захваченное камерой. Блок определения состояния задержки, сконфигурированный, чтобы определять состояние задержки, включающее в себя время задержки беспроводной связи между бортовым устройством и терминальным устройством. 8 з.п. ф-лы, 5 ил.

1. Система представления информации, содержащая:

бортовое устройство, включающее в себя камеру, обеспеченную на транспортном средстве; и

терминальное устройство, осуществляющее беспроводную связь с бортовым устройством,

при этом терминальное устройство содержит:

блок получения изображения, сконфигурированный, чтобы получать захваченное изображение вокруг транспортного средства, захваченное камерой;

блок определения состояния задержки, сконфигурированный, чтобы определять состояние задержки, включающее в себя время задержки беспроводной связи между бортовым устройством и терминальным устройством;

блок формирования спрогнозированного изображения, сконфигурированный, чтобы:

получать информацию состояния транспортного средства от бортового устройства;

вычислять существующую позицию транспортного средства в первый момент времени после времени задержки посредством использования информации состояния транспортного средства; и

формировать спрогнозированное изображение с использованием захваченного изображения, которое было получено во второй момент времени перед первым моментом времени, так, чтобы прогнозировать спрогнозированное изображение, которое должно быть захвачено камерой в вычисленной существующей позиции транспортного средства после движения в первый момент времени; и

блок представления, сконфигурированный, чтобы представлять спрогнозированное изображение.

2. Система представления информации по п. 1, в которой блок определения состояния задержки вычисляет время задержки, после синхронизации бортового устройства и терминального устройства друг с другом и посредством измерения времени, требуемого для обмена информацией между бортовым устройством и терминальным устройством через беспроводную связь.

3. Система представления информации по п. 1, в которой блок определения состояния задержки определяет состояние задержки посредством получения времени обработки на стороне терминального устройства, требуемого, чтобы терминальное устройство представило спрогнозированное изображение после получения захваченного изображения, добавления времени обработки на стороне терминального устройства к времени задержки беспроводной связи и вычисления времени задержки обработки представления информации.

4. Система представления информации по любому из пп. 1-3, в которой блок определения состояния задержки определяет, разорвана ли беспроводная связь, и вынуждает блок представления представлять, что беспроводная связь разорвана, когда беспроводная связь разорвана.

5. Система представления информации по любому из пп. 1-4, в которой блок определения состояния задержки определяет степень надежности беспроводной связи в соответствии с состоянием задержки, и

блок представления представляет степень надежности.

6. Система представления информации по любому из пп. 1-5, в которой терминальное устройство дополнительно содержит блок формирования направляющей линии, сконфигурированный, чтобы формировать направляющую линию вдоль траектории, по которой транспортное средство прогнозирует двигаться на основе информации состояния транспортного средства, и

блок представления при наложении сформированной направляющей линии на спрогнозированное изображение изменяет форму отображения направляющей линии в соответствии с состоянием задержки, определенным посредством блока определения состояния задержки.

7. Система представления информации по любому из пп. 1-6, в которой

терминальное устройство дополнительно содержит блок получения информации обнаружения движущегося объекта, сконфигурированный, чтобы получать информацию обнаружения, присутствует ли движущийся объект около транспортного средства, и

блок определения состояния задержки определяет состояние задержки при получении информации обнаружения того, что движущийся объект присутствует.

8. Система представления информации по любому из пп. 1-7, в которой камера включает в себя множество камер, установленных в разных позициях на транспортном средстве, и

блок формирования спрогнозированного изображения формирует одно спрогнозированное изображение, полученное посредством проецирования спрогнозированных изображений на плоскость проекции, в которой транспортное средство рассматривается с виртуальной точки обзора над вычисленной позицией транспортного средства, причем проецируемые изображения являются изображениями, которые захватываются множеством камер в вычисленной позиции.

9. Система представления информации по любому из пп. 1-8, в которой, когда время задержки беспроводной связи не меньше предварительно определенного значения, блок формирования спрогнозированного изображения формирует спрогнозированное изображение посредством вырезания изображения из захваченного изображения, которое было получено во второй момент времени перед первым моментом времени, и

блок представления представляет сформированное спрогнозированное изображение, когда спрогнозированное изображение сформировано, и представляет захваченное изображение, когда спрогнозированное изображение не сформировано.