ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ
[0001]
Настоящее изобретение относится к способу определения области движущегося изображения и, в частности, к способу определения прямоугольной области движущегося изображения.
УРОВЕНЬ ТЕХНИКИ
[0002]
В настоящее время уделяется внимание технологии, обеспечивающей увеличение разрешения входного сигнала движущегося изображения или сигнала статического изображения и выходного результирующего сигнала. Например, если в дисплейной области может быть увеличено одно только разрешение области движущегося изображения, то в результате этого даже грубое входное движущееся изображение может быть отображено с улучшенной фактической видимостью.
[0003]
Если такая область движущегося изображения фиксирована, она может быть идентифицирована вручную. Однако этот процесс идентификации является ненадежным. Конечно, если область движущегося изображения перемещается, существует ограничение на его идентификацию вручную.
[0004]
Были предложены различные способы идентификации области движущегося изображения. Например, Патентный документ 1 раскрывает способ определения на основе блоков. В частности, этот способ определения включает в себя: выполнение сравнения между уровнями серого одного и того же пикселя в предыдущем и последующем кадрах; если есть разность между уровнями серого, оценивание того, что этот пиксель является пикселем движущегося изображения; получение отношения числа пикселей движущегося изображения к числу всех пикселей на основе блоков; и если это отношение больше порогового значения, оценивание того, что этот блок является блоком движущегося изображения.
Документы уровня техники
Патентные документы
[0005]
Патентный документ 1:
Публикация не подвергнутой экспертизе заявки на японский патент No. 11-007266
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
ЗАДАЧИ, РЕШАЕМЫЕ С ПОМОЩЬЮ ИЗОБРЕТЕНИЯ
[0006]
Однако в способе определения, раскрытом в Патентном документе 1, выполняют сравнение каждого пикселя, и затем подсчитывают число пикселей для каждого блока. Соответственно, необходимо производить сравнение для каждого из всех пикселей в одном кадре, что повышает затраты или усложняет проектирование.
[0007]
Настоящее изобретение призвано решить вышеупомянутую проблему, и его задача заключается в создании способа и устройства для определения прямоугольной области движущегося изображения с использованием простой конфигурации.
СРЕДСТВА ДЛЯ РЕШЕНИЯ ПРОБЛЕМ
[0008]
(1) Настоящее изобретение раскрывает способ определения прямоугольной области движущегося изображения, отображаемого в части дисплейной области, имеющей пиксели, расположенные в ней в направлениях рядов и столбцов. Этот способ включает в себя:
этап оценивания движущегося единичного блока, на котором дисплейную область делят на единичные блоки, каждый из которых включает в себя предварительно определенное число пикселей, и оценивают, является ли каждый единичный блок движущимся единичным блоком, имеющим движение;
этап определения движущегося блока столбца, на котором в качестве блока столбца устанавливают совокупность единичных блоков, содержащихся в столбце, включающей в себя один из самых верхних единичных блоков из указанных единичных блоков, и, если один блок столбца включает в себя по меньшей мере один движущийся единичный блок, определяют указанный блок столбца в качестве движущегося блока столбца;
этап определения движущегося блока ряда, на котором в качестве блока ряда устанавливают совокупность единичных блоков, содержащихся в ряду, включающей в себя один из самых левых единичных блоков из указанных единичных блоков, и, если один блок ряда включает в себя по меньшей мере один движущийся единичный блок, определяют указанный блок ряда в качестве движущегося блока ряда;
этап первого определения прямоугольной области движущегося изображения, на котором в качестве прямоугольной области движущегося изображения определяют прямоугольную область, задаваемую единичными блоками, содержащимися как в движущемся блоке ряда, так и в движущемся блоке столбца; и
этап второго определения прямоугольной области движущегося изображения, на котором в качестве указанной прямоугольной области движущегося изображения определяют область, ограниченную краями в прямоугольной области движущегося изображения на основе пикселей в единичных блоках, образующих четыре периферийные стороны указанных единичных блоков, содержащихся в прямоугольной области движущегося изображения.
[0009]
Как показано выше, область движущегося изображения может быть определена посредством оценивания того, является ли каждый из указанных единичных блоков, движущимся единичным блоком, определения движущегося блока ряда и движущегося блока столбца и определения, в качестве прямоугольной области движущегося изображения, прямоугольной области, задаваемой единичными блоками, содержащимися как в движущемся блоке ряда, так и в движущемся блоке столбца. Кроме того, область движущегося изображения может быть определена точнее посредством определения, в качестве указанной прямоугольной области движущегося изображения, области, ограниченной краями в указанной прямоугольной области движущегося изображения на основе пикселей в единичных блоках, образующих четыре периферийные стороны указанных единичных блоков, образующих эту область.
[0010]
(2) При реализации способа согласно настоящему изобретению этап второго определения прямоугольной области движущегося изображения включает определение ряда, имеющего отличающееся репрезентативное значение пикселей в единичных блоках, образующих указанные четыре периферийные стороны, в качестве границы, проходящей в направлении рядов, указанной прямоугольной области движущегося изображения, и определение столбца, имеющего отличающееся репрезентативное значение пикселей в единичных блоках, образующих указанные четыре периферийные стороны, в качестве границы, проходящей в направлении столбцов, указанной прямоугольной области движущегося изображения. Таким образом, обеспечивается возможность определения границы на основе репрезентативного значения пикселей каждого ряда.
[0011]
(3) При реализации способа согласно настоящему изобретению этап второго определения прямоугольной области движущегося изображения включает определение границ указанной прямоугольной области движущегося изображения посредством оценивания того, является ли каждый пиксель в единичных блоках, образующих указанные четыре периферийные стороны, изменяющимся пикселем, который изменяется между различными кадрами. Таким образом, обеспечивается возможность определения границы на основе вектора движения каждого пикселя.
[0012]
(4) При реализации способа согласно настоящему изобретению этап второго определения прямоугольной области движущегося изображения включает извлечение пикселей, служащих в качестве краев, проходящих в направлении рядов, и пикселей, служащих в качестве краев, проходящих в направлении столбцов, из пикселей в единичных блоках, образующих указанные четыре периферийные стороны, и определение границ указанной прямоугольной области движущегося изображения на основе общего числа пикселей, служащих в качестве краев, проходящих в направлении рядов, в каждом ряду, и общего числа пикселей, служащих в качестве краев, проходящих в направлении столбцов, в каждом столбце. Таким образом, обеспечивается возможность определения границ на основе края, проходящего в направлении рядов, и края, проходящего в направлении столбцов.
[0013]
(5) При реализации способа согласно настоящему изобретению перед этапом второго определения прямоугольной области движущегося изображения выполняют оценивание на предмет прокручивания, при котором оценивают, изменяется ли изображение в определенной прямоугольной области движущегося изображения между кадрами вследствие прокручивания. Таким образом, обеспечивается возможность оценивания того, что изображение изменяется вследствие прокручивания. Если произведено оценивание, что изображение изменяется вследствие прокручивания, этап второго определения прямоугольной области движущегося изображения отменяют. Таким образом, если изображение изменяется вследствие прокручивания, обеспечивается возможность выполнения быстрого определения.
[0014]
(6) При реализации способа согласно настоящему изобретению оценивание на предмет прокручивания включает в себя оценивание того, служит ли каждый из пикселей в определенной прямоугольной области движущегося изображения в качестве края, на основе разности в пиксельном значении между указанным пикселем и смежным пикселем, признание, в качестве области существования промежутка символа, ряда или столбца, включающего в себя заранее определенное число или более пикселей, не служащих в качестве краев, и оценивание того, что изображение изменяется вследствие прокручивания, на основе отношения области существования промежутка символа к определенной прямоугольной области движущегося изображения. Таким образом, можно произвести, надежное оценивание того, подвергается ли прокручиванию изображение, включающее в себя символы.
[0015]
(7) При реализации способа согласно настоящему изобретению перед этапом второго определения прямоугольной области движущегося изображения многократно выполняют этап определения движущегося блока столбца, этап определения движущегося блока ряда и этап первого определения прямоугольной области движущегося изображения на прямоугольной области движущегося изображения, определенной на этапе первого определения прямоугольной области движущегося изображения. Таким образом, даже если есть множество областей движущегося изображения, подлежащих распознаванию, распознавание может быть точным.
[0016]
(8) Настоящее изобретение раскрывает устройство для определения прямоугольной области движущегося изображения, отображаемого в части дисплейной области, имеющей пиксели, расположенные в ней в направлениях рядов и столбцов. Раскрываемое устройство содержит:
1) средства оценивания движущегося единичного блока, выполненные с возможностью деления дисплейной области на единичные блоки, каждый из которых включает в себя предварительно определенное число пикселей, оценивания того, является ли каждый единичный блок движущимся единичным блоком, имеющим движение;
2) средства определения движущегося блока столбца, выполненные с возможностью установления, в качестве блока столбца, совокупности единичных блоков, содержащихся в столбце, включающей в себя один из самых верхних единичных блоков из указанных единичных блоков, и, если один блок столбца включает в себя по меньшей мере один движущийся единичный блок, определения указанного блока столбца в качестве движущегося блока столбца;
3) средства определения движущегося блока ряда, выполненные с возможностью установления, в качестве блока ряда, совокупности единичных блоков, содержащихся в ряду, включающей в себя один из самых левых единичных блоков из указанных единичных блоков, и, если один блок ряда включает в себя по меньшей мере один движущийся единичный блок, определения указанного блока ряда в качестве движущегося блока ряда;
4) средства первого определения прямоугольной области движущегося изображения, выполненные с возможностью определения, в качестве прямоугольной области движущегося изображения, прямоугольной области, задаваемой единичными блоками, содержащимися как в движущемся блоке ряда, так и в движущемся блоке столбца; и
5) средства второго определения прямоугольной области движущегося изображения, выполненные с возможностью определения, в качестве указанной прямоугольной области движущегося изображения, области, ограниченной краями в указанной прямоугольной области движущегося изображения на основе пикселей в единичных блоках, образующих четыре периферийные стороны указанных единичных блоков, содержащихся в указанной прямоугольной области движущегося изображения.
[0017]
Как показано выше, область движущегося изображения может быть определена посредством оценивания того, является ли каждый из указанных единичных блоков, движущимся единичным блоком, определения движущегося блока ряда и движущегося блока столбца и определения, в качестве прямоугольной области движущегося изображения, прямоугольной области, задаваемой единичными блоками, содержащимися как в движущемся блоке ряда, так и в движущемся блоке столбца. Кроме того, область движущегося изображения может быть определена точнее посредством определения, в качестве указанной прямоугольной области движущегося изображения, области, ограниченной краями в указанной прямоугольной области движущегося изображения на основе пикселей в единичных блоках, образующих четыре периферийные стороны указанных единичных блоков, образующих эту область.
[0018]
(9) В устройстве по настоящему изобретению средства второго определения прямоугольной области движущегося изображения предпочтительно определяют ряд, имеющий отличающееся репрезентативное значение пикселей в единичных блоках, образующих указанные четыре периферийные стороны, в качестве границы, проходящей в направлении рядов, указанной прямоугольной области движущегося изображения, и определяют столбец, имеющий отличающееся репрезентативное значение пикселей в единичных блоках, образующих указанные четыре периферийные стороны, в качестве границы, проходящей в направлении столбцов, указанной прямоугольной области движущегося изображения. Таким образом, обеспечивается возможность определения границы на основе репрезентативного значения пикселей каждого ряда.
[0019]
(10) В устройстве по настоящему изобретению средства второго определения прямоугольной области движущегося изображения предпочтительно определяют границы указанной прямоугольной области движущегося изображения посредством оценивания того, является ли каждый пиксель в единичных блоках, образующих указанные четыре периферийные стороны, изменяющимся пикселем, который изменяется между различными кадрами. Таким образом, обеспечивается возможность определения границы на основе вектора движения каждого пикселя.
[0020]
(11) В устройстве по настоящему изобретению средства второго определения прямоугольной области движущегося изображения предпочтительно производят извлечение пикселей, служащих в качестве краев, проходящих в направлении рядов, и пикселей, служащих в качестве краев, проходящих в направлении столбцов, из пикселей в единичных блоках, образующих указанные четыре периферийные стороны, и определяют границы указанной прямоугольной области движущегося изображения на основе общего числа пикселей, служащих в качестве краев, проходящих в направлении рядов, в каждом ряду, и общего числа пикселей, служащих в качестве краев, проходящих в направлении столбцов, в каждом столбце. Таким образом, обеспечивается возможность определения границ на основе краев, проходящих в направлении рядов, и краев, проходящих в направлении столбцов.
[0021]
(12) Устройство по настоящему изобретению предпочтительно также включает в себя средства повторения, выполненные с возможностью обусловливания многократного выполнения средствами определения движущегося блока столбца, средствами определения движущегося блока ряда и средствами первого определения прямоугольной области движущегося изображения процессов на прямоугольной области движущегося изображения, определенной средствами первого определения прямоугольной области движущегося изображения. Таким образом, даже если есть множество областей движущегося изображения, подлежащих распознаванию, распознавание может быть точным.
[0022]
(17) Настоящее изобретение раскрывает способ определения прямоугольной области движущегося изображения, отображаемого в части дисплейной области, имеющей пиксели, расположенные в ней в направлениях рядов и столбцов. Способ включает в себя:
этап оценивания движущегося единичного блока, на котором дисплейную область делят на единичные блоки, каждый из которых включает в себя предварительно определенное число пикселей, и оценивают, является ли каждый единичный блок движущимся единичным блоком, имеющим движение;
этап определения движущегося блока столбца, на котором в качестве блока столбца устанавливают совокупность единичных блоков, содержащихся в столбце, включающей в себя один из самых верхних единичных блоков из указанных единичных блоков, и, если один блок столбца включает в себя по меньшей мере один движущийся единичный блок, определяют указанный блок столбца в качестве движущегося блока столбца;
этап определения движущегося блока ряда, на котором в качестве блока ряда устанавливают совокупность единичных блоков, содержащихся в ряду, включающей в себя один из самых левых единичных блоков из указанных единичных блоков, и, если один блок ряда включает в себя по меньшей мере один движущийся единичный блок, определяют указанный блок ряда в качестве движущегося блока ряда;
и этап первого определения прямоугольной области движущегося изображения, на котором в качестве прямоугольной области движущегося изображения определяют прямоугольную область, задаваемую единичными блоками, содержащимися как в движущемся блоке ряда, так и в движущемся блоке столбца.
[0023]
Как показано выше, область движущегося изображения может быть определена посредством оценивания того, является ли каждый из указанных единичных блоков, движущимся единичным блоком, определения движущегося блока ряда и движущегося блока столбца и определения, в качестве прямоугольной области движущегося изображения, прямоугольной области, задаваемой единичными блоками, содержащимися как в движущемся блоке ряда, так и в движущемся блоке столбца.
[0024]
(18) При реализации способа согласно настоящему изобретению этап первого определения прямоугольной области движущегося изображения предпочтительно также включает в себя многократное выполнение этапа определения движущегося блока столбца и этапа определения движущегося блока ряда на определенной прямоугольной области. Таким образом, даже если есть множество областей движущегося изображения, подлежащих распознаванию, распознавание может быть точным.
[0025]
(19) Настоящее изобретение раскрывает устройство для оценивания того, является ли целевая область, подлежащая определению, на экране областью осуществления прокручивания. Раскрываемое устройство содержит:
средства оценивания пикселей краев, выполненные с возможностью оценивания того, служит ли каждый пиксель в целевой области в качестве края, на основе разности в пиксельном значении между указанным пикселем и смежным пикселем;
средства определения области существования промежутка символа, выполненные с возможностью определения ряда или столбца, включающего в себя заранее определенное число или более пикселей, не служащих в качестве краев, в качестве области существования промежутка символа;
и средства оценивания области осуществления прокручивания, выполненные с возможностью оценивания того, является ли целевая область областью осуществления прокручивания, на основе отношения области существования промежутка символа к целевой области.
[0026]
Таким образом, можно произвести надежное оценивание того, подвергается ли прокручиванию изображение, включающее в себя символы.
[0027]
(20) Настоящее изобретение раскрывает устройство для определения границ прямоугольной области на экране. Раскрываемое устройство содержит:
средства оценивания пикселей краев, выполненные с возможностью того, является ли каждый из целевых пикселей, подлежащий определению, пикселем, служащим в качестве края, на основе значения каждого пикселя;
средства определения границы, проходящей в направлении рядов, выполненные с возможностью извлечения, в качестве пикселей краев, проходящих в направлении рядов, пикселей, служащих в качестве краев, проходящих в направлении рядов, для расчета общего числа пикселей краев, проходящих в направлении рядов, в каждом ряду, и определения границы, проходящей в направлении рядов, на основе указанного общего Числа пикселей краев, проходящих в направлении рядов, в каждом ряду;
средства определения границы, проходящей в направлении столбцов, выполненные с возможностью извлечения, в качестве пикселей краев, проходящих в направлении столбцов, пикселей, служащих в качестве краев, проходящих в направлении столбцов, для расчета общего числа пикселей краев, проходящих в направлении столбцов, в каждом столбце, и определения границы, проходящей в направлении столбцов, на основе указанного общего числа краев, проходящих в направлении столбцов, в каждом столбце; и средства определения прямоугольной области, выполненные с возможностью определения указанных определенных границы, проходящей в направлении рядов, и границы, проходящей в направлении столбцов, в качестве границ указанной прямоугольной области.
[0028]
Таким образом, обеспечивается возможность определения границ на основе края, проходящего в направлении рядов, и края, проходящего в направлении столбцов.
(21) Устройство для определения границ по настоящему изобретению предпочтительно также включает в себя средства грубого определения области, выполненные с возможностью определения целевых пикселей, в отношении которых средствами оценивания пикселей краев необходимо произвести оценивания и включающее в себя следующие средства.
[0029]
1) Средства оценивания движущегося единичного блока, выполненные с возможностью деления дисплейной области на единичные блоки, каждый из которых включает в себя предварительно определенное число пикселей, при этом дисплейная область имеет пиксели, расположенные в ней в направлениях рядов и столбцов, оценивания того, является ли каждый единичный блок движущимся единичным блоком, имеющим движение;
2) средства определения движущегося блока столбца, выполненные с возможностью установления, в качестве блока столбца, совокупности единичных блоков, содержащихся в столбце, включающей в себя один из самых верхних единичных блоков из указанных единичных блоков, и, если один блок столбца включает в себя по меньшей мере один движущийся единичный блок, определения указанного блока столбца в качестве движущегося блока столбца;
3) средства определения движущегося блока ряда, выполненные с возможностью установления, в качестве блока ряда, совокупности единичных блоков, содержащихся в ряду, включающей в себя один из самых левых единичных блоков из указанных единичных блоков, и, если один блок ряда включает в себя по меньшей мере один движущийся единичный блок, определения указанного блока ряда в качестве движущегося блока ряда;
4) средства первого определения прямоугольной области движущегося изображения, выполненные с возможностью определения, в качестве прямоугольной области движущегося изображения, прямоугольной области, задаваемой единичными блоками, содержащимися как в движущемся блоке ряда, так и в движущемся блоке столбца; и
5) средства определения целевых пикселей, выполненные с возможностью определения, в качестве целевых пикселей, пикселей, содержащихся в единичных блоках, образующих четыре периферийные стороны указанных единичных блоков, содержащихся в указанной прямоугольной области движущегося изображения.
[0030]
Таким образом, обеспечивается возможность определения границы с большей скоростью.
[0031]
В настоящем описании и формуле изобретения выражение "значение пикселя" относится к значению яркости, а также ко всем значениям для задания информации изображения, включая RGB значение. Выражение "прямоугольная область движущегося изображения" относится к прямоугольной области, в которой значение пикселя изменяется в отношении множества кадров и которая образует область движущегося изображения.
[0032]
Выражение "блок столбца" относится к совокупности единичных блоков, содержащихся в столбце, включающей в себя один из самых верхних единичных блоков из указанных единичных блоков. В настоящем варианте реализации изобретения, блок столбца определяют посредством задания одного из самых верхних единичных блоков. Еще в одном варианте реализации изобретения блок столбца может быть определен посредством задания единичного блока в ряду, отличном от самого верхнего ряда, при условии что указанный блок столбца в результате включает в себя один из самых верхних единичных блоков. Выражение "блок ряда" относится к совокупности единичных блоков, содержащихся в ряду, включающей в себя один из самых левых единичных блоков. В отношении блока столбца, единичный блок может быть задан любым образом для определения блока ряда, при условии что блок ряда в результате включает в себя один из самых левых единичных блоков.
[0033]
В предложенных вариантах реализации изобретения выражение "этап первого определения прямоугольной области движущегося изображения" и выражение "этап второго определения прямоугольной области движущегося изображения" относятся к процессу определения области движущегося изображения (этап S7 по ФИГ. 3) и процессу определения границ (этап S9 по ФИГ. 3), соответственно.
[0034]
В предложенных вариантах реализации изобретения выражение "направление ряда" относится к направлению, в котором расположены ряды, и соответствует направлению α. Выражение "край, проходящий в направлении рядов" относится к краю, параллельному направлению ряда, и выражение "край, проходящий в направлении столбцов" относится к краю, параллельному направлению столбца.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
[0035]
На ФИГ. 1 приведена функциональная блочная схема устройства 1 для определения прямоугольной области движущегося изображения.
На ФИГ. 2 схематично показан пример конфигурации аппаратного оборудования устройства 1 для определения прямоугольной области движущегося изображения, включающий в себя центральный обрабатывающий блок.
На ФИГ. 3 показан общий алгоритм.
На ФИГ. 4 показана дисплейная область 100, включающая в себя области с 110 по 112 движущегося изображения.
На ФИГ. 5 показан алгоритм процесса определения движущегося блока.
На ФИГ. 6 схематично показан результат распознавания движущихся блоков.
На ФИГ. 7 показан алгоритм процесса определения области движущегося изображения.
На ФИГ. 8 схематично показаны движущиеся блоки столбца.
На ФИГ. 9 показан алгоритм (продолжение) процесса определения области движущегося изображения.
На ФИГ. 10 схематично показаны движущиеся блоки ряда.
На ФИГ. 11 схематично показана область 140 движущегося изображения.
На ФИГ. 12 показан алгоритм процесса определения границ.
На ФИГ. 13 схематично показаны пиксели 32*32 в одном единичном блоке.
На ФИГ. 14 показана дисплейная область 200, включающая в себя множество областей движущегося изображения.
На ФИГ. 15 показаны распознанные области с 301 по 304 движущегося изображения.
На ФИГ. 16 показаны области 311 и 312 движущегося изображения, распознанные из области 301 движущегося изображения.
На ФИГ. 17 показан алгоритм процесса определения границ.
На ФИГ. 18А и 18В показан фильтр и формула, используемые для оценивания того, является ли пиксель пикселем края.
На ФИГ. 19А-19С показан пример движущегося изображения для описания определения границ с использованием записей действий пользователя или системы в направлении оси времени.
На ФИГ. 20 показан алгоритм процесса оценивания на предмет прокручивания.
ВАРИАНТЫ РЕАЛИЗАЦИИ ИЗОБРЕТЕНИЯ
[0036]
Варианты реализации настоящего изобретения будут раскрыты со ссылкой на чертежи.
[0037]
1.1 Функциональные блоки
На ФИГ. 1 показана функциональная блочная схема устройства 1 для определения прямоугольной области движущегося изображения по одному варианту реализации настоящего изобретения. Устройство 1 для определения прямоугольной области движущегося изображения выполнено с возможностью определения прямоугольной области движущегося изображения, отображаемого в части дисплейной области, имеющей пиксели, расположенные в ней в направлениях рядов и столбцов. Оно включает в себя средства 5 оценивания движущегося единичного блока, средства 7 определения движущегося блока столбца, средства 9 определения движущегося блока ряда, средства 11 первого определения прямоугольной области движущегося изображения, средства 13 повторения и средства 14 второго определения прямоугольной области движущегося изображения.
[0038]
Средства 5 оценивания движущегося единичного блока делят дисплейную область на единичные блоки, каждый из которых включает в себя предварительно определенное число пикселей, и производят оценивание того, является ли каждый единичный блок движущимся единичным блоком, имеющим движение. Средства 7 определения движущегося блока столбца в качестве блока столбца устанавливают совокупность единичных блоков, содержащихся в столбце, включающей в себя один из самых верхних единичных блоков из указанных единичных блоков, и, если один блок столбца включает в себя по меньшей мере один движущийся единичный блок, определяют, что указанный блок столбца является движущимся блоком столбца. Средства 9 определения движущегося блока ряда в качестве блока ряда устанавливают совокупность единичных блоков, содержащихся в ряду, включающей в себя один из самых левых единичных блоков, и, если один блок ряда включает в себя по меньшей мере один движущийся единичный блок, определяют, что блок ряда является движущимся блоком ряда. Средства 11 первого определения прямоугольной области движущегося изображения определяют, что прямоугольная область, задаваемая единичными блоками, содержащимися как в движущемся блоке ряда, так и в движущемся блоке столбца, является прямоугольной областью движущегося изображения. Средства 13 повторения обуславливают многократное выполнение средствами 7 определения движущегося блока столбца, средствами 9 определения движущегося блока ряда и средствами 11 первого определения прямоугольной области движущегося изображения процессов на прямоугольной области движущегося изображения, определенной средствами 11 первого определения прямоугольной области движущегося изображения. На основании пикселей в единичных блоках, образующих четыре периферийные стороны указанных единичных блоков, образующих прямоугольную область движущегося изображения, средства 14 второго определения прямоугольной области движущегося изображения определяют, что область, ограниченная краями в указанной прямоугольной области движущегося изображения, является прямоугольной областью движущегося изображения.
[0039]
1.2 Конфигурация аппаратного оборудования
На ФИГ. 2 показана конфигурация аппаратного оборудования устройства 1 для определения прямоугольной области движущегося изображения. Устройство 1 для определения прямоугольной области движущегося изображения включает в себя центральный обрабатывающий блок 23, оперативное запоминающее устройство 25 и электрически перепрограммируемое постоянное запоминающее устройство 26. Электрически перепрограммируемое постоянное запоминающее устройство 26 хранит программу 26р. Программа 26р осуществляет процесс определения прямоугольной области движущегося изображения, как будет описано позже. Оперативное запоминающее устройство 25 хранит результат расчета или тому подобное. Запоминающее устройство 27 кадров хранит данные изображений одного экрана.
[0040]
Под управлением программы 26р центральный обрабатывающий блок 23 производит оценивание того, является ли область изображения областью движущегося изображения, которое содержит движущиеся пиксели, на основе значений пикселей, образующих дисплейную область, сохраненную в запоминающем устройстве 27, и затем сохраняет результат определения в оперативном запоминающем устройстве 25.
[0041].
1.3 Описание алгоритма
Процесс, осуществляемый программой 26р, показанный на ФИГ. 2, будет описано со ссылкой на ФИГ. 3. В последующем описании используется пример, показанный ФИГ. 4, на котором область 100 изображения, служащая в качестве одного кадра монитора, включает в себя три прямоугольные области с 110 по 112 движущегося изображения.
[0042]
В области 100 изображения пиксели расположены в направлении α ряда и в направлении β столбца.
[0043]
Центральный обрабатывающий блок 23 делит дисплейную область на блоки (этап S1 по ФИГ. 3). В настоящем варианте реализации изобретения дисплейная область 100, показанная на ФИГ. 4, разделена на множество блоков, каждый из которых включает в себя 32*32 пикселей в матричной форме. Ниже принимается, что дисплейная область 100 разделена на n+1 блоков в направлении α и m+1 блоков в направлении β.
[0044]
Центральный обрабатывающий блок 23 определяет репрезентативные значения всех блоков (этап S3 по ФИГ. 3). Примеры репрезентативного значения включают в себя усредненные значения пикселей в одном блоке и значение первого пикселя в одном блоке. Вместо использования значения пикселя как есть, в качестве репрезентативного значения может быть использовано значение хеш-функции, такое как CRC. Среднее значение может быть представлено длиной 18-бит в восьмибитном изображении 32*32, однако в качестве среднего значения могут быть использованы центральные 8 бит, полученные отбрасыванием верхних и нижних 10 бит. Таким образом, репрезентативные значения блоков (n+1)*(m+1) сохраняют в оперативном запоминающем устройстве 25.
[0045]
Центральный обрабатывающий блок 23 производит оценивание того, является ли каждый из блоков (n+1)*(m+1) движущимся блоком (этап S5). Процесс определения движущегося блока будет описан со ссылкой на ФИГ. 5.
[0046]
Центральный обрабатывающий блок 23 инициализирует числа i, j блока осуществления процесса (этап S11, S13 по ФИГ. 5). Выполняют сравнение между репрезентативными значениями блока (0,0) в текущем и предшествующем кадрах (этап S15). В настоящем варианте реализации изобретения выполняют сравнение между репрезентативными значениями в моменты времени t и t-1. Центральный обрабатывающий блок 23 производит оценивание того, превосходит ли указанное сравнение между репрезентативными значениями пороговое значение thb (этап S17). Если сравнение превосходит пороговое значение thb, он оценивает, что блок является движущимся блоком (этап S19). И наоборот, если сравнение не превосходит порогового значения thb, центральный обрабатывающий блок 23 оценивает, что этот блок является недвижущимся блоком (этап S21).
[0047]
Центральный обрабатывающий блок 23 производит оценивание того, является ли число j блока осуществления процесса последним числом (этап S23). Поскольку j составляет 0 и поэтому не является последним числом, центральный обрабатывающий блок 23 осуществляет приращение числа j блока осуществления процесса (этап S25) и повторяет этапы S15 и последующие. Если число j блока осуществления процесса является последним числом на этапе S23, центральный обрабатывающий блок 23 переходит к этапу S27 и производит оценивание того, является ли число i блока осуществления процесса последним числом. Поскольку i не является последним числом, центральный обрабатывающий блок 23 осуществляет приращение числа i блока осуществления процесса (этап S29) и повторяет этапы S13 и последующие. Если число i блока осуществления процесса является последним числом на этапе S27, центральный обрабатывающий блок 23 завершает процесс определения движущихся блоков.
[0048]
На ФИГ. 6 показаны результаты оценивания того, является ли каждый из блоков (n+1)*(m+1) движущимся блоком. В этом примере определяется, что блоки (4,2), (4,3), (4,4) и т.П. являются движущимися блоками.
[0049]
Центральный обрабатывающий блок 23 осуществляет процесс определения области движущегося изображения (этап S7 по ФИГ. 3). Процесс определения области движущегося изображения будет описан со ссылкой на ФИГ. 7 и 9.
[0050]
Центральный обрабатывающий блок 23 инициализирует число j блока осуществления процесса (этап S31 по ФИГ. 7). Центральный обрабатывающий блок 23 затем производит оценивание того, включает ли в себя указанный блок столбца, включающий в себя блок (0,0), по меньшей мере один движущийся блок (этап S33), Поскольку нет движущихся блоков среди блока (0,0) и блоков с (1,0) по (m,0), расположенных вертикально от блока (0,0), как показано на ФИГ. 6, центральный обрабатывающий блок 23 оценивает, что этот столбец является недвижущимся столбцом (этап S37 по ФИГ. 7). Центральный обрабатывающий блок 23 затем производит оценивание того, есть ли добавленный и сохраненный предположительно движущийся столбец (этап S39). Поскольку такого столбца нет, центральный обрабатывающий блок 23 переходит к этапу S46 и производит оценивание того, является ли число j блока осуществления процесса последним числом. Поскольку j составляет 0 и поэтому, не является последним числом, центральный обрабатывающий блок 23 осуществляет приращение числа j блока осуществления процесса (этап S47) и повторяет этапы S33 и последующие.
[0051]
Если число j блока осуществления процесса равно 2, среди блока (0,2) и блоков, расположенных вертикально от блока (0,2) есть движущиеся блоки. Соответственно, центральный обрабатывающий блок 23 добавляет и сохраняет этот столбец в качестве предположительно движущегося столбца (этап S35).
[0052]
Центральный обрабатывающий блок 23 производит оценивание того, является ли число j блока осуществления процесса последним числом (этап S46). Поскольку j составляет 2 и поэтому не является последним числом, центральный обрабатывающий блок 23 осуществляет приращение числа j блока осуществления процесса (этап S47) и повторяет этапы S33 и последующие.
[0053]
До тех пор, пока число j блока осуществления процесса не станет 8, центральный обрабатывающий блок 23 повторяет этап S35. Если число j блока осуществления процесса равно 9, то нет движущихся блоков в блоке (0,9), включающем в себя столбец. Соответственно, центральный обрабатывающий блок 23 оценивает, что этот столбец является недвижущимся столбцом (этап S37). Центральный обрабатывающий блок 23 производит оценивание того, есть ли добавленные и сохраненные предположительно движущиеся столбцы (этап S39). Если такие столбцы существуют, он производит оценивание того, имеет ли указанная совокупность смежных столбцов ширину, превосходящую пороговое значение thw (этап S41). В настоящем варианте реализации изобретения, принимается, что пороговое значение thw составляет два блока или большее количество. Поскольку блоки с (0,2) по (0,8) являются добавленными и сохраненными предположительно движущимися столбцами и превосходят пороговое значение thw, центральный обрабатывающий блок 23 определяет, что указанные предположительно движущиеся столбцы являются движущимися столбцами (этап S45).
[0054]
Центральный обрабатывающий блок 23 производит оценивание того, является ли число j блока осуществления процесса последним числом (этап S46).
[0055]
Если число j блока осуществления процесса равно 10, столбец блока (0,10) не содержит каких-либо движущихся блоков. Соответственно, центральный обрабатывающий блок 23 оценивает, что указанный столбец является недвижущимся столбцом (этап S37). Центральный обрабатывающий блок 23 затем производит оценивание того, есть ли распознанный предположительно движущийся столбец (этап S39). Поскольку такого столбца нет, центральный обрабатывающий блок 23 производит оценивание того, является ли число j блока осуществления процесса последним числом (этап S46).
[0056]
В дальнейшем, до тех пор, пока j не станет n-7, центральный обрабатывающий блок 23 оценивает, что указанный столбец является недвижущимся столбцом. Если число j блока осуществления процесса равно n-6, движущийся блок (m-3,n-6) существует. Соответственно, центральный обрабатывающий блок 23 добавляет и сохраняет этот столбец в качестве предположительно движущегося столбца (этап S35).
[0057]
Если число j блока осуществления процесса равно n-5, блок (0,n-5), включающий в себя столбец, не содержит никаких движущихся блоков. Соответственно, центральный обрабатывающий блок 23 оценивает, что этот столбец является недвижущимся столбцом (этап S3 7). Центральный обрабатывающий блок 23 затем производит оценивание того, есть ли распознанные предположительно движущиеся столбцы (этап S39). Если такие столбцы существуют, он производит оценивание того, имеет ли указанная совокупность смежных столбцов ширину, превосходящую пороговое значение thw (этап S41). Поскольку для настоящего варианта реализации изобретения принято, что пороговое значение thw составляет два блока или большее количество, ширина предположительно движущегося столбца не превосходит порогового значения thw. Соответственно, центральный обрабатывающий блок 23 оценивает, что указанный предположительно движущийся столбец является недвижущимся столбцом (этап S43). Таким образом можно предотвратить ошибочное признание области изображения, такой как мышь, в качестве области движущегося изображения.
[0058]
Аналогично центральный обрабатывающий блок 23 последовательно производит оценивание того, включает ли в себя каждый столбец в направлении α ряда движущийся блок.
[0059]
Следует отметить, что последний столбец, включающий в себя блок (0,n), может быть предположительно движущимся столбцом. В этом случае, центральный обрабатывающий блок 23 на этапе S49 производит оценивание того, есть ли добавленные и сохраненные предположительно движущиеся столбцы. Если такие столбцы существуют, он осуществляет этапы S41 и последующие.
На ФИГ. 8 показаны распознаваемые движущиеся столбцы. В этом случае, определяют область 121 в качестве движущегося столбца. С другой стороны, ни одна из областей 122 и 123, включающих в себя блок (m-3,n-6) и блок (6,n-3), соответственно, не имеет ширины, превосходящей пороговое значение thw в направлении стрелки α. Соответственно, нет определения того, что эти области являются движущимися столбцами.
[0061]
Центральный обрабатывающий блок 23 затем инициализирует число i блока осуществления процесса (этап S51 по ФИГ. 9). Центральный обрабатывающий блок 23 производит оценивание того, включает ли в себя ряд, включающий в себя блок (0,0), по меньшей мере один движущийся блок (этап S53). Поскольку блок (0,0) и блоки с (0,1) по (0,n), расположенные горизонтально от блока (0,0), не включают в себя движущихся блоков, как показано на ФИГ. 6, центральный обрабатывающий блок 23 оценивает, что этот ряд является недвижущимся рядом (этап S57). Центральный обрабатывающий блок 23 затем производит оценивание того, есть ли добавленные и сохраненные движущиеся ряды (этап S59). Поскольку нет распознанного движущегося ряда, центральный обрабатывающий блок 23 переходит к этапу S66 и производит оценивание того, является ли число i блока осуществления процесса последним числом. Поскольку i составляет 0 и поэтому не является последним числом, центральный обрабатывающий блок 23 осуществляет приращение числа i блока осуществления процесса (этап S68) и повторяет этапы S53 и последующие.
[0062]
Если число i блока осуществления процесса равно 4, ряд, включающий в себя блок (4,0), включает в себя движущиеся блоки. Соответственно, центральный обрабатывающий блок 23 добавляет и сохраняет этот ряд в качестве предположительно движущегося ряда (этап S55).
[0063]
Аналогично, до тех пор, пока i не станет 8, центральный обрабатывающий блок 23 оценивает, что ряд, включающий в себя блок (i,0), является движущимся рядом, который содержит движущиеся блоки. Если i=9, ряд, включающий в себя блок (i,0), не содержит каких-либо движущихся блоков. Соответственно, центральный обрабатывающий блок 23 оценивает, что этот ряд является недвижущимся рядом (этап S57). Центральный обрабатывающий блок 23 затем производит оценивание того, есть ли добавленные и сохраненные движущиеся ряды (этап S59). Поскольку добавленные и сохраненные движущиеся ряды существуют, центральный обрабатывающий блок 23 производит оценивание того, имеет ли совокупность добавленных и сохраненных движущихся рядов ширину, превосходящую пороговое значение thw (этап S61). В настоящем варианте реализации изобретения, принимается, что пороговое значение thw составляет два блока или большее количество. Поскольку блоки с (4,0) по (8,0) являются распознанными движущимися рядами и имеют ширину, превосходящую пороговое значение, thw, центральный обрабатывающий блок 23 оценивает, что указанные предположительно движущиеся ряды являются движущимися рядами (этап S65).
[0064]
Аналогично центральный обрабатывающий блок 23 последовательно производит оценивание того, является ли каждый ряд в направлении Р столбца движущимся блоком. Этап S69 аналогичен этапу S49 и поэтому не будет описан.
[0065]
На ФИГ. 10 показан распознаваемый движущийся ряд. В частности, определяют область 131 в качестве движущегося ряда. Движущийся блок (6,n-3) содержится в области 131. С другой стороны, область 132, включающая в себя движущийся блок (m-3,n-6), не имеет ширины, превосходящей пороговое значение thw в направлении стрелки β, и поэтому нет определения того, что он является движущимся рядом.
[0066]
Центральный обрабатывающий блок 23 определяет, что блоки, содержащиеся как в движущемся столбце, так и движущемся ряду, являются областью движущегося изображения (этап S70 по ФИГ. 9). В частности, определяется, что блоки, содержащиеся в области 140, в которой области 121 и 131, показанные на ФИГ. 11, перекрывают друг друга, являются областью движущегося изображения. По сравнению с движущимися блоками на ФИГ. 6, движущиеся блоки (6,n-3) и (m-3,n-6) оказываются исключены, поскольку определяется, что блок (4,5) и т.П. являются областью движущегося изображения. Таким образом, в отношении смежных блоков может быть предотвращен отказ включения блоков.
[0067]
Центральный обрабатывающий блок 23 реализует процесс определения границ движущихся блоков (этап S9 по ФИГ. 3). В области 140, показанной на ФИГ. 11, блоки, каждый из которых включает в себя 32*32 пикселей, служат в качестве указанных границ области движущегося изображения. Посредством осуществления этапа S9 может быть получена граница 150, устанавливаемая на основе единичных пикселей, для области движущегося изображения, как показано на ФИГ. 13. Подробности этапа S9 будут описаны со ссылкой на ФИГ. 12.
[0068]
Центральный обрабатывающий блок 23 производит извлечение верхних блоков (этап S80 по ФИГ. 12). В частности, он производит извлечение в целом семи блоков, блоков с (4,2) по (4,8), показанных на ФИГ. 13. Центральный обрабатывающий блок 23 затем инициализирует число Р ряда осуществления процесса (этап S81) и производит извлечение всех пикселей в Р-ом ряду подвергаемых извлечению блоков и рассчитывает их репрезентативное значение (этап S83). В частности, он производит извлечение 32 пикселей 0-го ряда блока (4,2), 32 пикселей в 0-ом ряду блока (4,3) и т.П., то есть 7*32 пикселей, и рассчитывает репрезентативные значения этого ряда. В настоящем варианте реализации изобретения в качестве репрезентативного значения используют усредненное значение подвергаемых извлечению пикселей.
[0069]
Центральный обрабатывающий блок 23 затем производит извлечение всех пикселей в имеющем число Р+1 ряду осуществления процесса подвергаемых извлечению блоков и рассчитывает репрезентативное значение этого ряда (этап S85). В частности, центральный обрабатывающий блок 23 производит извлечение 32 пикселей в 1-ом ряду блока (4,2), 32 пикселей в 1-ом ряду блока (4,3) и т.п., то есть 7*32 пикселей, и рассчитывает репрезентативное значение этого ряда.
[0070]
Центральный обрабатывающий блок 23 затем производит оценивание того, есть ли разность между репрезентативным значением, рассчитанным на этапе S83, и репрезентативным значением, рассчитанным на этапе S85 (этап S87). Если на этапе S87 между ними есть разность, центральный обрабатывающий блок 23 оценивает этот ряд, включающий в себя пиксель (Р,0), как служащий в качестве границы (этап S93). Если на этапе S87 между ними разности нет, центральный обрабатывающий блок 23 осуществляет приращение числа Р ряда осуществления процесса (этап S89) и повторяет этапы S83 и последующие до тех пор, пока не будут достигнуты последние пиксели (в этом случае, 32 пикселей) в подвергаемых извлечению блоках (этап S91). Если на этапе S87 нет разности между репрезентативным значением вторых последних пикселей и репрезентативным значением последних пикселей, центральный обрабатывающий блок 23 оценивает, что концы подвергаемых извлечению блоков образуют границу (этап S95).
[0071]
Хотя со ссылкой на ФИГ. 12 описан случай, в котором границу, основанную на одиночных пикселях, подвергают извлечению из верхних блоков, то же самое применимо для нижних блоков.
[0072]
Как показано выше, посредством горизонтального извлечения пикселей в каждом ряду периферийных верхних и нижних блоков и выполнения сравнения между репрезентативными значениями каждого ряда и смежного ряда обеспечивается возможность получения границы, устанавливаемой на основе одиночных пикселей, в указанных блоках.
[0073]
Для левой или правой границы необходимо только производить вертикальное извлечение блоков пикселей в каждом столбце и выполнять сравнение между репрезентативными значениями каждого столбца и смежного столбца.
[0074]
Настоящее устройство может автоматически распознавать область движущегося изображения. Кроме того, это распознавание может быть осуществлено только в нескольких кадрах. Таким образом, даже в том случае, когда сама область движущегося изображения динамически перемещается на мониторе, настоящее устройство может распознавать область движущегося изображения почти в режиме реального времени.
[0075]
2. Второй вариант реализации изобретения
В вышеуказанном варианте реализации изобретения описан пример, в котором число областей, подлежащих распознаванию, составляет один. Во втором варианте реализации изобретения этап S7 по ФИГ. 3, то есть процесс определения области движущегося изображения, повторяют. Таким образом, может быть распознано даже множество областей с 201 по 207 движущегося изображения, как показано на ФИГ. 14.
[0076]
После выполнения этапа S7 по ФИГ. 3 определяют области с 301 по 304 движущегося изображения, как показано на ФИГ. 15. Оценивается, что область 207 не имеет ширины, превосходящей пороговое значение thw, и поэтому не распознается в качестве области движущегося изображения.
[0077]
В этом состоянии область 301 движущегося изображения включает в себя области недвижущегося изображения. Соответственно, центральный обрабатывающий блок 23 рассматривает каждую из областей с 301 по 304 в качестве собирательной области изображения и снова осуществляет распознавание областей движущегося изображения. Таким образом, в области 301, например, распознают область 311, установленную координатами (y1,x1) и (y3,x11) блока, и область 312, установленную координатами (y1,x12) и (y3,х13) блока. То же самое выполняют для других областей с 302 по 304.
[0078]
Аналогично центральный обрабатывающий блок 23 рассматривает область 311 в качестве собирательной области изображения и снова осуществляет распознавание областей движущегося изображения. Таким образом распознают область, установленную координатами (y1,x1) и (y11,x11) блока. То же самое выполняют для области 312.
[0079]
Такое повторяющееся распознавание может выполняться до тех пор, пока дальнейшее деление не станет невозможным, или частота верхнего предела повторяющегося распознавания может быть определена заранее.
[0080]
3. Третий вариант реализации изобретения
В первом и втором вариантах реализации изобретения осуществляют распознавание блоков; получают репрезентативные значения рядов единичных блоков, образующих четыре периферийные стороны распознанных блоков; и, если есть разность между репрезентативными значениями одного ряда и смежного ряда, оценивают, что ряд является границей. То же самое выполняют для столбцов. В альтернативном варианте реализации изобретения граница может быть распознана следующим образом. Альтернативный способ определения границ будет описан со ссылкой на ФИГ. 17.
[0081]
Центральный обрабатывающий блок 23 производит извлечение блоков, отличных от блоков, служащих в качестве концов верхних блоков (этап S100 по ФИГ. 17). В частности, центральный обрабатывающий блок 23 производит извлечение всех пяти блоков, блоков с (4,3) по (4,7), показанных на ФИГ. 13. Причиной того, почему производится исключение указанных концов, как раскрыто выше, заключается в том, что части блоков, служащих в качестве обоих концов, могут не иметь края. Следует отметить, что концевые блоки также могут использоваться.
[0082]
Центральный обрабатывающий блок 23 инициализирует число r ряда осуществления процесса и число g пикселя осуществления процесса (этапы S101, S102 по ФИГ. 17) и производит оценивание того, является ли g-ый пиксель подвергаемого извлечению блока ряда с числом "0" пикселем горизонтального ряда (край, проходящий в направлении рядов) (этап S103). Является ли g-ый пиксель пикселем горизонтального ряда может быть определено на основании разности яркости между g-ым пикселем и смежным пикселем. В настоящем варианте реализации изобретения применяется фильтр и формула, как показано на ФИГ. 18А.
[0083]
Если центральный обрабатывающий блок 23 оценивает, что g-ый пиксель является пикселем горизонтального ряда, он осуществляет приращение общего числа Et (этап S105 по ФИГ. 17). Центральный обрабатывающий блок 23 затем производит оценивание того, все ли пиксели в этой линии подвергнуты процессу определения (этап S107). Если нет, центральный обрабатывающий блок 23 осуществляет приращение числа g пикселя осуществления процесса (этап S109) и повторяет этапы с S103 по S107.
[0084]
После того, как центральный обрабатывающий блок 23 производит оценивание того, является ли каждый из всех пикселей в этой линии горизонтальным краем, он производит оценивание того, превосходит ли общее число Et горизонтальных краев в этой линии заранее определенное пороговое значение ths (этап S111). Это выполняют для исключения пикселей горизонтальных краев, служащих в качестве частей контура в области движущегося изображения. Если общее число Et горизонтальных краев превосходит пороговое значение ths, центральный обрабатывающий блок 23 определяет, что горизонтальные края образуют границу (этап 117). Таким образом, может быть получена граница, в которой совокупность горизонтальных краев превосходит пороговое значение ths.
[0085]
Пороговое значение ths может быть фиксированным пороговым значением или может быть рассчитано согласно заранее определенному отношению и размеру (числу блоков) распознанной области.
[0086]
Если на этапе S111 получено "НЕТ", центральный обрабатывающий блок 23 производит оценивание того, все ли ряды подвергнуты процессу определения (этап S113). Если этому были подвергнуты не все ряды, центральный обрабатывающий блок 23 осуществляет приращение числа r ряда осуществления процесса и повторяет этапы с S102 по S111.
[0087]
Таким образом может быть определена граница, устанавливаемая на основе одиночных пикселей. Аналогично в нижних блоках может быть определена граница, устанавливаемая на основе одиночных пикселей.
[0088]
Аналогично левую или правую границу определяют посредством распознавания вертикальных краев (краев, проходящих в направлении столбцов) в самых левых и самых правых единичных блоках с использованием фильтра и формулы, показанных на ФИГ. 18В.
[0089]
В настоящем варианте реализации изобретения границу определяют на основании общего числа вертикальных краев или горизонтальных краев. Таким образом, можно осуществлять распознавание даже области движущегося изображения на нечетком фоне. Кроме того, точность распознавания оказывается увеличена, а дрожание области движущегося изображения уменьшено.
[0090]
В настоящем варианте реализации изобретения пиксели во всех блоках, отличных от блоков, служащие в качестве концов блоков, полученных по ФИГ. 11, используют для получения границы. Еще в одном варианте реализации изобретения определение может быть выполнено с использованием некоторых из этих пикселей.
[0091]
В настоящем варианте реализации изобретения общее число краев в одной линии сравнивают с пороговым значением ths. Еще в одном варианте реализации изобретения заранее определенное число или большее количество непрерывно расположенных пикселей краев могут быть оценены как образующие границу. Поскольку естественное изображение включает в себя изображение краев, в некоторых случаях определенное число непрерывно расположенных краев, которое меньше заранее определенного числа, может быть исключено из расчета указанного общего числа.
[0092]
Настоящий вариант реализации изобретения применяют в случаях, при которых определяют прямоугольную область и затем получают границы, устанавливаемые на основе одиночных пикселей, в блоках, образующих периферии указанной прямоугольной области, однако при этом настоящий вариант реализации изобретения также применим к оцениванию движения в целом и другим областям. Граница, устанавливаемая на основе множества пикселей (например, на основе 2*2 пикселей), может быть получена вместо границы, устанавливаемой на основе одиночных пикселей.
[0093]
В настоящем варианте реализации изобретения пиксели краев подвергают извлечению для определения границы. Еще в одном варианте реализации изобретения посредством оценивания того, является ли каждый из пикселей в целевых блоках пикселем, имеющим вектор движения между разными кадрами, граница между пикселями, в которых вектор движения может быть распознан, и пиксели, в которых вектор движения не может быть распознан, могут быть оценены как являющимися границей.
[0094]
Следует отметить, что в отдельном кадре может быть только незначительная разность по яркости между областью движущегося изображения и фоном. Например, в кадре t, показанном на ФИГ. 19А, имеет место незначительная разность по яркости между границами фона и области движущегося изображения. Может отсутствовать возможность распознавания указанных границ с использованием только этого кадра. Именно по этой причине посредством последовательного сохранения указанных границ в каждом кадре, сохраненные границы могут быть использованы, если какая-либо граница не может быть распознана в одном кадре. В настоящем варианте реализации изобретения сохраняют дюжину или приблизительно дюжину кадров.
[0095]
В настоящем варианте реализации изобретения описан случай, в котором процесс распознавания блоков, каждый из которых включает в себя множество пикселей, (здесь и далее называемый грубым процессом) выполняют первым. Еще в одном варианте реализации изобретения прямоугольные границы могут быть определены без этого процесса.
[0096]
Настоящий вариант реализации изобретения может быть применен для устройства для определения прямоугольных границ статического изображения, а не для множества кадров.
[0097]
4. Четвертый вариант реализации изобретения
В вышеуказанных вариантах реализации изобретения оценку того, является ли область областью движущегося изображения, производят на основании пиксельной информации между кадрами. Однако если текстовые данные подвергаются прокручиванию в конкретной прямоугольной области, эти текстовые данные могут быть ошибочно оценены как область движущегося изображения. Именно по этой причине, как описано ниже, может быть выполнено оценивание на предмет прокручивания, и, если выполнено оценивание, что прокручиванию подвергают текстовые данные, определение границ может быть отменено.
[0098]
В данных горизонтально написанного текста имеется пространство между линиями символов. В частности, данные горизонтально написанного текста отличаются тем, что в области написанного символа каждой линии есть много пикселей краев, а между линиями символов пикселей краев нет. Соответственно, является ли область областью движущегося изображения может быть определено на основании того, имеет ли указанная область такие характеристики.
[0099]
Центральный обрабатывающий блок 23 инициализирует число Q целевого ряда и число соответствующих рядов k (этап S121 по ФИГ. 20) и рассчитывает общее число пикселей Enq краев в Q-ом ряду подвергаемого извлечению блока (этап S123). Является ли пиксель пикселем края, может быть определено на основании разности в яркости между указанным пикселем и смежным пикселем.
[0100]
Центральный обрабатывающий блок 23 производит оценивание того, превосходит ли общее число пикселей Enq краев пороговое значение thm и меньше ли общее число пикселей, En(q-1), краев в предшествующем ряду порогового значения thn (этап S125). Если на этапе S125 получают "ДА", центральный обрабатывающий блок 23 осуществляет приращение числа соответствующих рядов k (этап S127).
[0101]
Центральный обрабатывающий блок 23 производит оценивание того, выполнены ли оценивания в отношении всех рядов (этап S131). Если оценивания в отношении всех рядов не выполнены, центральный обрабатывающий блок 23 осуществляет приращение числа Q ряда осуществления процесса (этап S133) и повторяет этапы с S123 по S127.
[0102]
Если центральный обрабатывающий блок 23 оценивает на этапе S131, оценивания в отношении всех рядов выполнены, он производит оценивание того, превосходит ли число соответствующих рядов k а пороговое значение thg (этап S135). Если число соответствующих рядов k превосходит пороговое значение thg, центральный обрабатывающий блок 23 оценивает, что движение выполняют посредством прокручивания (этап S137).
[0103]
Оценивание на предмет прокручивания выполняют между этапами S7 и S9 по ФИГ. 3. Если центральный обрабатывающий блок 23 оценивает, что движение выполняется посредством прокручивания, этап S9 может быть отменен.
[0104]
Таким образом, если символьная область подвергается прокручиванию в браузере, обеспечивается возможность предотвращения определения области как области движущегося изображения.
[0105]
Оценивание на предмет прокручивания может быть выполнено в отношении некоторых рядов в указанной области, а не в отношении всех рядов в указанной области.
[0106]
В настоящем варианте реализации изобретения описан случай, в котором текстовые данные написаны горизонтально, однако также возможно выполнение определения в отношении данных вертикально написанного текста. Следует отметить, что оценивание на предмет прокручивания не обязательно должно быть выполнено упомянутым выше способом и может быть выполнено хорошо известными способами.
[0107]
В настоящем варианте реализации изобретения описано оценивание на предмет прокручивания в процессе определения области движущегося изображения, однако настоящий вариант реализации может быть применим к оцениванию на предмет прокручивания в целом.
[0108]
Кроме того, хотя конкретная область не подвергается прокручиванию, обеспечивается возможность оценивания того, является ли эта конкретная область текстовой областью. В этом случае указанная конкретная область не ограничена областью движущегося изображения, распознанной в процессе распознавания области движущегося изображения, и может быть конкретной областью в изображении, которое может быть статическим изображением или движущимся изображением.
[0109]
5. Другие варианты реализации изобретения
Хотя в вышеуказанных вариантах реализации изобретения значение яркости используется в качестве значения пикселя, может быть использовано RGB значение или тому подобное.
[0110]
В настоящем варианте реализации изобретения, является ли блок блоком, содержащимся в области движущегося изображения, оценивают на основании того, изменяется ли значение пикселя между t-ым и t+1-ым кадрами, на этапе S15 по ФИГ. 5. Однако указанные кадры не ограничены вышеупомянутыми кадрами, при условии что эти кадры представляют собой множество кадров, между которыми есть разность времени. Например, оценивание может быть выполнено на основании того, изменяется ли значение пикселя между t-ым и t+2-ым кадрами. Вместо использования между указанными двумя кадрами, может быть выполнено сравнение среди большего количества кадров, полученных посредством добавления кадров preceding и following the two кадрами, например 16 кадров.
[0111]
В настоящем варианте реализации изобретения этап S9 по ФИГ. 3, то есть процесс определения границ, не является обязательным. Если не нужно получение границы, устанавливаемой на основе пикселей, нет необходимости выполнения этого процесса. В процессе определения границы используют значения всех пикселей в одном ряду или одном столбце всех периферийных блоков. Еще в одном варианте реализации изобретения пиксели могут быть подвергнуты частичному прореживанию, или может быть использовано репрезентативное значение. Вместо всех периферийных блоков для осуществления оценивания могут быть использованы некоторые периферийные блоки.
[0112]
Как и на этапе S15 по ФИГ. 5, прошлое репрезентативное значение одного и того же положения может быть сохранено заранее и использовано для сравнения.
[0113]
В вышеуказанных вариантах реализации изобретения один блок включает в себя 32*32 пикселей, но не ограничен этим обстоятельством.
[0114]
Если значение любого пикселя (например, значение пикселя в верхнем левом углу данного блока) используют вместо среднего значения пикселя или значения хеш-функции, этап S9 по ФИГ. 3 может включать в себя размещение другого блока вокруг периферий области движущегося изображения и затем получение указанных границ. Например, если 7*5 блоков распознаны в качестве области движущегося изображения на этапе S7, этап S9 выполняют с использованием 9*7 блоков, полученных посредством добавления другого блока к указанным перифериям.
[0115]
Также возможно выполнение монитора или дополнительного внешнего преобразовательного устройства, включающего в себя любое из указанных устройств для определения прямоугольной области движущегося изображения согласно предложенным вариантам реализации. Такое дополнительное внешнее преобразовательное устройство может быть выполнено в виде коммутационного концентратора для переключения монитора назначения входных данных на другой монитор.
[0116]
В вышеуказанных вариантах реализации изобретения обеспечивается возможность распознавания прямоугольной области движущегося изображения с точностью до одного пикселя. Также возможно определение множества прямоугольных областей движущегося изображения. Кроме того, обеспечивается возможность устранения движения небольшой области, имеющей небольшую ширину. Например, обеспечивается возможность соответствующего учета квазидвижения указателя мыши или тому подобного. Поскольку такое движение может отличаться от движущихся областей и статических областей в изображении, то обеспечивается возможность оптимального управления.
[0117]
В вышеуказанных вариантах реализации изобретения оценивание того, является ли единичный блок движущимся единичным блоком, осуществляют следующим способом:
делят дисплейную область на единичные блоки, каждый из которых включает в себя предварительно определенное число пикселей;
репрезентативное значение пикселей каждого единичного блока рассчитывают на основании значений заранее определенного числа пикселей, содержащихся в единичном блоке;
репрезентативное значение каждого единичного блока сравнивают с репрезентативным значением того же самого единичного блока в сравнительном кадре;
если разность между репрезентативными значениями превосходит пороговое значение, оценивают, что единичный блок является движущимся единичным блоком, имеющим движение. Однако способ оценивания не ограничен указанным выше способом и может быть выполнен иным образом, при условии что этот способ обеспечивает возможность оценивания того, является ли каждый единичный блок движущимся единичным блоком, имеющим движение. Например, как раскрыто выше, может быть использован хорошо известный этап оценивания перемещения единичного блока, при котором выполняют сравнение среди сумм репрезентативных значений одного и того же блока в заранее определенном числе кадров.
[0118]
В вышеуказанных вариантах реализации изобретения функции, показанные на ФИГ. 1, реализуются посредством использования центрального обрабатывающего блока 23 и выполнения программного обеспечения. Еще в одном варианте реализации изобретения некоторые или все из указанных функций могут быть реализованы использованием аппаратных средств, таких как логическая схема. Кроме того, часть программы может быть выполнена операционной системой (OS).
ОПИСАНИЕ ЧИСЛОВЫХ ОБОЗНАЧЕНИЙ
[0119]
23 центральный обрабатывающий блок
25 оперативное запоминающее устройство
26 электрически перепрограммируемое постоянное запоминающее устройство
Изобретение относится к технологиям обработки изображений. Техническим результатом является повышение точности определения прямоугольной области движущегося изображения. Предложен способ определения прямоугольной области движущегося изображения, отображаемого в части дисплейной области, имеющей пиксели, расположенные в ней в направлении рядов и столбцов. Способ содержит этап оценивания движущегося единичного блока, на котором дисплейную область делят на единичные блоки, каждый из которых включает в себя предварительно определенное число пикселей, и оценивают, является ли каждый единичный блок движущимся единичным блоком, имеющим движение. Способ содержит этап определения движущегося блока столбца, на котором в качестве блока столбца устанавливают совокупность единичных блоков, содержащихся в столбце, включающую в себя один из самых верхних единичных блоков из указанных единичных блоков. Если один блок столбца включает в себя, по меньшей мере, один движущийся единичный блок, определяют указанный блок столбца в качестве движущегося блока столбца. 6 н. и 12 з.п. ф-лы, 23 ил.
1. Способ определения прямоугольной области движущегося изображения, отображаемого в части дисплейной области, имеющей пиксели, расположенные в ней в направлениях рядов и столбцов, включающий в себя:
этап оценивания движущегося единичного блока, на котором дисплейную область делят на единичные блоки, каждый из которых включает в себя предварительно определенное число пикселей, и оценивают, является ли каждый единичный блок движущимся единичным блоком, имеющим движение;
этап определения движущегося блока столбца, на котором в качестве блока столбца устанавливают совокупность единичных блоков, содержащихся в столбце, включающую в себя один из самых верхних единичных блоков из указанных единичных блоков, и, если один блок столбца включает в себя по меньшей мере один движущийся единичный блок, определяют указанный блок столбца в качестве движущегося блока столбца;
этап определения движущегося блока ряда, на котором в качестве блока ряда устанавливают совокупность единичных блоков, содержащихся в ряду, включающую в себя один из самых левых единичных блоков из указанных единичных блоков, и, если один блок ряда включает в себя по меньшей мере один движущийся единичный блок, определяют указанный блок ряда в качестве движущегося блока ряда;
этап первого определения прямоугольной области движущегося изображения, на котором в качестве прямоугольной области движущегося изображения определяют прямоугольную область, задаваемую единичными блоками, содержащимися как в движущемся блоке ряда, так и в движущемся блоке столбца; и
этап второго определения прямоугольной области движущегося изображения, на котором в качестве указанной прямоугольной области движущегося изображения определяют область, ограниченную краями в прямоугольной области движущегося изображения на основе пикселей в единичных блоках, образующих четыре периферийные стороны указанных единичных блоков, содержащихся в прямоугольной области движущегося изображения.
2. Способ по п. 1, в котором
этап второго определения прямоугольной области движущегося изображения включает определение ряда, имеющего отличающееся репрезентативное значение пикселей в единичных блоках, образующих указанные четыре периферийные стороны, в качестве границы, проходящей в направлении рядов, указанной прямоугольной области движущегося изображения, и
определение столбца, имеющего отличающееся репрезентативное значение пикселей в единичных блоках, образующих указанные четыре периферийные стороны, в качестве границы, проходящей в направлении столбцов, указанной прямоугольной области движущегося изображения.
3. Способ по п. 1, в котором
этап второго определения прямоугольной области движущегося изображения включает определение границ указанной прямоугольной области движущегося изображения посредством оценивания того, является ли каждый пиксель в единичных блоках, образующих указанные четыре периферийные стороны, изменяющимся пикселем, который изменяется между различными кадрами.
4. Способ по п. 1, в котором
этап второго определения прямоугольной области движущегося изображения включает извлечение пикселей, служащих в качестве краев, проходящих в направлении рядов, и пикселей, служащих в качестве краев, проходящих в направлении столбцов, из пикселей в единичных блоках, образующих указанные четыре периферийные стороны, и
определение границ указанной прямоугольной области движущегося изображения на основе общего числа пикселей, служащих в качестве краев, проходящих в направлении рядов, в каждом ряду, и общего числа пикселей, служащих в качестве краев, проходящих в направлении столбцов, в каждом столбце.
5. Способ по любому из пп. 1-4, в котором
перед этапом второго определения прямоугольной области движущегося изображения выполняют оценивание на предмет прокручивания, являющееся оцениванием, при котором оценивают, изменяется ли изображение в определенной прямоугольной области движущегося изображения между кадрами вследствие прокручивания, и,
если произведено оценивание, что изображение изменяется вследствие прокручивания, этап второго определения прямоугольной области движущегося изображения отменяют.
6. Способ по п. 5, в котором
оценивание на предмет прокручивания включает оценивание того, служит ли каждый из пикселей в определенной прямоугольной области движущегося изображения в качестве края, на основе разности в пиксельном значении между указанным пикселем и смежным пикселем,
признание, в качестве области существования промежутка символа, ряда или столбца, включающего в себя заранее определенное число или более пикселей, не служащих в качестве краев, и
оценивание того, что изображение изменяется вследствие прокручивания, на основе отношения области существования промежутка символа к определенной прямоугольной области движущегося изображения.
7. Способ по любому из пп. 1-4, в котором
перед этапом второго определения прямоугольной области движущегося изображения многократно выполняют этап определения движущегося блока столбца, этап определения движущегося блока ряда и этап первого определения прямоугольной области движущегося изображения на прямоугольной области движущегося изображения, определенной на этапе первого определения прямоугольной области движущегося изображения.
8. Устройство для определения прямоугольной области движущегося изображения, отображаемого в части дисплейной области, имеющей пиксели, расположенные в ней в направлениях рядов и столбцов, содержащее:
средства оценивания движущегося единичного блока, выполненные с возможностью деления дисплейной области на единичные блоки, каждый из которых включает в себя предварительно определенное число пикселей, оценивания того, является ли каждый единичный блок движущимся единичным блоком, имеющим движение;
средства определения движущегося блока столбца, выполненные с возможностью установления, в качестве блока столбца, совокупности единичных блоков, содержащихся в столбце, включающей в себя один из самых верхних единичных блоков из указанных единичных блоков, и, если один блок столбца включает в себя по меньшей мере один движущийся единичный блок, определения указанного блока столбца в качестве движущегося блока столбца;
средства определения движущегося блока ряда, выполненные с возможностью установления, в качестве блока ряда, совокупности единичных блоков, содержащихся в ряду, включающей в себя один из самых левых единичных блоков из указанных единичных блоков, и, если один блок ряда включает в себя по меньшей мере один движущийся единичный блок, определения указанного блока ряда в качестве движущегося блока ряда;
средства первого определения прямоугольной области движущегося изображения, выполненные с возможностью определения в качестве прямоугольной области движущегося изображения прямоугольной области, задаваемой единичными блоками, содержащимися как в движущемся блоке ряда, так и в движущемся блоке столбца; и
средства второго определения прямоугольной области движущегося изображения, выполненные с возможностью определения, в качестве указанной прямоугольной области движущегося изображения, области, ограниченной краями в указанной прямоугольной области движущегося изображения на основе пикселей в единичных блоках, образующих четыре периферийные стороны указанных единичных блоков, содержащихся в указанной прямоугольной области движущегося изображения.
9. Устройство по п. 8, в котором
средства второго определения прямоугольной области движущегося изображения определяют ряд, имеющий отличающееся репрезентативное значение пикселей в единичных блоках, образующих указанные четыре периферийные стороны, в качестве границы, проходящей в направлении рядов, указанной прямоугольной области движущегося изображения, и
определяют столбец, имеющий отличающееся репрезентативное значение пикселей в единичных блоках, образующих указанные четыре периферийные стороны, в качестве границы, проходящей в направлении столбцов, указанной прямоугольной области движущегося изображения.
10. Устройство по п. 8, в котором
средства второго определения прямоугольной области движущегося изображения определяют границы указанной прямоугольной области движущегося изображения посредством оценивания того, является ли каждый пиксель в единичных блоках, образующих указанные четыре периферийные стороны, изменяющимся пикселем, который изменяется между различными кадрами.
11. Устройство по п. 8, в котором
средства второго определения прямоугольной области движущегося изображения производят извлечение пикселей, служащих в качестве краев, проходящих в направлении рядов, и пикселей, служащих в качестве краев, проходящих в направлении столбцов, из пикселей в единичных блоках, образующих указанные четыре периферийные стороны, и определяют границы указанной прямоугольной области движущегося изображения на основе общего числа пикселей, служащих в качестве краев, проходящих в направлении рядов, в каждом ряду, и общего числа пикселей, служащих в качестве краев, проходящих в направлении столбцов, в каждом столбце.
12. Устройство по любому из пп. 8-11, также содержащее
средства повторения, выполненные с возможностью обусловливания многократного выполнения средствами определения движущегося блока столбца, средствами определения движущегося блока ряда и средствами первого определения прямоугольной области движущегося изображения процессов на прямоугольной области движущегося изображения, определенной средствами первого определения прямоугольной области движущегося изображения.
13. Монитор, содержащий устройство по любому из пп. 8-12.
14. Дополнительное внешнее преобразовательное устройство, содержащее устройство по любому из пп. 8-12.
15. Дополнительное внешнее преобразовательное устройство по п. 14, в котором
дополнительное внешнее преобразовательное устройство выполнено в виде коммутационного концентратора для переключения монитора назначения входных данных на другой монитор.
16. Машиночитаемый носитель, хранящий программу, обусловливающую выполнение вычислительной машиной процесса определения прямоугольной области движущегося изображения, отображаемого в части дисплейной области, имеющей пиксели, расположенные в ней в направлениях рядов и столбцов, при этом программа обуславливает работу вычислительной машины в качестве:
средств оценивания движущегося единичного блока, выполненных с возможностью деления дисплейной области на единичные блоки, каждый из которых включает в себя предварительно определенное число пикселей, оценивания того, является ли каждый единичный блок движущимся единичным блоком, имеющим движение;
средств определения движущегося блока столбца, выполненных с возможностью установления, в качестве блока столбца, совокупности единичных блоков, содержащихся в столбце, включающей в себя один из самых верхних единичных блоков из указанных единичных блоков, и, если один блок столбца включает в себя по меньшей мере один движущийся единичный блок, определения указанного блока столбца в качестве движущегося блока столбца;
средств определения движущегося блока ряда, выполненных с возможностью установления, в качестве блока ряда, совокупности единичных блоков, содержащихся в ряду, включающей в себя один из самых левых единичных блоков из указанных единичных блоков, и, если один блок ряда включает в себя по меньшей мере один движущийся единичный блок, определения указанного блока ряда в качестве движущегося блока ряда;
средств первого определения прямоугольной области движущегося изображения, выполненных с возможностью определения, в качестве прямоугольной области движущегося изображения, прямоугольной области, задаваемой единичными блоками, содержащимися как в движущемся блоке ряда, так и в движущемся блоке столбца; и
средств второго определения прямоугольной области движущегося изображения, выполненных с возможностью определения, в качестве указанной прямоугольной области движущегося изображения, области, ограниченной краями в указанной прямоугольной области движущегося изображения на основе пикселей в единичных блоках, образующих четыре периферийные стороны указанных единичных блоков, содержащихся в указанной прямоугольной области движущегося изображения.
17. Способ определения прямоугольной области движущегося изображения, отображаемого в части дисплейной области, имеющей пиксели, расположенные в ней в направлениях рядов и столбцов, включающий в себя:
этап оценивания движущегося единичного блока, на котором дисплейную область делят на единичные блоки, каждый из которых включает в себя предварительно определенное число пикселей, и оценивают, является ли каждый единичный блок движущимся единичным блоком, имеющим движение;
этап определения движущегося блока столбца, на котором в качестве блока столбца устанавливают совокупность единичных блоков, содержащихся в столбце, включающей в себя один из самых верхних единичных блоков из указанных единичных блоков, и, если один блок столбца включает в себя по меньшей мере один движущийся единичный блок, определяют указанный блок столбца в качестве движущегося блока столбца;
этап определения движущегося блока ряда, на котором в качестве блока ряда устанавливают совокупность единичных блоков, содержащихся в ряду, включающей в себя один из самых левых единичных блоков из указанных единичных блоков, и, если один блок ряда включает в себя по меньшей мере один движущийся единичный блок, определяют указанный блок ряда в качестве движущегося блока ряда; и
этап первого определения прямоугольной области движущегося изображения, на котором в качестве прямоугольной области движущегося изображения определяют прямоугольную область, задаваемую единичными блоками, содержащимися как в движущемся блоке ряда, так и в движущемся блоке столбца.
18. Способ по п. 17, в котором
этап первого определения прямоугольной области движущегося изображения также включающий многократное выполнение этапа определения движущегося блока столбца и этапа определения движущегося блока ряда на определенной прямоугольной области.
| JP 2009064199 A, 26.03.2009 | |||
| US 7024040 B1, 04.03.2006 | |||
| US 5715325 A, 03.02.1998 | |||
| Перекатываемый затвор для водоемов | 1922 |
|
SU2001A1 |
| Приспособление для суммирования отрезков прямых линий | 1923 |
|
SU2010A1 |
| СПОСОБ ДЕТЕКТИРОВАНИЯ ОБЪЕКТА | 2003 |
|
RU2315357C2 |
