Система и способ определения наполнения конечностей краба мышечной тканью Российский патент 2023 года по МПК A22C29/02 G01N33/12 

Предлагаемое изобретение относится к рыбной промышленности, в частности к системам и способам определения наполнения конечностей краба мышечной тканью в технологических и научных целях.

В настоящее время существуют различные системы и способы определения наполнения конечностей мышечной тканью (НКМТ), визуальные, по планшет-картам, инструментальные, программно-компьютерные и другие.

Так известно «Устройство для фильтрации крабового мяса» по патенту Китая №CN208449952, содержащее блок управления на основе графического процессора, камеру мониторинга, фильтровальную карточку, панель выбора, лазерную указку, конвейерную ленту.

Данное устройство позволяет достаточно оперативно определять процент крабового мяса в конечности краба, но данные определения не достоверны и содержат достаточно большой процент ошибок.

Известен «Способ инструментального определения наполнения мышечной тканью конечностей промыслового краба» по патенту РФ №2316970, который выбран в качестве прототипа.

В данном способе предусмотрено получение поперечного среза конечности краба посредством разреза (распила) данной конечности на равном удалении от ее концов, дальнейшее измерение высоты и ширины полученных поперечных срезов мышечной ткани и панциря с точностью до мм, и последующее определение НКМТ по определенной формуле.

Данный способ достаточно трудоемкий, занимает 1.0-1.5 минуты, и недостаточно достоверен, так как при измерении присутствует человеческий фактор, и погрешность измерения достаточно высока.

Задачей предложенного изобретения является увеличение оперативности определения наполнения мышечной тканью конечностей промыслового краба, с одновременным уменьшением погрешности данного определения наполнения мышечной тканью конечностей краба за счет использования в системе и способе модуля предварительной обработки изображения поперечных срезов конечности краба, модуля детекции, выполненного на основе детектирующей нейронной сети, модуля сегментации, выполненного на основе сегментационной нейронной сети.

Техническим результатом изобретения является увеличение оперативности определения наполнения мышечной тканью конечностей (НМТК) промыслового краба, с одновременным уменьшением погрешности данного определения НМТК краба.

Поставленный технический результат достигается за счет того, что система определения наполнения конечностей краба мышечной тканью, по поперечному срезу (распилу) конечности краба на равном удалении от ее концов, содержащая средство для определения площади мышечной ткани и площади пространства пустот поперечного среза конечности краба, и вычислительный модуль для вычисления процента наполнения конечностей мышечной тканью (НКМТ) краба содержит модуль отображения информации, а средство для определения площади мышечной ткани и площади пространства пустот поперечного среза конечности краба содержит соединенные последовательно фото модуль, модуль предварительной обработки изображений поперечных срезов конечностей краба, модуль детекции, выполненный на основе детектирующей нейронной сети, модуль сегментации, выполненный на основе сегментационной нейронной сети, при этом фото модуль выполнен на основе цифровой фотокамеры, с возможностью получения изображений поперечных срезов конечностей краба, и передачи их в модуль предварительной обработки изображений поперечных срезов конечностей краба, а модуль детекции подключен выходом к входу вычислительного модуля, подключенного выходом к входу модуля отображения информации, который подключен к модулю детекции, при этом модуль детекции выполнен с возможностью неформализованной оценки кондиционности поперечных срезов конечностей крабов, а модуль сегментации выполнен с возможностью сегментации области среза каждого кондиционного среза конечности краба с выявлением на нем областей, принадлежащих мышечной ткани (мясу) и пустотам, и формированием двух битовых карт, одна из которых соответствует мясу, а другая пустотам области среза, по данным которых вычислительный модуль производит расчет процента наполнения конечности мышечной тканью (НКМТ) в поперечном срезе по следующей формуле:

где - множество точек, принадлежащих области мяса; - множество точек, принадлежащих области пустот.

В предпочтительном варианте выполнения системы модуль детекции выполнен с возможностью проведения неформализованной оценки кондиционности срезов конечностей крабов в отношении выявления неверного угла относительно плоскости съемки, неверного угла поперечного среза, наличия перекрытия поверхности среза, последующего присвоения каждому срезу конечности краба класса кондиционности, и передачи данных срезов на модуль отображения информации, а также на модуль сегментации.

Целесообразно, чтобы в системе модуль предварительной обработки изображений поперечных срезов конечностей краба был выполнен с возможностью преображения изображений поперечных срезов в тензоры, нормализации данных тензоров в интервале действительных чисел, масштабирования данных тензоров билинейной интерполяцией без потерь пропорций и передачи их в модуль детекции.

Поставленный технический результат достигается за счет того, что в способе определения наполнения конечностей краба мышечной тканью, предусматривающим получение поперечных срезов конечности краба посредством разреза меруса (большого членика) средней ходильной конечности краба на равном удалении от его концов, определение площади мышечной ткани и площади пространства пустот поперечного среза конечности краба, и вычисление по определенным данным процента наполнения конечности мышечной тканью (НКМТ) в вычислительном модуле, производят фотографирование полученных поперечных срезов посредством фото модуля, и передают полученные фото срезов в модуль предварительной обработки изображения, где фото полученных срезов преобразуют в тензоры, которые нормализуют в интервале действительных чисел, и масштабируют билинейной интерполяцией без потерь пропорций, после чего предобработанные тензоры проходят через модуль детекции, выполненный на основе однофазной детектирующей сверхточной нейронной сети, обученной для детекции поперечных срезов конечностей крабов и неформализованной оценки их кондиционности, затем результат прохода нейронной сети очищается от множественных распознаваний агностической вариацией алгоритма подавления немаксимумов, после чего получают координаты каждого среза конечности краба и соответствующий ему класс кондиционности, которые выводят на модуль отображения информации, затем для кондиционных срезов конечностей крабов вырезается из исходного изображения регион интереса, соответствующий координатам, и данные полученные изображения среза преобразуются в тензоры, которые нормализуют по среднему значению и стандартному отклонению и масштабируют билинейной интерполяцией без потерь пропорций, после чего предобработанные тензоры проходят через модуль сегментации, выполненный на основе сегментационной нейронной сети, обученной для сегментации областей срезов конечностей краба, принадлежащих мясу краба и пустотам, после чего получают две битовые карты сегментации, соответствующие мясу краба и пустотам для каждого среза конечности краба, которые выводят на модуль отображения информации, затем по полученным битовым картам сегментации определяют множество точек, принадлежащих области мышечной ткани (мяса) краба и области пустот каждого поперечного среза краба, после чего производят расчет в модуле вычисления процента наполнения конечности мышечной тканью (НКМТ) в срезе по следующей формуле:

где - - множество точек, принадлежащих области мяса; - множество точек, принадлежащих области пустот.

Предпочтительно, чтобы в способе неформализованную оценку кондиционности срезов конечностей крабов проводили в модуле детекции посредством выявления неверного угла относительно плоскости съемки, неверного угла среза, наличия перекрытия поверхности среза, после чего присваивали каждому срезу конечности краба класс кондиционности, и выводили полученные срезы с номерами класса кондиционности на экран модуля отображения информации.

Целесообразно, чтобы в способе тензоры проходили через однофазную детектирующую сверхточную нейронную сеть в соответствии с входным разрешением данной детектирующей нейронной сети.

Целесообразно, чтобы в способе тензоры проходили через сегментационную нейронную сеть в соответствии с входным разрешением данной сегментационной нейронной сети.

Желательно, чтобы в способе обучение сегментационной нейронной сети для сегментации областей срезов конечностей краба, принадлежащих мясу краба и пустотам, производили используя 3000 фотографий.

Предпочтительно, чтобы в способе проверяли точность определения наполнения области мышечной ткани (мяса) краба и области пустот каждого поперечного среза краба путем наложения пиксельной сетки.

Для более подробного раскрытия данного изобретения далее приводится описание конкретных возможных вариантов его выполнения, которые поясняются соответствующими чертежами.

Фиг. 1 - схема системы определения наполнения конечностей краба мышечной тканью.

Фиг. 2 - изображения поперечных срезов с номерами класса кондиционности на экране модуля отображения информации.

Фиг. 3 - изображения поперечных кондиционных срезов конечности краба с выявленными на них областями, принадлежащих мышечной ткани (мясу) и пустотами, а также значениями НКМТ на экране модуля отображения информации.

В предпочтительном варианте выполнения система определения наполнения конечностей краба мышечной тканью содержит средство для определения 1 площади мышечной ткани 2 и площади пространства пустот 3 поперечного среза 4 конечности краба, вычислительный модуль 5 и модуль отображения информации 10 (Фиг. 1, 2). При этом средство для определения 1 площади мышечной ткани 2 и площади пространства пустот 3 поперечного среза 4 содержит соединенные последовательно фото модуль 6, модуль предварительной обработки 7 изображений поперечных срезов 4 конечностей краба, модуль детекции 8, выполненный на основе детектирующей нейронной сети, и модуль сегментации 9, выполненный на основе сегментационной нейронной сети, а фото модуль 6 выполнен на основе цифровой фотокамеры, с возможностью получения изображений поперечных срезов 4 конечностей краба, и передачи их в модуль предварительной обработки 7 изображений поперечных срезов 4 конечностей краба, где данные изображения преобразуются в тензоры, которые нормализуются в интервале действительных чисел, масштабируются билинейной интерполяцией без потерь пропорций и передаются в модуль детекции 8.

Модуль детекции 8 производит неформализованную оценку кондиционности поперечных срезов 4 конечностей крабов в отношении выявления неверного угла относительно плоскости съемки (который не должен превышать 15%), неверного угла поперечного среза (который не должен превышать 10%), наличия перекрытия поверхности среза (одна конечность не должна перекрывать другую), и последующего присвоения каждому срезу конечности 4 краба класса кондиционности от 1 до 4, и передачи данных срезов на модуль отображения информации 10, а также на модуль сегментации 9 (Фиг. 1).

Модуль сегментации 9 производит сегментацию области среза каждого кондиционного среза 4 конечности краба с выявлением на нем областей, принадлежащих мышечной ткани (мясу) 2 и пустотам 3, и формированием двух битовых карт, одна из которых соответствует мясу 2, а другая пустотам 3 области среза 4 (Фиг. 3), по данным которых вычислительный модуль 5 производит расчет процента наполнения конечности мышечной тканью (НКМТ) в поперечном срезе 4 конечности краба, предпочтительно, по следующей формуле:

где - - множество точек, принадлежащих области мяса; - - множество точек, принадлежащих области пустот.

После чего вся данная информация с модуля сегментации 9 и вычислительного модуля 5 поступает на модуль отображения 10, где появляются сформированные битовые карты каждого среза 4 с процентами НКМТ для данного среза.

Способ определения наполнения конечностей краба мышечной тканью предусматривает получение поперечных срезов 4 конечности краба посредством разреза меруса (большого членика) средней ходильной конечности краба на равном удалении от его концов, определение площади мышечной ткани 2 и площади пространства пустот 3 поперечного среза 4 конечности краба, и вычисление по определенным данным процента наполнения конечности мышечной тканью (НКМТ) в вычислительном модуле 5.

При осуществлении данного способа сначала отделяют средние ходильные конечности меруса (большого членика) краба от его туловища, после чего производят поперечный срез 4 на каждой полученной конечности краба посредством распила или разреза данной конечности краба на равном удалении от ее концов, затем производят фотографирование полученных поперечных срезов 4 посредством фото модуля 6, и передают полученные фото срезов 4 в модуль предварительной обработки изображения 7, где фото полученных срезов 4 преобразуют в тензоры, которые нормализуют в интервале действительных чисел, и масштабируют билинейной интерполяцией без потерь пропорций, после чего предобработанные тензоры проходят через модуль детекции 8, выполненный на основе однофазной детектирующей сверхточной нейронной сети, обученной для детекции поперечных срезов конечностей крабов и неформализованной оценки их кондиционности, при этом тензоры проходят через однофазную детектирующую сверхточную нейронную сеть в соответствии с входным разрешением данной детектирующей нейронной сети.

Затем результат прохода нейронной сети очищается от множественных распознаваний агностической вариацией алгоритма подавления немаксимумов, после чего получают координаты каждого среза 4 конечности краба с соответствующим ему классом кондиционности от 1 до 4, которые выводят на модуль отображения информации 10 (Фиг. 2). Затем для кондиционных срезов конечностей крабов вырезается из исходного изображения регион интереса, соответствующий координатам, и данные полученные изображения среза 4 преобразуются в тензоры, которые нормализуют по среднему значению и стандартному отклонению и масштабируют билинейной интерполяцией без потерь пропорций, после чего предобработанные тензоры проходят через модуль сегментации 9, выполненный на основе сегментационной нейронной сети, обученной для сегментации областей срезов конечностей краба, принадлежащих мясу краба 2 и пустотам 3, при этом тензоры проходят через сегментационную нейронную сеть в соответствии с входным разрешением данной сегментационной нейронной сети. После чего получают две битовые карты сегментации, соответствующие мясу краба 2 и пустотам 3 для каждого среза 4 конечности краба (Фиг. 3), которые выводят на модуль отображения информации 10. Затем по полученным битовым картам сегментации определяют множество точек, принадлежащих области мышечной ткани (мяса) 2 краба и области пустот 3 каждого поперечного среза 4 краба, после чего производят расчет в модуле вычисления 5 процента наполнения конечности мышечной тканью (НКМТ) в срезе, предпочтительно, по следующей формуле:

где - - множество точек, принадлежащих области мяса; - - множество точек, принадлежащих области пустот.

После чего на модуль отображения информации 10 выводят сформированные изображения каждого среза 4 с изображением на них областей мяса 2 и пустот 3, а также значением НКМТ для данного среза (Фиг. 3).

При этом, обучение сегментационной нейронной сети для сегментации областей срезов конечностей краба, принадлежащих мясу краба и пустотам, производят используя 3000 фотографий.

После чего проверяют точность определения наполнения области мышечной ткани 2 (мяса) краба и области пустот 3 каждого поперечного среза 4 краба путем наложения пиксельной сетки.

Данная система и способ могут быть реализованы, в своей основе, на компьютере или на мобильном телефоне в виде специального приложения.

Таким образом, использование представленной выше системы и способа определения наполнения конечностей краба мышечной тканью позволили значительно уменьшить погрешность определения НМТК краба за счет исключения при измерениях НМТК человеческого фактора, измерениях «на глаз» оператора, и использования электронной обработки полученных фотографий поперечных срезов конечностей крабов.

Также представленные выше система и способ определения наполнения конечностей краба мышечной тканью позволили значительно сократить время определения НМКТ, которое составляет до 3 сек за цикл обработки полученного изображения среза, что значительно сокращает весь цикл обработки и получения НМКТ, и увеличивает оперативность способа, его быстродействие, по сравнению с прототипом, приведенным в патенте РФ №2316970, в несколько раз.

Как очевидно специалистам в данной области техники, данное изобретение легко разработать в других конкретных формах, не выходя при этом за рамки сущности данного изобретения.

При этом настоящие варианты осуществления необходимо считать просто иллюстративными, а не ограничивающими, причем объем изобретения представлен его формулой, и предполагается, что в нее включены все возможные изменения и область эквивалентности пунктам формулы данного изобретения.

Группа изобретений относится к рыбной промышленности, в частности к системе и способу определения наполнения конечностей краба мышечной тканью. Система содержит модуль вычисления, модуль отображения информации, средство для определения площади мышечной ткани и площади пустот, которое содержит соединенные последовательно фотомодуль, модуль предварительной обработки изображений, модуль детекции, выполненный на основе детектирующей нейронной сети, модуль сегментации, выполненный на основе сегментационной нейронной сети. Способ предусматривает получение поперечных срезов конечности краба посредством разреза средней ходильной конечности краба на равном удалении от его концов, фотографирование полученных поперечных срезов, предварительную их обработку, где фото полученных срезов преобразуют в тензоры, которые нормализуют в интервале действительных чисел, и масштабируют билинейной интерполяцией без потерь пропорций, после чего предобработанные тензоры проходят через модуль детекции и модуль сегментации, каждый из которых выполнен на основе нейронной сети. Группа изобретений позволяет увеличить оперативность определения наполнения мышечной тканью конечностей промыслового краба, с одновременным уменьшением погрешности данного определения. 2 н. и 7 з.п. ф-лы, 3 ил.

1. Система определения наполнения конечностей краба мышечной тканью по поперечному срезу конечности краба на равном удалении от ее концов, содержащая средство для определения площади мышечной ткани и площади пространства пустот поперечного среза конечности краба и вычислительный модуль для вычисления процента наполнения конечностей мышечной тканью (НКМТ) краба, отличающаяся тем, что содержит модуль отображения информации, а средство для определения площади мышечной ткани и площади пространства пустот поперечного среза конечности краба содержит соединенные последовательно фотомодуль, модуль предварительной обработки изображений поперечных срезов конечностей краба, модуль детекции, выполненный на основе детектирующей нейронной сети, модуль сегментации, выполненный на основе сегментационной нейронной сети, при этом фотомодуль выполнен на основе цифровой фотокамеры с возможностью получения изображений поперечных срезов конечностей краба и передачи их в модуль предварительной обработки изображений поперечных срезов конечностей краба, а модуль детекции подключен выходом к входу вычислительного модуля, подключенного выходом к входу модуля отображения информации, который подключен к модулю детекции, при этом модуль детекции выполнен с возможностью неформализованной оценки кондиционности поперечных срезов конечностей крабов, а модуль сегментации выполнен с возможностью сегментации области среза каждого кондиционного среза конечности краба с выявлением на нем областей, принадлежащих мышечной ткани и пустотам, и формированием двух битовых карт, одна из которых соответствует мясу, а другая пустотам области среза, по данным которых вычислительный модуль производит расчет процента наполнения конечности мышечной тканью (НКМТ) в поперечном срезе по следующей формуле:

где - множество точек, принадлежащих области мяса;

- множество точек, принадлежащих области пустот.

2. Система по п. 1, отличающаяся тем, что модуль детекции выполнен с возможностью проведения неформализованной оценки кондиционности срезов конечностей крабов в отношении выявления неверного угла относительно плоскости съемки, неверного угла поперечного среза, наличия перекрытия поверхности среза, последующего присвоения каждому срезу конечности краба класса кондиционности и передачи данных срезов на модуль отображения информации, а также на модуль сегментации.

3. Система по п. 1, отличающаяся тем, что модуль предварительной обработки изображений поперечных срезов конечностей краба выполнен с возможностью преображения изображений поперечных срезов в тензоры, нормализации данных тензоров в интервале действительных чисел, масштабирования данных тензоров билинейной интерполяцией без потерь пропорций и передачи их в модуль детекции.

4. Способ определения наполнения конечностей краба мышечной тканью, предусматривающий получение поперечных срезов конечности краба посредством разреза меруса средней ходильной конечности краба на равном удалении от его концов, определение площади мышечной ткани и площади пространства пустот полученного поперечного среза конечности краба и вычисление по определенным данным процента наполнения конечности мышечной тканью (НКМТ) в вычислительном модуле, отличающийся тем, что производят фотографирование полученных поперечных срезов посредством фотомодуля и передают полученные фото срезов в модуль предварительной обработки изображения, где фото полученных срезов преобразуют в тензоры, которые нормализуют в интервале действительных чисел и масштабируют билинейной интерполяцией без потерь пропорций, после чего предобработанные тензоры проходят через модуль детекции, выполненный на основе однофазной детектирующей сверхточной нейронной сети, обученной для детекции поперечных срезов конечностей крабов и неформализованной оценки их кондиционности, затем результат прохода нейронной сети очищается от множественных распознаваний агностической вариацией алгоритма подавления немаксимумов, после чего получают координаты каждого среза конечности краба и соответствующий ему класс кондиционности, которые выводят на модуль отображения информации, затем для кондиционных срезов конечностей крабов вырезается из исходного изображения регион интереса, соответствующий координатам, и данные полученные изображения среза преобразуются в тензоры, которые нормализуют по среднему значению и стандартному отклонению и масштабируют билинейной интерполяцией без потерь пропорций, после чего предобработанные тензоры проходят через модуль сегментации, выполненный на основе сегментационной нейронной сети, обученной для сегментации областей срезов конечностей краба, принадлежащих мясу краба и пустотам, после чего получают две битовые карты сегментации, соответствующие мясу краба и пустотам для каждого среза конечности краба, которые выводят на модуль отображения информации, затем по полученным битовым картам сегментации определяют множество точек, принадлежащих области мышечной ткани краба и области пустот каждого поперечного среза краба, после чего производят расчет в модуле вычисления процента наполнения конечности мышечной тканью (НКМТ) в срезе по следующей формуле:

где - множество точек, принадлежащих области мяса;

- множество точек, принадлежащих области пустот.

5. Способ по п. 4, отличающийся тем, что неформализованную оценку кондиционности срезов конечностей крабов проводят в модуле детекции посредством выявления неверного угла относительно плоскости съемки, неверного угла среза, наличия перекрытия поверхности среза, после чего присваивают каждому срезу конечности краба класс кондиционности и выводят полученные срезы с номерами класса кондиционности на экран модуля отображения информации.

6. Способ по п. 4, отличающийся тем, что тензоры проходят через однофазную детектирующую сверхточную нейронную сеть в соответствии с входным разрешением данной детектирующей нейронной сети.

7. Способ по п. 4, отличающийся тем, что тензоры проходят через сегментационную нейронную сеть в соответствии с входным разрешением данной сегментационной нейронной сети.

8. Способ по п. 4, отличающийся тем, что обучение сегментационной нейронной сети для сегментации областей срезов конечностей краба, принадлежащих мясу краба и пустотам, производят используя 3000 фотографий.

9. Способ по п. 4, отличающийся тем, что проверяют точность определения наполнения области мышечной ткани краба и области пустот каждого поперечного среза краба путем наложения пиксельной сетки.