Эффективный алгоритм сегментации биомедицинских изображений

Сегментация биомедицинских изображений играет важную роль в количественном анализе, клинической диагностике и медицинских манипуляциях. Объекты на медицинских изображениях имеют различный масштаб, тип, сложный фон и схожий внешний вид тканей, что усложняет извлечение информации. Для решения данной проблемы предлагается модуль, учитывающий особенности изображений, что позволит усовершенствовать биомедицинскую сеть сегментации изображений FE-Net. Неотъемлемая часть алгоритма FE-Net – механизм пропуска соединений, обеспечивающий соединение и объединение карт признаков из различных слоев в кодере и декодере. Признаки на уровне кодера комбинируются с  высокоуровневыми семантическими знаниями на уровне декодера. Алгоритм устанавливает связи между картами признаков, что используется в медицине для обработки изображений. Предлагаемый метод протестирован на трех общедоступных наборах данных: Kvasir-SEG, CVC-ClinicDB и 2018 Data Science Bowl. По результатам исследования установлено, что FE-Net демонстрирует лучшую производительность по сравнению с другими методами по показателям Intersection over Union и F1-оценки. Рассматриваемая сеть эффективнее справляется с деталями сегментации и границами объектов, сохраняя при этом высокую точность. Исследование проведено совместно с отделением магнитно-резонансной томографии Национального онкологического центра имени Н. Н. Александрова. Доступ к исходному коду алгоритма и дополнительным техническим деталям размещен по ссылке https://github.com/tyjcbzd/FE-Net.

1. Li tjens G., Kooi T., Bejnordi B. E., Adiyoso Setio А. А., Ciompi F., Ghafoorian M., et al. (2017) A Survey on Deep Learning in Medical Image Analysis. Medical Image Analysis. 60–88.

2. Ronneberger O., Fischer P., Brox T. (2015) U-Net: Convolutional Networks for Biomedical Image Segmentation. Medical Image Computing and Computer-Assisted Intervention – MICCAI 2015, 18th International Conference . 234–241.

3. Zhou Z., Rahman Siddiquee M. M., Tajbakhsh N., Liang J. (2018) Unet++: A Nested U-Net Architecture for Medical Image Segmentation. In Deep Learning in Medical Image Analysis and Multimodal Learning for Clinical Decision Support, 4th International Workshop DLMIA 2018, and 8th International Workshop ML-CDS 2018 . 3–11.

4. Jha D., Smedsrud P. H., Riegler M. A., Johansen D. (2019) Resunet++: An Advanced Architecture for Medical Image Segmentation. In 2019 IEEE International Symposium on Multimedia . 225–255.

5. Long J., Shelhamer E., Darrell T. (2015) Fully Convolutional Networks for Semantic Segmentation. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 3431–3440.

6. Seo H., Huang C., Bassenne M., Xiao R., Xing L. (2019) Modified U-Net (mU-Net) with Incorporation of Object-Dependent High Level Features for Improved Liver and Liver-Tumor Segmentation in CT Images. IEEE Transactions on Medical Imaging . 39 (5), 1316–1325.

7. He K., Zhang X., Ren S., Sun J. (2016) Deep Residual Learning for Image Recognition. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 770–778.

8. Hu J., Shen L., Sun G. (2018) Squeeze-and-Excitation Networks. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition . 7132–7141.

9. Zhang Z., Liu Q., Wang Y. (2018) Road Extraction by Deep Residual U-Net. IEEE Geoscience and Remote Sensing Letters. 15 (5), 749–753.

10. Tomar N. K., Jha D., Riegler M. A., Johansen H. D., Johansen D., Rittscher J., et al. (2022) Fanet: A Feedback Attention Network for Improved Biomedical Image Segmentation. IEEE Transactions on Neural Networks and Learning Systems .

11. Yang C., Guo X., Zhu M., Ibragimov B., Yuan Y. (2021) Mutual-Prototype Adaptation for Cross-Domain Polyp Segmentation. IEEE Journal of Biomedical and Health Informatics . 25 (10), 3886–3897. DOI: 10.1109/JBHI.2021.3077271.

12. Chlap P., Min H., Vandenberg N., Dowling J., Holloway L., Haworth A. (2021) A Review of Medical Image Data Augmentation Techniques for Deep Learning Applications. Journal of Medical Imaging and Radiation Oncology . 65 (5), 545–563. DOI: 10.1111/1754-9485.13261.

13. Oktay O., Schlemper J., Folgoc L. L., Lee M., Heinrich M., Misawa K., et al. (2018) Attention U-Net: Learning Where to Look for the Pancreas. 1st Conference on Medical Imaging with Deep Learning (MIDL 2018), Amsterdam, the Netherlands.

14. Jha D., Riegler M. A., Johansen D., Halvorsen P., Johansen H. D. (2020) Doubleu-Net: A Deep Convolutional Neural Network for Medical Image Segmentation. In 2020 IEEE 33rd International Symposium on Computer-Based Medical Systems. 558–564.

15. Iqbal A., Sharif M., Khan M. A., Nisar W., Alhaisoni M. (2022) FF-UNet: A U-Shaped Deep Convolutional Neural Network for Multimodal Biomedical Image Segmentation. Cognitive Computation. 14 (4), 1287–1302.