sibmedСибирский научный медицинский журналСибирский научный медицинский журнал2410-25122410-2520ИЦиГ СО РАН10.18699/SSMJ20240111sibmed-1394Research ArticleСтатьиПрименение алгоритма компьютерного зрения для определения очагов демиелинизации при рассеянном склерозе на МРТ-изображенияхApplication of a computer vision algorithm to identify foci of demyelination in multiple sclerosis on MRI imageshttps://orcid.org/0000-0002-8931-9848ТучиновБ. Н.TuchinovB. N.

Тучинов Баир Николаевич 

630090, г. Новосибирск, ул. Пирогова, 1;630090, г. Новосибирск, ул. Институтская, 3а

Bair N. Tuchinov 

630090, Novosibirsk, Pirogova st., 1;630090, Novosibirsk, Institutskaya st., 3a

bairts@nsu.ruhttps://orcid.org/0009-0007-1128-8053СуворовВ.SuvorovV.

Суворов Виктор 

630090, г. Новосибирск, ул. Пирогова, 1;630090, г. Новосибирск, ул. Институтская, 3а

Victor Suvorov 

630090, Novosibirsk, Pirogova st., 1;630090, Novosibirsk, Institutskaya st., 3a

vic.suvorov@yahoo.comМоторинК. О.MotorinK. O.

Моторин Кирилл Олегович 

630090, г. Новосибирск, ул. Пирогова, 1

Kirill O. Motorin 

630090, Novosibirsk, Pirogova st., 1

k.motorin@g.nsu.ruhttps://orcid.org/0000-0001-6976-1885ПавловскийЕ. Н.PavlovskyE. N.

Павловский Евгений Николаевич, к.ф.-м.н.  

630090, г. Новосибирск, ул. Пирогова, 1;630090, г. Новосибирск, ул. Институтская, 3а

Evgeny N. Pavlovskiy, candidate of physical and mathematical sciences 

630090, Novosibirsk, Pirogova st., 1;630090, Novosibirsk, Institutskaya st., 3a

pavlovskiy@post.nsu.ruhttps://orcid.org/0000-0003-1838-8130ВасилькивЛ. М.VasilkivL. M.

Василькив Любовь Михайловна, к.м.н. 

630090, г. Новосибирск, ул. Пирогова, 1;630090, г. Новосибирск, ул. Институтская, 3а

Liubov M. Vasilkiv, candidate of medical sciences 

630090, Novosibirsk, Pirogova st., 1;630090, Novosibirsk, Institutskaya st., 3a

vasilkiv@tomo.nsc.ruhttps://orcid.org/0000-0002-7959-5160СтанкевичЮ. А.StankevichYu. A.

Станкевич Юлия Александровна, к.м.н. 

630090, г. Новосибирск, ул. Пирогова, 1;630090, г. Новосибирск, ул. Институтская, 3а

Yuliya A. Stankevich, candidate of medical sciences 

630090, Novosibirsk, Pirogova st., 1;630090, Novosibirsk, Institutskaya st., 3a

stankevich@tomo.nsc.ruhttps://orcid.org/0000-0002-1277-4113ТулуповА. А.TulupovA. A.

Тулупов Андрей Александрович, д.м.н., проф., чл.-корр. РАН 

630090, г. Новосибирск, ул. Пирогова, 1;630090, г. Новосибирск, ул. Институтская, 3а

Andrey A. Tulupov, doctor of medical sciences, professor, corresponding member of the RAS 

630090, Novosibirsk, Pirogova st., 1;630090, Novosibirsk, Institutskaya st., 3a

taa@tomo.nsc.ruНовосибирский государственный университет; Институт «Международный томографический центр» СО РАНРоссияNovosibirsk State University; International Tomography Center of SB RASRussian FederationНовосибирский государственный университетРоссияNovosibirsk State UniversityRussian Federation202407032024441107115Copyright © Тучинов Б.Н., Суворов В., Моторин К.О., Павловский Е.Н., Василькив Л.М., Станкевич Ю.А., Тулупов А.А., 20242024Тучинов Б.Н., Суворов В., Моторин К.О., Павловский Е.Н., Василькив Л.М., Станкевич Ю.А., Тулупов А.А.Tuchinov B.N., Suvorov V., Motorin K.O., Pavlovsky E.N., Vasilkiv L.M., Stankevich Y.A., Tulupov A.A.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://sibmed.elpub.ru/jour/article/view/1394

Исследование направлено на анализ современных алгоритмов для диагностики поражений при рассеянном склерозе на МРТ-изображениях. Рассеянный склероз, тяжелое заболевание центральной нервной системы, занимает первое место среди причин инвалидности у пациентов молодого трудоспособного возраста. В связи с развитием технологий компьютерного зрения и машинного обучения растет актуальность применения данных технологий для медицинской диагностики. Такие подходы необходимы для эффективной разработки и внедрения диагностических систем с использованием искусственного интеллекта. Материал и методы. В статье представлены особенности диагностики рассеянного склероза на МРТ-изображениях, существующие наборы данных: ISBI-2015, MSSEG-2016, MSSEG-2021; существующие алгоритмы и модели сегментации поражений: U-Net, nnU-Net, TransUnet, TransBTS, UNETR, Swin UNETR. Результаты и их обсуждение. Проведено обучение и сравнение архитектур и моделей nnU-Net, UNETR, Swin UNETR на ISBI-2015 c различными параметрами и функциями потерь, использованы четыре последовательности МРТ: Т2-взвешенное изображение, T2-FLAIR, PD, MPRAGE. Сегментация поражений одобрена тремя аттестованными опытными нейрорадиологами. Заключение. Описанные в статье подходы, включая процессы обработки данных, обучения моделей, анализ результатов, были сосредоточены на выборе и разработке высококачественных алгоритмов компьютерного зрения для определения поражений при рассеянном склерозе на МРТ-изображениях. Выявление и сегментация очагов демиелинизации является необходимым этапом для диагностики заболевания, а также для расчета и интерпретации более значимых показателей тяжести и прогрессирования заболевания.

The research was aimed at analyzing modern algorithms for diagnosing lesions in multiple sclerosis on MRI images. Multiple sclerosis is a severe disease of the central nervous system and ranks first among the causes of disability in patients of young working age. In connection with the development of computer vision and machine learning technologies, the relevance of using these technologies for medical diagnostics is growing. Such approaches are necessary for the effective development and implementation of diagnostic systems using artificial intelligence. Modern algorithms and models for lesion segmentation were selected and implemented. Material and methods. The paper presents CV features of diagnosing multiple sclerosis on MRI images, existing data sets: ISBI-2015, MSSEG-2016, MSSEG-2021; existing algorithms and models for lesion segmentation: U-Net, nnU-Net, TransUnet, TransBTS, UNETR, Swin UNETR. Results and discussion. The architectures and models of nnU-Net, UNETR, Swin UNETR were trained and compared at ISBI2015 with various parameters and loss functions. Four MRI sequences were used: T2-WI, T2-FLAIR, PD, MPRAGE. Lesion segmentation was approved by certified experienced neuroradiologists. Conclusions. The approaches described in the paper including data processing, model training, and results analysis, focused on the selection and development of high-quality computer vision algorithms for identifying multiple sclerosis lesions in MRI images. Identification and segmentation of demyelination foci is a necessary step for diagnosing the disease, as well as for calculating and interpreting more meaningful indicators of disease severity and progression.

рассеянный склерозкомпьютерное зрениедемиелинизациясегментация изображенийМРТмедицинская визуализацияmultiple sclerosiscomputer visiondemyelinationimage segmentationMRImedical imagingИсследование проведено в рамках проекта Российского научного фонда № 23-15-00377The research was supported by Russian Science Foundation № 23-15-00377ReferencesКротенкова И.А., Брюхов В.В., Коновалов Р.Н., Захарова М.Н., Кротенкова М.В. Магнитнорезонансная томография в дифференциальной диагностике рассеянного склероза и других демиелинизирующих заболеваний. Вестн. рентгенол. и радиол. 2019;100(4):229–236. doi: 10.20862/0042-4676-2019-100-4-229-236Krotenkova I.A., Bryukhov V.V., Konovalov R.N., Zakharova M.N., Krotenkova M.V. Magnetic resonance imaging in the differential diagnosis of multiple sclerosis and other demyelinating diseases. Vestnik rentgenologii i radiologii = Bulletin of Roentgenology and Radiology. 2019;100(4):229–236. [In Russian]. doi: 10.20862/0042-4676-2019-100-4-229-236Thompson A.J., Banwell B.L., Barkhof F., Carroll W.M., Coetzee T., Comi G., Correale J., Fazekas F., Filippi M., Freedman M.S., … Cohen J.A. Diagnosis of multiple sclerosis: 2017 revisions of the McDonald criteria. Lancet Neurol. 2018;17(2):162–173. doi: 10.1016/S1474-4422(17)30470-2Thompson A.J., Banwell B.L., Barkhof F., Carroll W.M., Coetzee T., Comi G., Correale J., Fazekas F., Filippi M., Freedman M.S., … Cohen J.A. Diagnosis of multiple sclerosis: 2017 revisions of the McDonald criteria. Lancet Neurol. 2018;17(2):162–173. doi: 10.1016/S1474-4422(17)30470-2Zeng C., Gu L., Liu Z., Zhao S. Review of deep learning approaches for the segmentation of multiple sclerosis lesions on brain MRI. Front. Neuroinform. 2020;14:610967. doi: 10.3389/fninf.2020.610967Zeng C., Gu L., Liu Z., Zhao S. Review of deep learning approaches for the segmentation of multiple sclerosis lesions on brain MRI. Front. Neuroinform. 2020;14:610967. doi: 10.3389/fninf.2020.610967Carass A., Roy S., Jog A., Cuzzocreo J.L., Magrath E., Gherman A., Button J., Nguyen J., Prados F., Sudre C.H., ... Pham D.L. Longitudinal multiple sclerosis lesion segmentation: resource and challenge. Neuroimage. 2017;148:77–102. doi: 10.1016/j.neuroimage.2016.12.064Carass A., Roy S., Jog A., Cuzzocreo J.L., Magrath E., Gherman A., Button J., Nguyen J., Prados F., Sudre C.H., ... Pham D.L. Longitudinal multiple sclerosis lesion segmentation: resource and challenge. Neuroimage. 2017;148:77–102. doi: 10.1016/j.neuroimage.2016.12.064Commowick O., Istace A., Kain M., Laurent B., Leray F., Simon M., Pop S.C., Girard P., Améli R., Ferré J.C., ... Barillot C. Objective evaluation of multiple sclerosis lesion segmentation using a data management and processing infrastructure. Sci. Rep. 2018;8(1):13650. doi: 10.1038/s41598-018-31911-7Commowick O., Istace A., Kain M., Laurent B., Leray F., Simon M., Pop S.C., Girard P., Améli R., Ferré J.C., ... Barillot C. Objective evaluation of multiple sclerosis lesion segmentation using a data management and processing infrastructure. Sci. Rep. 2018;8(1):13650. doi: 10.1038/s41598-018-31911-7Commowick O., Cervenansky F., Cotton F., Dojat M. MSSEG-2 challenge proceedings: Multiple sclerosis new lesions segmentation challenge using a data management and processing infrastructure. 24th International Conference on Medical Image Computing and Computer Assisted Intervention: proc. conf., Strasbourg, France, Sep 2021. P. 1–118.Commowick O., Cervenansky F., Cotton F., Dojat M. MSSEG-2 challenge proceedings: Multiple sclerosis new lesions segmentation challenge using a data management and processing infrastructure. 24th International Conference on Medical Image Computing and Computer Assisted Intervention: proc. conf., Strasbourg, France, Sep 2021. P. 1–118.Ronneberger O., Fischer P., Brox T. U-net: Convolutional networks for biomedical image segmentation. Medical Image Computing and Computer-Assisted Intervention – MICCAI 2015: proc. conf., Munich, Germany, October 5–9, 2015. Part III 18. Springer International Publishing, 2015. doi: 10.48550/arXiv.1505.04597Ronneberger O., Fischer P., Brox T. U-net: Convolutional networks for biomedical image segmentation. Medical Image Computing and Computer-Assisted Intervention – MICCAI 2015: proc. conf., Munich, Germany, October 5–9, 2015. Part III 18. Springer International Publishing, 2015. doi: 10.48550/arXiv.1505.04597Zhang H., Valcarcel A.M., Bakshi R., Chu R., Bagnato F., Shinohara R.T., Hett K., Oguz I. Multiple sclerosis lesion segmentation with tiramisu and 2.5D stacked slices. Med. Image Comput. Comput. Assist. Interv. 2019;11766:338–346. doi: 10.1007/978-3-030-32248-9_38Zhang H., Valcarcel A.M., Bakshi R., Chu R., Bagnato F., Shinohara R.T., Hett K., Oguz I. Multiple sclerosis lesion segmentation with tiramisu and 2.5D stacked slices. Med. Image Comput. Comput. Assist. Interv. 2019;11766:338–346. doi: 10.1007/978-3-030-32248-9_38Isensee F., Jaeger P.F., Kohl S.A., Petersen J., Maier-Hein K.H. nnU-Net: a self-configuring method for deep learning-based biomedical image segmentation. Nat. Methods. 2021;18(2):203–211. doi: 10.1038/s41592-020-01008-zIsensee F., Jaeger P.F., Kohl S.A., Petersen J., Maier-Hein K.H. nnU-Net: a self-configuring method for deep learning-based biomedical image segmentation. Nat. Methods. 2021;18(2):203–211. doi: 10.1038/s41592-020-01008-zDosovitskiy A., Beyer L., Kolesnikov A., Weissenborn D., Zhai X., Unterthiner T., Dehghani M., Minderer M., Heigold G., Gelly S., Uszkoreit J., Houlsby N. (2020). An image is worth 16×16 words: Transformers for image recognition at scale. arXiv preprint arXiv. 2010.11929.Dosovitskiy A., Beyer L., Kolesnikov A., Weissenborn D., Zhai X., Unterthiner T., Dehghani M., Minderer M., Heigold G., Gelly S., Uszkoreit J., Houlsby N. (2020). An image is worth 16×16 words: Transformers for image recognition at scale. arXiv preprint arXiv. 2010.11929.Hatamizadeh A., Tang Y., Nath V., Yang D., Myronenko A., Landman B., Roth H., Xu D. UNETR: Transformers for 3D medical image segmentation. In: Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision. 2022. P. 574–584Hatamizadeh A., Tang Y., Nath V., Yang D., Myronenko A., Landman B., Roth H., Xu D. UNETR: Transformers for 3D medical image segmentation. In: Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision. 2022. P. 574–584Hatamizadeh A., Nath V., Tang Y., Yang D., Roth H.R., Xu D. Swin UNETR: Swin transformers for semantic segmentation of brain tumors in MRI images. In: International MICCAI Brainlesion Workshop. Cham: Springer International Publishing, 2021. P. 272–284. doi: 10.48550/arXiv.2201.01266Hatamizadeh A., Nath V., Tang Y., Yang D., Roth H.R., Xu D. Swin UNETR: Swin transformers for semantic segmentation of brain tumors in MRI images. In: International MICCAI Brainlesion Workshop. Cham: Springer International Publishing, 2021. P. 272–284. doi: 10.48550/arXiv.2201.01266Lin T.Y., Goyal P., Girshick R., He K., Dollár P. Focal loss for dense object detection. In: Proceedings of the IEEE international conference on computer vision. 2017. P. 2980–2988. doi:10.1109/ICCV.2017.324Lin T.Y., Goyal P., Girshick R., He K., Dollár P. Focal loss for dense object detection. In: Proceedings of the IEEE international conference on computer vision. 2017. P. 2980–2988. doi:10.1109/ICCV.2017.324

The authors declare that there are no conflicts of interest present.