vestnovsuВестник Новгородского государственного университетаVestnik of Novgorod State University2076-8052Новгородский государственный университет имени Ярослава Мудрого10.34680/2076-8052.2023.5(134).647-657vestnovsu-257Research ArticleСтатьиОсобенности вычисления взаимно корреляционной функции при определении диспарантности в стереоскопической системе технического зренияFeatures of the calculation of the cross-correlation function in determining the disparity in a stereo vision systemhttps://orcid.org/0009-0003-1585-6792ГареевВ. М.GareevV. M.

Гареев Владимир Михайлович – кандидат технических наук, доцент, заведующий лабораторией «Техническое зрение»

Великий Новгород

Veliky Novgorod 

Vladimir.Gareev@novsu.ruhttps://orcid.org/0009-0007-1392-2169ГареевМ. В.GareevM. V.

Гареев Михаил Владимирович – ведущий инженер лаборатории «Техническое зрение»

Великий Новгород 

Veliky Novgorod 

Mikhail.Gareev@novsu.ruhttps://orcid.org/0009-0002-1728-3273КондратьеваС. И.Kondrat'evaS. I.

Кондратьева Светлана Ильинична – студент

Великий Новгород

Veliky Novgorod 

s249697@std.novsu.ruhttps://orcid.org/0009-0005-3177-2040КорнышевН. П.KornyshevN. P.

Корнышев Николай Петрович – доктор технических наук, доцент, профессор, инженер лаборатории «Техническое зрение»

Великий Новгород

Veliky Novgorod 

Nikolai.Kornishev@novsu.ruhttps://orcid.org/0009-0002-1579-618XРодионовД. И.RodionovD. I.

 Родионов Дмитрий Игоревич – студент

Великий Новгород

Veliky Novgorod 

s249699@std.novsu.ruhttps://orcid.org/0009-0000-5994-5090СеребряковД. А.SerebriakovD. A.

Серебряков Дмитрий Александрович – инженер лаборатории «Техническое зрение»

Великий Новгород 

Veliky Novgorod 

s231099@std.novsu.ruhttps://orcid.org/0000-0001-9252-2233КарачиновВ. А.KarachinovV. A.

Карачинов Владимир Александрович – доктор технических наук, профессор, ведущий научный сотрудник

Великий Новгород 

Veliky Novgorod 

Vladimir.Karachinov@novsu.ruНовгородский государственный университет имени Ярослава МудрогоРоссияYaroslav-the-Wise Novgorod State UniversityRussian Federation20230502202405(134)647657Copyright © Гареев В.М., Гареев М.В., Кондратьева С.И., Корнышев Н.П., Родионов Д.И., Серебряков Д.А., Карачинов В.А., 20242024Гареев В.М., Гареев М.В., Кондратьева С.И., Корнышев Н.П., Родионов Д.И., Серебряков Д.А., Карачинов В.А.Gareev V.M., Gareev M.V., Kondrat'eva S.I., Kornyshev N.P., Rodionov D.I., Serebriakov D.A., Karachinov V.A.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://vestnovsu.elpub.ru/jour/article/view/257

В настоящей статье рассмотрены методы вычисления взаимно корреляционной функции при определении диспарантности по изображениям стереопары, формируемым стереоскопической системой технического зрения. В процессе определения диспарантности необходимо найти точку на втором изображении стереопары по заданной точке первого изображения, что может быть сделано путем нахождения максимума взаимно корреляционной функции. Рассматривается возможность уменьшения объема вычислений во временной области при использовании непозиционной системы исчисления, называемой также системой остаточных классов. В результате моделирования на основе системы позиционного исчисления и системы остаточных классов с использованием сходных по форме функций, смещенных по оси Х относительно друг друга, а также при использовании реальных стереоизображений показано совпадение главных максимумов взаимно корреляционной функции при существенном уменьшении объема вычислений.

This article considers the methods of calculating the cross-correlation function in determining the disparity from the images of a stereo pair formed by a stereo vision system. When determining the disparity, it is necessary to find a point on the second image of the stereo pair at a given point of the first image, which can be done by finding the maximum of the cross-correlation function. The possibility of reducing the amount of calculations in the time domain when using a non-positional calculus system, also called a residue number system, is considered. As a result of modeling based on a system of positional calculus and a residue number system using similar-shaped functions shifted along the X axis relative to each other, as well as using real stereo images, the coincidence of the main maxima of the cross-correlation function is shown with a significant reduction in the amount of calculations. 

стереоскопическая система технического зрениявычисление взаимно корреляционной функциисистема остаточных классовstereo vision systemcalculation of the cross-correlation functionresidue number systemReferencesBaltsavias E. P. A Comparison between Photogrammetry and Laser Scanning // ISPRS Journal of Photogrammetry Remote Sensing. 1999. 54(2/3). 83-94. DOI: 10.1016/s0924-2716(99)00014-3Baltsavias E. P. A Comparison between Photogrammetry and Laser Scanning // ISPRS Journal of Photogrammetry Remote Sensing. 1999. 54(2/3). 83-94. DOI: 10.1016/s0924-2716(99)00014-3Rzonca A. Review of Methods of Combined Orientation of Photogrammetric and Laser Scanning Data // Measurement Automation Monitoring. 2018. 64(3). 57-62.Rzonca A. Review of Methods of Combined Orientation of Photogrammetric and Laser Scanning Data // Measurement Automation Monitoring. 2018. 64(3). 57-62.Rönnholm P., Haggrén H. Registration of Laser Scanning Point Clouds and Aerial Images Using Either Artificial or Natural Tie Features // ISPRS Annais of the Photogrammetry Remote Sensing and Spatial Information Sciences. 2012. 1-3(3). 63-68. DOI: 10.5194/isprsannals-I-3-63-2012Rönnholm P., Haggrén H. Registration of Laser Scanning Point Clouds and Aerial Images Using Either Artificial or Natural Tie Features // ISPRS Annais of the Photogrammetry Remote Sensing and Spatial Information Sciences. 2012. 1-3(3). 63-68. DOI: 10.5194/isprsannals-I-3-63-2012Parmehr E. G., Fraser C. S., Zhang C., Leach J. Automatic Registration of Optical Imagery with 3d Lidar Data Using Local Combined Mutual Information // ISPRS Annais of the Photogrammetry Remote Sensing and Spatial Information Sciences. 2013. Vol. II-5-W2. P. 229-234. DOI: 10.5194/isprsannals-II-5-W2-229-2013Parmehr E. G., Fraser C. S., Zhang C., Leach J. Automatic Registration of Optical Imagery with 3d Lidar Data Using Local Combined Mutual Information // ISPRS Annais of the Photogrammetry Remote Sensing and Spatial Information Sciences. 2013. Vol. II-5-W2. P. 229-234. DOI: 10.5194/isprsannals-II-5-W2-229-2013Mitishita E., Costa F., Centeno J. Lidar and Photogrammetric Datasets Integration Using Sub-Block of Images // ISPRS Annais of the Photogrammetry Remote Sensing and Spatial Information Sciences. 2020. 1. 101-107. DOI: 10.5194/isprs-annals-V-1-2020-101-2020Mitishita E., Costa F., Centeno J. Lidar and Photogrammetric Datasets Integration Using Sub-Block of Images // ISPRS Annais of the Photogrammetry Remote Sensing and Spatial Information Sciences. 2020. 1. 101-107. DOI: 10.5194/isprs-annals-V-1-2020-101-2020Habib A., Bang Ki-In, Kersting A. P. Impact of Lidar System Calibration on the Relative and Absolute Accuracy of Derived Point Cloud // The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences (ISPRS Archives). 2010. 38. 17532854. URL: https://www.asprs.org/wpcontent/uploads/2013/08/Kersting_1.pdf (Дата обращения: 05.10.2023).Habib A., Bang Ki-In, Kersting A. P. Impact of Lidar System Calibration on the Relative and Absolute Accuracy of Derived Point Cloud // The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences (ISPRS Archives). 2010. 38. 17532854. URL: https://www.asprs.org/wpcontent/uploads/2013/08/Kersting_1.pdf (Дата обращения: 05.10.2023).Li J., Yang B., Chen C., Habib A. NRLI-UAV: Non-Rigid Registration of Sequential Raw Laser Scans and Images for Low-Cost UAV LiDAR Point Cloud Quality Improvement // ISPRS Journal of Photogrammetry Remote Sensing. 2019. 158. 123-145. DOI: 10.1016/j.isprsjprs.2019.10.009Li J., Yang B., Chen C., Habib A. NRLI-UAV: Non-Rigid Registration of Sequential Raw Laser Scans and Images for Low-Cost UAV LiDAR Point Cloud Quality Improvement // ISPRS Journal of Photogrammetry Remote Sensing. 2019. 158. 123-145. DOI: 10.1016/j.isprsjprs.2019.10.009Zhang J., Singh S. Low-Drift and Real-Time Lidar Odometry and Mapping // Autonomous Robots. 2017. 41(2). 401-416. DOI: 10.1007/s10514-016-9548-2Zhang J., Singh S. Low-Drift and Real-Time Lidar Odometry and Mapping // Autonomous Robots. 2017. 41(2). 401-416. DOI: 10.1007/s10514-016-9548-2Valbuena R., Mauro F., Arjonilla F. J., Manzanera J. A. Comparing Airborne Laser Scanning-Imagery Fusion Methods Based on Geometric Accuracy in Forested Areas // Remote Sensing of Environment. 2011. 115. 1942-1954. DOI: 10.1016/j.rse.2011.03.017Valbuena R., Mauro F., Arjonilla F. J., Manzanera J. A. Comparing Airborne Laser Scanning-Imagery Fusion Methods Based on Geometric Accuracy in Forested Areas // Remote Sensing of Environment. 2011. 115. 1942-1954. DOI: 10.1016/j.rse.2011.03.017Fragkos P., Ioannidis C. Assessment of Lidargrammetry for Spatial Data Extraction // Proceedings of the Fourth International Conference on Remote Sensing and Geoinformation of Environment, Paphos, Cyprus, 4–8 April 2016. Paphos, Cyprus, 2016. Vol. 9688. P. 96881L-1. DOI: 10.1117/12.2240653Fragkos P., Ioannidis C. Assessment of Lidargrammetry for Spatial Data Extraction // Proceedings of the Fourth International Conference on Remote Sensing and Geoinformation of Environment, Paphos, Cyprus, 4–8 April 2016. Paphos, Cyprus, 2016. Vol. 9688. P. 96881L-1. DOI: 10.1117/12.2240653Teo T.-A., Shih T.-Y., Lin Y.-T., Huang C.-M. The Generation of Inferred Stereo Images from Lidar Data // Proceedings of the 31st Asian Conference on Remote Sensing 2010 ACRS, Hanoi, Vietnam, 1–5 November 2010: in 2 vols. Hanoi, Vietnam, 2010. Vol. 1. P. 459-464.Teo T.-A., Shih T.-Y., Lin Y.-T., Huang C.-M. The Generation of Inferred Stereo Images from Lidar Data // Proceedings of the 31st Asian Conference on Remote Sensing 2010 ACRS, Hanoi, Vietnam, 1–5 November 2010: in 2 vols. Hanoi, Vietnam, 2010. Vol. 1. P. 459-464.Козлов В. Л., Кузьмичев И. Р. Измеритель дальности и размерных параметров объектов на основе цифровой фотокамеры // Вестник Белорусского государственного университета. Серия 1. Физика. Математика. Информатика. 2011. 1. 33-38.Kozlov V. L., Kuz'michev I. R. Izmeritel' dal'nosti i razmernykh parametrov ob"ektov na osnove tsifrovoi fotokamery [Equipment for distance and size measurements of different objects based on analysis of the digital photographic images] // Vestnik Belorusskogo gosudarstvennogo universiteta. Seriia 1. Fizika. Matematika. Informatika, 2011. 1. 33-38.Волкова М. А., Луцив В. Р. Методы обработки и распознавания изображений: учебно-методическое пособие по лабораторному практикуму. Санкт-Петербург: Университет ИТМО, 2016. 40 с. URL: https://books.ifmo.ru/file/pdf/1979.pdf (Дата обращения: 05.10.2023).Volkova M. A., Lutsiv V. R. Metody obrabotki i raspoznavaniia izobrazhenii [Methods for image processing and recognition]. Saint Petersburg, ITMO University Publ., 2016. 40 p. Available at: https://books.ifmo.ru/file/pdf/1979.pdf (Accessed: 05.10.2023).Исупов К. С. Высокопроизводительные вычисления с использованием системы остаточных классов // Программные системы: теория и приложения. 2021. 12(2). 137-192. DOI: 10.25209/2079-3316-2021-12-2-137-192Isupov K. S. Vysokoproizvoditel'nye vychisleniia s ispol'zovaniem sistemy ostatochnykh klassov [An overview of high-performance computing using the residue number system] // Program Systems: Theory and Applications. 2021. 12(2). 137-192. DOI: 10.25209/2079-3316-2021-12-2-137-192Кукушкин С. С. Конечные поля и информатика: в 2-х т. Т.1: Методы и алгоритмы, классические и нетрадиционные, основанные на использовании конструктивной теоремы об остатках. Москва: МО России, 2003. 281 с.Kukushkin S. S. Konechnye polia i informatika [Finite fields and information science]. In 2 vols. Vol. 1. Metody i algoritmy, klassicheskie i netraditsionnye, osnovannye na ispol'zovanii konstruktivnoi teoremy ob ostatkakh [Classic and nontraditional methods and techniques based on the remainder theorem]. Moscow, MO Rossii Publ., 2003. 281 p.Гонсалес Р., Вудс Р., Эддинс С. Цифровая обработка изображений в среде MATLAB / перевод с английского В. В. Чепыжова. Москва: Техносфера, 2006. 615 с.+ 1 CD-ROM.Gonzalez R., Woods R., Eddins S. Digital image processing using MATLAB. Pearson Prentice Hall, Upper Saddle River, 2004. 620 p. (Russ. ed.: Gonsales R., Vuds R., Eddins S. Tsifrovaia obrabotka izobrazhenii v srede MATLAB. Moscow, Tekhnosfera Publ., 2006. 615 p.)Прэтт У. Цифровая обработка изображений: в 2-х кн. Кн. 2 / перевод с английского, под редакцией Д. С. Лебедева. Москва: Мир, 1982. 480 с.Pratt W. K. Digital Image Processing. Wiley-Interscience, New York, 1978. 720 p. (Russ. ed.: Prett U. Tsifrovaia obrabotka izobrazhenii. V 2-kh kn. Kn. 2. Moscow, Mir Publ., 1982. 480 p.)

The authors declare that there are no conflicts of interest present.