Development and testing of a software solution for automatic classification of building materials based on algorithms for fuzzy comparison of text strings
How to cite
Abstract
The article analyzes the processes of automatic comparison of textual designations of building materials with the official classifier of building resources (DAC). The structure, advantages and disadvantages, as well as prospects for the integration of DAC are considered. The author analyzes algorithms for fuzzy string matching in order to design a multi-level dictionary of synonyms using the method of comparing text strings, which makes it possible to identify their proximity in the presence of typos, spelling variations or word permutations. The purpose of this study is to develop and test a software solution based on fuzzy string comparison methods for automatic classification of commercial names of materials by DAC.
Keywords
References
Бондаренко П.И. Лемматизация русского языка: теория и практика: моногр. СПб.: Наука, 2019. 312 с.
Васильева И.Н., Морозова Т.С. Применение TF-IDF для предобработки текстовых данных // Прикладная информатика. 2020. Т. 12. № 4. С. 33-41.
Гусев А.Ю., Лобова Е.В. Анализ алгоритмов обработки естественного языка // Вестник Новосибирского государственного университета. 2020. № 5. С. 45-56.
Иванов С.А. Машинное обучение: алгоритмы и применения: уч. пос. М.: БХВ-Петербург, 2022. 480 с.
Кадышева О.В. Особенности лемматизации в русском NLP // ML и Data Science в России. 2023. Вып. 12. С. 56–63
Классификатор строительных ресурсов // ФГИС ЦС Минстроя России. https://fgiscs.minstroyrf.ru/ksr/
Кузнецов М.А. Метрика Джаро-Винклера в задачах информационного поиска // Информационные технологии и вычислительные системы. 2021. Т. 19. № 1. С. 10–19.
Литвинова Е.А. Теория и практика систематизации данных в строительстве // Строительные технологии. 2022. № 8. С. 25-34.
Маслова Т.В., Сергеева Л.В. Токенизация текстовых данных: методы и инструменты // Информационные технологии. 2020. № 5. С. 12–20.
Сидоров Д.П. Расстояние Левенштейна и его приложения // Математические методы анализа данных. 2018. Т. 3. № 2. С. 78-89.
Ушакова Н.В. Методы нечеткого поиска в информационных системах: моногр. М.: Вершина, 2021. 256 с.
Bezdek J.C. Pattern recognition with fuzzy objective function algorithms: monograph. NY: Plenum Press, 1981. 246 p.
Bray T., Paoli J., Sperberg-McQueen C.M. JSON Data Interchange format: RFC 8259 // IETF. 2017.
Devlin J., Chang M. W., Lее K., Toutanova K. BERT: Pre-training of deep bidirectional transformers for language understanding // Proceedings of the 2019 сonf. of the North American сhapter of the Association for Computational Linguistics: Human language Technologies (NAACL-HLT’19). Minneapolis, 2019. рр. 4171-4186.
Fielding R.-T. Architectural styles and the design of network-based software architectures: Ph.D. diss. Irvine: University of California, 2000.
Lemanapro // lemanapro.ru. 2025.
Mikolov T., Chen K., Corrado G., Dean J. Efficient estimation of word representations in vector space // arXiv:1301.3781. 2013.
Pennington J., Socher R., Manning C.D. GloVe: Global vectors for word representation // Proceedings of the 2014 сonf. on empirical methods in natural language processing (EMNLP’14). Doha, 2014. рр. 1532-1543.
Petrovich // petrovich.ru. 2025.
pymorphy2. Документация // pymorphy2.readthedocs.io. 2025. https://pymorphy2.readthedocs.io/
RapidFuzz. Документация // maxbachmann.github.io. 2025. https://maxbachmann.github.io/RapidFuzz/
Weiss D.J., Sahin A. Computerized adaptive testing: from concept to implementation. NY: Guilford Press, 2024. 360 p.
Winkler W.E. String comparator metrics and enhanced decision rules in the Fellegi-Sunter model of record linkage // Proceedings of the Section on survey research methods. Alexandria, 1990. pp. 354-359.
Winkler W.E. String comparator metrics and enhanced decision rules in the Fellegi-Sunter model of record linkage // Proceedings of the Section on survey research methods. Alexandria, 1990. pp. 354-359.
YAML 1.2 Specification // yaml.org. 2025. https://yaml.org/spec/1.2/
Zhang P.A., Huang F., Zhou Y. Hybrid tokenization for cross-language fuzzy matching // ACM Transactions on information systems. 2021. Vol. 39. № 4. Article 44.