Формализация требований к программно-информационным системам с применением методов обработки естественного языка

Аннотация

Извлечение и формализация требований из текстов технических заданий остаётся слабоавтоматизированным этапом жизненного цикла программно-информационных систем: значительная часть требований выражается естественным языком, а перевод их в проверяемую формальную форму выполняется вручную и зависит от квалификации аналитика. В работе построена авторская модель многоконтурного извлечения и формализации требований, объединяющая продукционные правила предметной области, статистическую сегментацию и дообученную языковую модель, с последующей проверкой результата по критериям качества требований ISO/IEC/IEEE 29148. Модель апробирована на модельном корпусе из 214 текстов технических заданий, содержащих 4 187 требований пяти типов. Взвешенная F1-мера извлечения составила 0,856 при полноте формализации 0,86 и доле недвусмысленных формализаций 0,88. Сопоставление четырёх подходов показало, что дообученный трансформер даёт наибольшую точность извлечения (F1 0,869), однако уступает гибридной модели по недвусмысленности формализации (0,77 против 0,88), из-за чего преимущество в точности не переходит в преимущество по проверяемости результата. Наибольшая доля ошибок приходится на пропуск неявных требований и некорректную сегментацию составных формулировок. Устойчивое насыщение качества наступает при объёме обучающего корпуса около 80%. Полученные соотношения показывают, что узкое место формализации смещается от точности распознавания к обеспечению недвусмысленности и проверяемости, из чего вытекает приоритет постобработки над наращиванием мощности распознающего компонента.