Реалізація реконструкції тривимірної моделі обличчя на основі відеозапису

Abstract

UA : Робота викладена на 101 сторінках друкованого тексту, містить 26 рисунків, 4 таблиці, 22 джерела, 3 додатки. Об’єкт дослідження – процес реконструкції тривимірної моделі обличчя людини на основі відеоданих в умовах неконтрольованого середовища. Предмет дослідження - методи та програмні засоби детекції обличчя, фільтрації кадрів і реконструкції тривимірної геометрії обличчя з використанням нейромережевих моделей. Мета роботи: розробка програмного пайплайну для автоматичної реконструкції тривимірної моделі обличчя на основі відеозапису та оцінка придатності отриманих моделей для задач біометричної автентифікації. Методи дослідження – методи комп’ютерного зору, згорткові нейронні мережі, параметричні морфовані моделі, методи статистичного аналізу, методи оцінювання подібності тривимірних моделей, ROC-аналіз, методи обробки та фільтрації зображень. У роботі розроблено систему реконструкції тривимірної моделі обличчя на основі відеозапису з використанням нейронної мережі MICA та параметричної моделі FLAME. Реалізований пайплайн включає комбіновану фільтрацію кадрів, детекцію обличчя, відсів кадрів з нахилом голови понад допустимий поріг, пакетну нейромережеву реконструкцію та медіанне злиття параметрів форми. Проведено кількісне оцінювання із застосуванням ROC-аналізу.

EN : The work is presented on 101 pages of printed text, 26 figures, 4 tables, 22 references, 3 annexes. Object of the study – the process of reconstructing a three-dimensional human face model from video data in uncontrolled environmental conditions. Subject of the study – methods and software tools for face detection, frame filtering, and three-dimensional facial geometry reconstruction using neural network models. Aim of the study: to develop a software pipeline for automatic three-dimensional face model reconstruction from video recordings and to evaluate the suitability of the resulting models for biometric authentication tasks. Methods of research – computer vision methods, convolutional neural networks, parametric morphable models, statistical analysis methods, three-dimensional model similarity assessment methods, ROC analysis, image processing and filtering methods. The thesis presents a system for three-dimensional face model reconstruction from video recordings using the MICA neural network and the FLAME parametric model. The implemented pipeline incorporates combined frame filtering, face detection, rejection of frames with head rotation exceeding a defined threshold, batch neural network reconstruction, and median merging of shape parameters. Quantitative evaluation was performed using ROC analysis.