Розробка вебзастосунку для автоматичного аналізу емоцій у голосі методами машинного навчання

Abstract

UA : Робота викладена на 64 сторінках друкованого тексту, містить 11 рисунків, 5 таблиць, 24 джерела, 1 додаток. Об’єкт дослідження – процес автоматичного аналізу та розпізнавання емоційного стану людини за акустичними характеристиками її голосу з використанням методів машинного навчання. Мета роботи: розробка та реалізація функціональності вебзастосунку для здійснення автоматичного аналізу емоцій у голосі на основі попередньо навченої моделі машинного навчання. Методи дослідження – теоретичний аналіз науково-технічної літератури, методи обробки цифрових аудіосигналів, методи машинного навчання, методи проєктування та розробки програмного забезпечення, включаючи клієнт-серверну архітектуру (REST API). У роботі показано можливість розпізнавання емоцій у голосі за допомогою згорткових нейронних мереж. Для цього було застосовано стек технологій Python, FastAPI, PyTorch для розробки моделі та серверної частини, а HTML, CSS, JavaScript, Bootstrap – для клієнтської. У роботі розроблено архітектуру вебзастосунку з REST API та реалізовано систему з функціональністю аналізу аудіо різної тривалості, візуалізації спектрограм, динаміки емоцій та історії аналізів.

EN : The work is presented on 64 pages of printed text, 11 figures, 5 tables, 24 references, 1 supplement. The object of the study is process of automatic analysis and recognition of a person’s emotional state by the acoustic characteristics of their voice using machine learning methods, and the development of corresponding software in the form of a web application. The aim of the study is development and implementation of a functional web application for performing automatic analysis of emotions in voice based on a pretrained machine learning mode. The method of research are theoretical analysis of scientific and technical literature, methods of digital audio signal processing, machine learning methods, software design and development methods, including client-server architecture (REST API). The thesis demonstrates the capability of recognizing emotions in voice using convolutional neural networks. For this purpose, a technology stack including Python, FastAPI, and PyTorch was applied for model and backend development, while HTML, CSS, JavaScript, and Bootstrap were used for the client-side. The work involved developing a web application architecture with a REST API and implementing a system with functionality for analyzing audio of varying durations, visualizing spectrograms, emotion dynamics, and analysis history.