Розробка Android застосунку розпізнавання емоцій за аудіо

Abstract

UA : Робота викладена на 42 сторінках друкованого тексту, містить 51 рисунок, 2 таблиці, 24 джерела, 2 додатки. Об’єкт дослідження – використання нейронних мереж в класифікації аудіо даних. Мета роботи: розробка застосунку для класифікації емоцій за вхідним потоком аудіо даних. Метод дослідження – методи моделювання, проєктування, конструювання та тестування програмного забезпечення, методи проєктування та моделювання нейронних мереж. У цій роботі досліджується тема використання нейронних мереж для класифікації аудіо даних та їх інтеграція у мобільних застосунках. Під час виконання роботи було проведено аналіз предметної області, обрано архітектуру та реалізовано відповідну нейронну мережу з можливістю подальшої інтеграції у мобільному додатку. У ході реалізації мобільного додатку було створено модулі для обробки вхідного потоку аудіо даних та виокремлення необхідних ознак. В результаті роботи отримано програмне забезпечення для класифікації емоції за аудіо даними. Нейронну мережу було реалізовано мовою програмування Python з використанням бібліотеки Keras у поєднанні з Tensorflow. Мобільний додаток реалізовано за допомогою нативних засобів Android та додаткових бібліотек.

EN : The work is presented on 42 pages of printed text, 51 figures, 2 tables, 24 references, 2 supplements. The object of the study is the use of neural networks in the classification of audio data. The aim of the study is the development of an application for classification of emotions based on the input stream of audio data. The methods of research are methods of modeling, designing, construction and testing of software, methods of designing and modeling neural networks. This work explores the topic of using neural networks for the classification of audio data and their integration into mobile applications. During the execution of the work, the subject area was analyzed, the architecture was chosen and the appropriate neural network was implemented with the possibility of further integration in the mobile application. During the implementation of the mobile application, modules were created for processing the incoming stream of audio data and extracting the necessary features. As a result of the work, software was obtained for the classification of emotion based on audio data. The neural network was implemented in the Python programming language using the Keras library in combination with Tensorflow. The mobile application is implemented using native Android tools and additional libraries.