Дослідженняпроблеми автоматизованого аналізу покупок з використанням методів DataScience

Abstract

UK : Метою дослідження є порівняльний аналіз та застосування методів галузі DataScience для комплексного аналізу товарів на основі їх характеристик,дослідження взаємозв’язків між параметрами товарів та їх впливу на ціноутворення. Досліджено ряд статистичних методів та алгоритмів машинного навчання для задач класифікації та регресії. Досліджено продуктивність набору бібліотек для попередньої обробки даних та парсингу веб-сторінок. Розроблено парсер та систему попередньої обробки даних, за допомогою яких зібрано та підготовано 3 набори даних для аналізу. Розроблено клієнт-серверний додаток з веб-інтерфейсом для аналізу та класифікації товарів на основі їх характеристик.

RU : Целью исследования есть сравнительный анализ и использование методов Data Science для комплексного анализа товаров на основе их характеристик,исследование взаимосвязей между параметрами товаров и их влияния на формирование цен. Исследовано ряд статистических методов и алгоритмов машинного обучения для задач классификациии регрессии. Исследовано производительность набора библиотек для предварительной обработки данных и парсинга веб-страниц. Разработано парсер и систему предварительной обработки данных с помощью которых собрано и подготовлено 3 набора данных для анализа. Разработано клиент-серверное приложение с веб-интерфейсом для анализа и классификации товаров на основе их характеристик.

EN : The goal of theresearch is comparative analysis and using the Data Science methods for the complex products analysis based on their parameters, research of products parameters dependencies and their influence on the price forming. A wide range of statistical methods and machine learning algorithms for classification and regression problems have been investigated as well as many data preprocessing tools and web-pages parsing libraries. Three datasets for further analysis have been collected and prepared by the developed web-parser and data preprocessing system. A client-server application with a web interface for goods analysing and classifying has been developed.