Розробка системи вебскрапінгу для відстеження динаміки цін на товари та аналізу даних з використанням Spring

Abstract

UA : Робота викладена на 80 сторінках друкованого тексту, містить 13 рисунків, 3 таблиці, 26 джерел, 4 додатки. Об’єкт дослідження – процеси збору та аналітичного оброблення цінових даних на товари з інтернет-майданчиків для підтримки прийняття маркетингових та управлінських рішень. Мета роботи: розробити архітектуру та програмну реалізацію автоматизованої системи вебскрапінгу на основі Spring Framework для ефективного моніторингу, аналізу та візуалізації динаміки цін на товари. Методи дослідження – методи збору та аналізу вимог до програмного забезпечення, методи моделювання, проєктування, конструювання програмного забезпечення. У роботі представлено автоматизовану систему для збору та аналізу цінових даних з інтернет-майданчиків. Проведено огляд сучасних підходів і технологій вебскрапінгу, визначено переваги та недоліки різних методів отримання даних. У результаті експериментальної перевірки підтверджено ефективність системи: забезпечено стабільний збір даних із заданих джерел із точністю 99,8%, а автоматизація процесу дозволила скоротити час на моніторинг цін на 95% порівняно з ручним збором. Отримані результати можуть бути використані для розробки комерційних сервісів моніторингу цін, впровадження в бізнес-процеси електронної торгівлі та побудови систем підтримки прийняття рішень в області маркетингу.

EN : The work is presented on 80 pages of printed text, 13 figures, 3 tables, 26 references, 4 supplements. The object of the study is processes of collecting and analytically processing price data for goods from online platforms to support marketing and management decision-making. The aim of the study is develop the architecture and software implementation of an automated web scraping system based on the Spring Framework for effective monitoring, analysis, and visualization of commodity price dynamics. The methods of research are collecting and analyzing software requirements, methods of modeling, designing, and constructing software. The paper presents an automated system for collecting and analyzing price data from online platforms. A review of modern web scraping approaches and technologies is conducted, and the advantages and disadvantages of various data extraction methods are identified. As a result of experimental testing, the effectiveness of the system was confirmed: stable data collection from specified sources with an accuracy of 99.8% was ensured, and the automation of the process allowed to reduce the time for price monitoring by 95% compared to manual collection. The results obtained can be used to develop commercial price monitoring services, implement them in e-commerce business processes, and build decision support systems in the field of marketing.