Розробка парсера вебсторінок

Abstract

UA : Робота викладена на 53 сторінках друкованого тексту, містить 17 рисунків, 1 таблицю, 14 джерел, 3 додатки. Об’єкт дослідження: технології розробки парсерів вебсторінок. Мета роботи: дослідити технології розробки парсерів вебсторінок та використати їх на практиці, розробивши власний парсер. Метод дослідження: аналітичний, порівняльний, методи програмної інженерії. Актуальність розробки парсерів вебсторінок зростає з кожним днем. Це пов’язано з тим, що інтернет-ресурси стають все більш важливими джерелами інформації. Багато компаній, дослідницьких установ і приватних осіб залежать від автоматизованого збору інформації з вебсторінок. Парсери дозволяють автоматизувати процес збору даних з вебсторінок, що значно зменшує час та зусилля, необхідні для здійснення цієї роботи вручну. Крім того, вони можуть бути використані для збору даних з вебсторінок з різних джерел, що дозволяє отримати цінну інформацію для аналізу та прийняття рішень. Одним з основних застосувань парсерів збір даних для аналізу конкурентів, моніторингу цін на товари, відстеження новин та багато іншого. Також парсери можуть бути використані для створення власних баз даних, які можуть бути використані для подальшої обробки даних. В цій роботі буде оглянуто існуючі технології та продукти для парсингу, спроєктовано, реалізовано та розгорнуто власний парсер, що буде мати змогу збирати дані з будь-який вебсторінок певного типу.

EN : The work is presented on 53 pages of printed text, 17 figures, 1 table, 14 references, 3 supplements. The object of the study is technologies for developing web page parsers. The aim of the study is to investigate technologies for developing web page parsers and apply them in practice by developing a custom parser. The methods of research are analytical, comparative, software engineering methods. The relevance of developing web page parsers is growing every day. This is due to the fact that internet resources are becoming increasingly important sources of information. Many companies, research institutions, and individuals rely on automated data collection from web pages. Parsers allow the automation of the process of collecting data from web pages, which significantly reduces the time and effort required to perform this task manually. In addition, they can be used to collect data from web pages from various sources, which allows for valuable information for analysis and decision making. One of the main applications of parsers is data collection for competitor analysis, price monitoring, news tracking, and much more. Parsers can also be used to create proprietary databases that can be used for further data processing. In this work existing technologies and products for parsing will be reviewed, a custom parser that will be able to collect data from any web pages of a certain type will be designed, implemented and deployed.