ОТРИМАННЯ ДАНИХ З ВЕБСАЙТІВ НА ПРИКЛАДІ РОЗРОБКИ ПЛАГІНУ ДЛЯ ВЕБСКРАПІНГУ

Анотація

Пошук в Інтернет передбачає не лише ознайомлення з тією чи іншою інформацією з метою отримання нових знань, а й порівняння, аналіз та узагальнення даних, які знаходяться на різних вебсайтах та сторінках. Вирішенням цієї проблеми може бути монотонне ручне копіювання потрібної інформації у власні файли та форматування їх відповідно до потреб. Такий процес є неефективним, оскільки вимагає багато часу.
Вебскрайпінг – це автоматизований процес отримання великого обсягу даних із вебсайтів та перетворення їх в структуровані дані. Програми, які здійснюють такий процес, називаються вебскраперами і здатні отримувати потрібний вміст HTML, працювати з JavaScript, фільтрувати отримані дані та виводити їх у формі готових баз даних, таблиць Excel, файлів CSV або окремих API тощо.
Представлений варіант реалізації плагіну для вебскрапінгу для браузерів типу Chromium. Плагін складається з клієнтської та серверної частини. Клієнтська частина передбачає проєктування та створення графічної складової, а саме: спливаючого вікна плагіну та можливості візуального виділення елементів вебсторінки при наведенні на них курсора миші. Серверна частина плагіну виконує аналіз запитів, генерацію покликань та здійснює вибірку елементів.