Research output: Contribution to journal › Article › peer-review
ТЕХНОЛОГИИ ПАРСИНГА NODE.JS В ЗАДАЧЕ АГРЕГАЦИИ СВЕДЕНИЙ И ОЦЕНКИ ПАРАМЕТРОВ ГРУЗОВЫХ МАРШРУТОВ ПОСРЕДСТВОМ ИЗВЛЕЧЕНИЯ ДАННЫХ ИЗ ОТКРЫТЫХ ИСТОЧНИКОВ. / Бушмелев, Федор Витальевич; Корепанова, Анастасия Андреевна; Сабреков, Артём Азатович.
In: КОМПЬЮТЕРНЫЕ ИНСТРУМЕНТЫ В ОБРАЗОВАНИИ, No. 3, 2287, 2021, p. 41-56.Research output: Contribution to journal › Article › peer-review
}
TY - JOUR
T1 - ТЕХНОЛОГИИ ПАРСИНГА NODE.JS В ЗАДАЧЕ АГРЕГАЦИИ СВЕДЕНИЙ И ОЦЕНКИ ПАРАМЕТРОВ ГРУЗОВЫХ МАРШРУТОВ ПОСРЕДСТВОМ ИЗВЛЕЧЕНИЯ ДАННЫХ ИЗ ОТКРЫТЫХ ИСТОЧНИКОВ
AU - Бушмелев, Федор Витальевич
AU - Корепанова, Анастасия Андреевна
AU - Сабреков, Артём Азатович
PY - 2021
Y1 - 2021
N2 - Данная статья посвящена технологиям веб-скрейпинга (парсинга сайтов) для Node.js, применяемые в задаче агрегации сведений и оценки параметров грузовых маршрутов посредством извлечения данных из открытых источников. Задача веб-скрейпинга возникает во множестве различных контекстов как научных, так и промышленных. Задачи веб-скрейпинга имеют как широкое практическое применение, так и значительный образовательный аспект. Тем не менее, существующие материалы, посвящённые веб-скрейпингу разрозненны и не структурированы. В данной работе на примере решения научно-технической задачи агрегации сведений и оценки параметров грузовых маршрутов посредством извлечения данных из открытых источников представлен обзор технологий парсинга сайтов на Node.js, описана классификация сайтов по сложности, приведена систематизация особенностей сайтов, которые являются препятствием для парсинга, и возможные пути их обхода. Таким образом, достигается дидактическая цель данной статьи систематизировать материал по парсингу веб-сайтов.
AB - Данная статья посвящена технологиям веб-скрейпинга (парсинга сайтов) для Node.js, применяемые в задаче агрегации сведений и оценки параметров грузовых маршрутов посредством извлечения данных из открытых источников. Задача веб-скрейпинга возникает во множестве различных контекстов как научных, так и промышленных. Задачи веб-скрейпинга имеют как широкое практическое применение, так и значительный образовательный аспект. Тем не менее, существующие материалы, посвящённые веб-скрейпингу разрозненны и не структурированы. В данной работе на примере решения научно-технической задачи агрегации сведений и оценки параметров грузовых маршрутов посредством извлечения данных из открытых источников представлен обзор технологий парсинга сайтов на Node.js, описана классификация сайтов по сложности, приведена систематизация особенностей сайтов, которые являются препятствием для парсинга, и возможные пути их обхода. Таким образом, достигается дидактическая цель данной статьи систематизировать материал по парсингу веб-сайтов.
KW - веб-скрейпинг
KW - парсинг
KW - веб-технологии
KW - Node.js
KW - HTML
UR - http://ipo.spb.ru/journal/index.php?article/2287/
U2 - 10.32603/2071-2340-2021-3-41-56
DO - 10.32603/2071-2340-2021-3-41-56
M3 - статья
SP - 41
EP - 56
JO - КОМПЬЮТЕРНЫЕ ИНСТРУМЕНТЫ В ОБРАЗОВАНИИ
JF - КОМПЬЮТЕРНЫЕ ИНСТРУМЕНТЫ В ОБРАЗОВАНИИ
SN - 2071-2340
IS - 3
M1 - 2287
ER -
ID: 99549112