DOI

Information published on Internet resources constitutes an important data source for the operation of many modern services and is used in data collection, analysis, monitoring, business intelligence, and other tasks. However, the absence of APIs, the high variability of websites, and frequent changes in site structure significantly complicate development and require continuous parser maintenance. In recent years, Large Language Models (LLMs) have demonstrated high effectiveness in text analysis and program code generation tasks, opening new possibilities for automating data analysis from web resources. This paper proposes an architecture for an adaptive web data extraction system that extends the capabilities of traditional web parsing methods through the integration and adaptation of LLMs. The solution supports two operating modes: generation of Python scripts for page parsing and structuring information from page text. To optimize LLM token costs for parser generation, a semantic caching mechanism is introduced, enabling the reuse of previously generated parsers based on the retrieval of similar queries in vector space. An experimental evaluation of the system was conducted using the LiveWeb-IE benchmark. The results showed that the proposed system extracts query-relevant data with 90% accuracy. Additional caching reduces the response time for a single query by more than an order of magnitude.
Язык оригиналаанглийский
Название основной публикации2026 XXIX International Conference on Soft Computing and Measurements (SCM)
ИздательInstitute of Electrical and Electronics Engineers Inc.
Страницы231-233
Число страниц3
ISBN (электронное издание)979-8-3195-4898-6
ISBN (печатное издание)979-8-3195-4899-3
DOI
СостояниеОпубликовано - мая 2026
СобытиеXXIX Международная конференция по мягким вычислениям и измерениям (SCM-2026) - Санкт-Петербургский государственный электротехнический университет «ЛЭТИ» им. В.И. Ульянова (Ленина), Санкт-Петербург, Российская Федерация
Продолжительность: 20 мая 202622 мая 2026
Номер конференции: 29
https://scm.etu.ru/2026/ru/

конференция

конференцияXXIX Международная конференция по мягким вычислениям и измерениям (SCM-2026)
Сокращенное названиеSCM'2026
Страна/TерриторияРоссийская Федерация
ГородСанкт-Петербург
Период20/05/2622/05/26
Сайт в сети Internet

    Предметные области Scopus

  • Искусственный интеллект

ID: 160342511