Ссылки

Современные большие языковые модели (англ. Large Language Models, LLM) способны решать задачи, требующие применения фактологических знаний и обобщенных правил, однако качество ответов существенно зависит от входной текстовой информации. По мере увеличения ее объема возрастает сложность обработки фактов, распределенных по различным репликам диалога, что может приводить к снижению качества выполнения задач LLM. В работе предлагается метод генерации набора данных для измерения семантико‑эпизодической устойчивости LLM в диалоговых сценариях. Вводится формализованная единица измерения — семантико‑эпизодическое задание, в котором нахождение корректного ответа требует совместного использования эпизодических фактов, заданных исключительно в диалоге, и семантического знания, отсутствующего в тексте и извлекаемого из параметров модели. Описывается многоэтапный план синтетической генерации с автоматической валидацией, строгой типизацией выходов и шкалой сложности, моделирующей рост длины входной последовательности и структурной сложности диалога. Метод обеспечивает масштабируемый и программно проверяемый бенчмарк для сравнительного анализа моделей, промпт‑стратегий и механизмов памяти.
Язык оригиналарусский
Название основной публикацииXXIX Международная конференция по мягким вычислениям и измерениям (SCM-2026)
Подзаголовок основной публикацииСборник докладов
Место публикацииСанкт-Петербург
ИздательИздательство СПбГЭТУ "ЛЭТИ"
Страницы231-234
Число страниц4
ISBN (печатное издание)978-5-7629-3643-9
СостояниеОпубликовано - 21 мая 2026
СобытиеXXIX Международная конференция по мягким вычислениям и измерениям (SCM-2026) - Санкт-Петербургский государственный электротехнический университет «ЛЭТИ» им. В.И. Ульянова (Ленина), Санкт-Петербург, Российская Федерация
Продолжительность: 20 мая 202622 мая 2026
Номер конференции: 29
https://scm.etu.ru/2026/ru/

конференция

конференцияXXIX Международная конференция по мягким вычислениям и измерениям (SCM-2026)
Сокращенное названиеSCM'2026
Страна/TерриторияРоссийская Федерация
ГородСанкт-Петербург
Период20/05/2622/05/26
Сайт в сети Internet

    Области исследований

  • большие языковые модели, входная последовательность; семантические знания, эпизодическая память, генерация набора данных, бенчмарк, длинный контекст, строгие форматы ответа, автоматическая валидация

ID: 160336173