Современные большие языковые модели (англ. Large Language Models, LLM) способны решать задачи, требующие применения фактологических знаний и обобщенных правил, однако качество ответов существенно зависит от входной текстовой информации. По мере увеличения ее объема возрастает сложность обработки фактов, распределенных по различным репликам диалога, что может приводить к снижению качества выполнения задач LLM. В работе предлагается метод генерации набора данных для измерения семантико‑эпизодической устойчивости LLM в диалоговых сценариях. Вводится формализованная единица измерения — семантико‑эпизодическое задание, в котором нахождение корректного ответа требует совместного использования эпизодических фактов, заданных исключительно в диалоге, и семантического знания, отсутствующего в тексте и извлекаемого из параметров модели. Описывается многоэтапный план синтетической генерации с автоматической валидацией, строгой типизацией выходов и шкалой сложности, моделирующей рост длины входной последовательности и структурной сложности диалога. Метод обеспечивает масштабируемый и программно проверяемый бенчмарк для сравнительного анализа моделей, промпт‑стратегий и механизмов памяти.
Original languageRussian
Title of host publicationXXIX Международная конференция по мягким вычислениям и измерениям (SCM-2026)
Subtitle of host publicationСборник докладов
Place of PublicationСанкт-Петербург
PublisherИздательство СПбГЭТУ "ЛЭТИ"
Pages231-234
Number of pages4
ISBN (Print)978-5-7629-3643-9
StatePublished - 21 May 2026
EventXXIX Международная конференция по мягким вычислениям и измерениям (SCM-2026) - Санкт-Петербургский государственный электротехнический университет «ЛЭТИ» им. В.И. Ульянова (Ленина), Санкт-Петербург, Russian Federation
Duration: 20 May 202622 May 2026
Conference number: 29
https://scm.etu.ru/2026/ru/

Conference

ConferenceXXIX Международная конференция по мягким вычислениям и измерениям (SCM-2026)
Abbreviated titleSCM'2026
Country/TerritoryRussian Federation
CityСанкт-Петербург
Period20/05/2622/05/26
Internet address

ID: 160336173