Research output: Chapter in Book/Report/Conference proceeding › Article in an anthology › Research › peer-review
Семантико-эпизодическая устойчивость больших языковых моделей: формализация и генерация оценочного набора данных. / Грудинин, Михаил Артемович; Вейбер, Евгения Николаевна; Абрамов, Максим Викторович.
XXIX Международная конференция по мягким вычислениям и измерениям (SCM-2026): Сборник докладов. Санкт-Петербург : Издательство СПбГЭТУ "ЛЭТИ", 2026. p. 231-234.Research output: Chapter in Book/Report/Conference proceeding › Article in an anthology › Research › peer-review
}
TY - CHAP
T1 - Семантико-эпизодическая устойчивость больших языковых моделей: формализация и генерация оценочного набора данных
AU - Грудинин, Михаил Артемович
AU - Вейбер, Евгения Николаевна
AU - Абрамов, Максим Викторович
N1 - Conference code: 29
PY - 2026/5/21
Y1 - 2026/5/21
N2 - Современные большие языковые модели (англ. Large Language Models, LLM) способны решать задачи, требующие применения фактологических знаний и обобщенных правил, однако качество ответов существенно зависит от входной текстовой информации. По мере увеличения ее объема возрастает сложность обработки фактов, распределенных по различным репликам диалога, что может приводить к снижению качества выполнения задач LLM. В работе предлагается метод генерации набора данных для измерения семантико‑эпизодической устойчивости LLM в диалоговых сценариях. Вводится формализованная единица измерения — семантико‑эпизодическое задание, в котором нахождение корректного ответа требует совместного использования эпизодических фактов, заданных исключительно в диалоге, и семантического знания, отсутствующего в тексте и извлекаемого из параметров модели. Описывается многоэтапный план синтетической генерации с автоматической валидацией, строгой типизацией выходов и шкалой сложности, моделирующей рост длины входной последовательности и структурной сложности диалога. Метод обеспечивает масштабируемый и программно проверяемый бенчмарк для сравнительного анализа моделей, промпт‑стратегий и механизмов памяти.
AB - Современные большие языковые модели (англ. Large Language Models, LLM) способны решать задачи, требующие применения фактологических знаний и обобщенных правил, однако качество ответов существенно зависит от входной текстовой информации. По мере увеличения ее объема возрастает сложность обработки фактов, распределенных по различным репликам диалога, что может приводить к снижению качества выполнения задач LLM. В работе предлагается метод генерации набора данных для измерения семантико‑эпизодической устойчивости LLM в диалоговых сценариях. Вводится формализованная единица измерения — семантико‑эпизодическое задание, в котором нахождение корректного ответа требует совместного использования эпизодических фактов, заданных исключительно в диалоге, и семантического знания, отсутствующего в тексте и извлекаемого из параметров модели. Описывается многоэтапный план синтетической генерации с автоматической валидацией, строгой типизацией выходов и шкалой сложности, моделирующей рост длины входной последовательности и структурной сложности диалога. Метод обеспечивает масштабируемый и программно проверяемый бенчмарк для сравнительного анализа моделей, промпт‑стратегий и механизмов памяти.
KW - большие языковые модели
KW - входная последовательность; семантические знания
KW - эпизодическая память
KW - генерация набора данных
KW - бенчмарк
KW - длинный контекст
KW - строгие форматы ответа
KW - автоматическая валидация
UR - https://scm.etu.ru/2026/ru/sbornik/sekciya-7
M3 - статья в сборнике
SN - 978-5-7629-3643-9
SP - 231
EP - 234
BT - XXIX Международная конференция по мягким вычислениям и измерениям (SCM-2026)
PB - Издательство СПбГЭТУ "ЛЭТИ"
CY - Санкт-Петербург
T2 - XXIX Международная конференция по мягким вычислениям и измерениям (SCM-2026)
Y2 - 20 May 2026 through 22 May 2026
ER -
ID: 160336173